MemGUI-Agent是什么

先说一个核心判断：当手机端的自动化任务从三五步扩展到三五十步时，传统的ReAct架构就有点力不从心了——历史记录会像滚雪球一样线性膨胀，关键信息被不断稀释。而MemGUI-Agent的解法，是通过一套名为ConAct的协议，让模型在每走一步时，一边决定怎么操作界面，一边决定怎么整理记忆。这样一来，上下文管理不再是被动的副产品，而是主动的策略输出，整个流程变得紧凑且干净。

MemGUI-Agent的主要功能

• 长程任务执行：能扛得住跨App、跨页面的复杂流程，平均一条轨迹超过30步操作。
• 主动上下文管理：通过ConAct协议，Agent自己决定什么时候该压缩历史、什么时候该记下UI事实、怎么描述当前这一步。
• 结构化记忆操作：原生支持memory_add、memory_update、memory_delete这些记忆动作，价格、电话、规格这些关键UI事实能持久保存。
• 端到端模型训练：提供了基于Qwen3-VL-8B的LoRA微调版本MemGUI-8B-SFT，8B参数就能搞定长程任务。
• 全链路开源：代码、数据集、训练和评测的pipeline，外加模型权重，全部开放。

MemGUI-Agent的技术原理

核心在于ConAct（Context-as-Action）这套框架。它把上下文管理从传统的“外部规则模块”或“后处理总结器”里解放出来，提到了和UI点击、滑动、输入同样的位置。换句话说，模型在每一步推理时，需要主动决定：该压缩什么历史？该记住什么UI事实？该怎么描述当前这一步？这样，上下文更新就成了一种可以被执行、可以被训练的策略输出。

具体来说，Agent维护着三个互补的状态字段。Folded Action History负责把已经完成的子任务段落压缩成可复用的摘要，防止历史线性膨胀；Folded UI State专门持久保存跨屏幕的关键事实，确保几十步之后还能精准检索；Recent Step Record则记录最近一步的屏幕观察、动作意图、执行动作和结果，为后续的折叠和记忆写入提供原始素材。

每一步的输出也变成了五个结构化的段落：thinking、folding、tool_call、ui_observation和action_intent。这里的tool_call可以是常规的UI操作，也可以是memory_add、memory_update、memory_delete这些显式记忆操作——这比单纯做界面操作多了一层“思考痕迹”。

如何使用MemGUI-Agent

• 克隆开源代码：从GitHub仓库 github.com/kwai/MemGUI-Agent 拉取完整代码与训练评测pipeline。
• 下载数据集：在HuggingFace上获取MemGUI-3K数据集。
• 加载模型权重：从HuggingFace下载MemGUI-8B-SFT。
• 配置Android环境：连接真机或启动模拟器，部署Agent执行环境。
• 输入任务指令：用自然语言描述长程目标，Agent会自动规划并执行。

MemGUI-Agent的核心优势

• 上下文成本显著降低：在150步的长程场景里，ConAct比ReAct平均节省约1500个输入token，有效抑制线性增长。
• 关键信息精准留存：通过UI State持久保存完整事实，长程任务中常见的信息稀释和幻觉问题得到缓解。
• 小模型大能力：8B模型经过MemGUI-3K训练后，在长程基准上超过了多数32B甚至235B的基线，部署成本低，效果却不含糊。
• 分布外泛化优异：MemGUI-8B-SFT在MobileWorld上取得了17.9%的成功率，比基线提升了8.5个百分点，跨场景迁移能力很强。
• 全链路可复现：从数据构造、模型训练到评测协议全部开源，研究门槛被大幅降低。

MemGUI-Agent的项目地址

• 项目官网：https://memgui-agent.github.io/
• HuggingFace模型库：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技术论文：https://arxiv.org/pdf/2606.19926

MemGUI-Agent的同类竞品对比

MemGUI-Agent的应用场景

• 跨App信息整合：从电商、地图、社交App收集信息，自动汇总到笔记软件里。
• 长表单填写：根据邮件、通讯录、日历等多源信息，自动完成复杂的注册或报销流程。
• 联系人管理与更新：从社交媒体帖子中提取新的电话或邮箱，自动更新通讯录并发送信息。
• 商品比价与记录：浏览多个电商平台，记录价格和规格参数，生成一份对比文档。
• 自动化测试与RPA：在移动端执行长链条的UI回归测试，或者落地企业级的流程自动化。