GELab-Zero：面向 Android 的开源移动端 GUI Agent，让 AI 像人一样用手机

大模型正在从“回答问题”走向“理解任务、观察环境、执行动作”。这个转向很有意思——移动端 GUI Agent，就是其中最值得关注的方向之一：它尝试让 AI 像用户一样看手机界面，再通过点击、输入、滑动等动作完成任务。 手机场景足够真实，也足够复杂。外卖、出行、支付、社交、购物、内容消费等高频任务都发生在移动端。但一旦从 Demo 进入真实手机和真实 App，设备连接、权限配置、ADB 调试、模型推理服务、任务录制回放、多设备调度……这些工程问题一个都绕不开。 GELab-Zero 的价值，就在于把模型、设备控制、任务执行和轨迹回放这些环节整合到一个开源项目里，让开发者可以更专注于 Agent 策略和真实应用体验。 ### 一、项目介绍：什么是 GELab-Zero？ GELab-Zero 是阶跃星辰 StepFun GELab 团队开源的移动端 GUI Agent 项目，主要面向 Android 手机上的真实 App 操作场景。 从官方 README 来看，项目由两部分组成： * **GELab-Zero-4B-preview**：一个可在本地计算机运行的 4B GUI Agent 模型。 * **Plug-and-Play 推理基础设施**：负责处理 ADB 连接、依赖安装、任务执行、轨迹记录与回放等工程问题。 这意味着 GELab-Zero 不是单纯开源一个模型权重，而是把“模型看懂屏幕”到“真实手机执行动作”的链路一起开放出来。 官方 README 中提到，它提供了类似开源 GUI Agent MCP 的一键启动体验，可以完全本地部署，并将整个推理流程放在用户可控的环境中。具体能力可以概括为四点： * **本地部署**：支持在消费级硬件上运行 4B 规模模型，兼顾低延迟和隐私控制。 * **一键启动**：提供统一部署管道，自动处理环境依赖和设备管理。 * **任务分配**：可以将任务分发到多部手机上，并记录交互轨迹，便于观察和复现。 * **三种袋里模式**：覆盖 ReAct 循环、多袋里协作和计划任务等工作模式。 可以把它理解成一个面向 Android 的 Phone Use Agent 框架：用户给出自然语言任务，系统获取手机截图，多模态模型理解当前界面并规划下一步动作，执行框架再通过 ADB 把点击、输入、滑动、等待等操作落到真实设备上。 一个典型任务大致会经历这些环节： * 输入自然语言任务，例如“在淘宝找一双 37 码白色帆布鞋，价格不超过 100 元，并收藏第一个商品”。 * 通过 ADB 获取手机当前截图。 * 多模态模型结合任务目标、屏幕截图和历史轨迹判断下一步动作。 * 执行框架将模型输出的动作发送到 Android 设备。 * 每一步截图、动作和日志都会被记录，用于后续复盘和调试。 从 Hugging Face 模型页可以看到，`GELab-Zero-4B-preview` 属于 Image-Text-to-Text 模型，模型规模为 4B，页面显示 base model 为 `Qwen/Qwen3-VL-4B-Instruct`。这类模型能够接收屏幕截图和文本任务，输出与界面操作相关的决策，是 GUI Agent 能跑起来的核心基础。 ### 二、移动端 GUI Agent 的技术难点 让 AI 操作手机，表面上像是“截图 + 点击 + 输入”，实际难点在于连续、真实、不可控的移动环境。学习 GELab-Zero 时，可以重点关注下面几个问题。 **移动生态碎片化。** 不同品牌、系统版本、屏幕尺寸和 App 版本都会影响界面布局。一个按钮在某台手机上可能在底部，在另一台手机上可能被弹窗挡住；App 一次改版，也可能让原本稳定的流程失效。 **任务链路长。** 购物、打车、订票、点外卖通常不是一次点击完成，而是包含搜索、筛选、判断、确认、等待加载、处理弹窗等多个步骤。Agent 需要根据每一步屏幕反馈持续调整策略。 **状态不可控。** 真实 App 里经常会遇到登录态失效、广告弹窗、网络卡顿、页面懒加载、推荐内容变化等情况。对 GUI Agent 来说，这些都不是异常边角料，而是真实使用中经常出现的环境变量。 **工程基础设施重。** 移动端 GUI Agent 要真正跑通，需要处理多设备 ADB 连接、依赖安装、权限配置、推理服务部署、任务编排与回放等问题。GELab-Zero 选择把这些基础设施封装起来，本质上是在降低研究和实践门槛。 ### 三、项目亮点：GELab-Zero 值得学习的地方 #### 1. 模型和基础设施一起开源 很多 GUI Agent 项目只开放模型，或者只开放一个演示 Demo。GELab-Zero 比较有学习价值的一点，是模型和运行基础设施一起给出。 官方仓库中包含客户端、服务端、前端、工具、示例、MCP Server、可视化等模块。对于想研究 GUI Agent 的开发者来说，它不仅能看模型能力，也能观察一个真实移动端 Agent 系统如何组织设备控制、任务执行和日志回放。 AIBase 的报道也提到，GELab-Zero 关注本地部署、轻量推理、一键启动、多设备任务分发，以及交互轨迹记录。这些能力更偏工程落地，而不是单纯模型展示。 #### 2. 本地运行，适合关注隐私的场景 移动端 Agent 会读取手机屏幕，而手机屏幕里可能出现聊天记录、订单、位置、联系人、支付页面等敏感信息。如果所有截图都必须发给云端模型，很多真实场景会有隐私顾虑。 GELab-Zero-4B-preview 的定位是可在本地计算机运行，配合本地推理服务使用，可以降低敏感数据外传风险。 这也是移动端 Agent 和普通 Chatbot 不同的地方：Chatbot 主要处理用户主动输入的文本，而 GUI Agent 会观察整个屏幕环境。本地推理、日志脱敏和可控执行链路，都会成为后续落地时需要重点考虑的方向。 #### 3. 基于视觉理解真实屏幕 GELab-Zero 主要从屏幕截图出发，让模型根据视觉信息理解界面，再输出动作。 这种方式和依赖 HTML、辅助树或 App 内部 API 的方案不同。后者在特定环境里可能更稳定，但需要更多适配；视觉方案更接近人类操作手机的方式：看到页面、理解语义、决定下一步点哪里。 需要注意的是，视觉理解并不等于脱离设备接口。真正执行动作仍然需要 ADB。更准确地说，GELab-Zero 是“视觉理解 + ADB 执行 + 轨迹记录”的组合。 #### 4. 任务轨迹可记录、可复盘 真实 Agent 开发里，任务失败后最需要回答的问题是：到底是哪一步错了？ GELab-Zero 会记录每一步截图、动作和模型输出，并支持通过 Streamlit 可视化查看轨迹。每次任务会生成一个 session ID，可以用来回看完整执行过程。 这对调试很关键。开发者可以判断模型是误读了按钮、点击坐标偏了、页面等待不够，还是历史上下文过长导致策略漂移。对于长链路 Agent 来说，轨迹记录几乎是必备能力。 #### 5. 支持 MCP Server 和多设备管理 官方 README 显示，GELab-Zero 已支持 MCP Server，用于多设备管理和任务分发。 这说明它不只是单机单设备 Demo，也在往更工程化的方向发展。多台手机统一调度、任务分发、执行记录和失败复盘，都是移动端 Agent 从实验走向真实应用时需要补上的能力。 ### 四、示例演示：从任务看 Agent 能力 官方演示中，GELab-Zero 覆盖了多商品购物、条件搜索、信息检索、在线答题等任务。这里保留两个比较典型的例子，便于从任务形态理解它的能力边界。 **示例一：多商品购物** 这个任务要求 Agent 在外卖/零售类 App 中购买多种不同规格商品。它不是简单地点击某个按钮，而是要完成搜索、识别商品、加入购物车、判断数量等多个动作。 从技术角度看，这类任务能体现 GUI Agent 对“长链路操作”的处理能力：每一步都要依赖当前屏幕状态，不能完全写成固定脚本。 GELab-Zero_多商品购物演示 **示例二：条件搜索** 这个任务要求 Agent 根据颜色、尺码、价格等约束筛选商品，并收藏符合条件的结果。 它更像真实用户的模糊需求：目标不是“点击第几个按钮”，而是“找到符合条件的结果”。Agent 需要理解约束条件，也要在搜索结果页面中持续判断哪些信息与任务目标相关。 GELab-Zero_条件搜索演示 这两个示例都说明，移动端 GUI Agent 的关键不只是动作执行，而是把“任务目标、视觉观察、历史上下文、下一步动作”串成一个连续决策过程。 ### 五、AndroidDaily：一款贴近日常生活的自建基准测试 GELab-Zero 还配套提出了 AndroidDaily，一个面向真实日常移动场景的基准测试。 很多 GUI Agent Benchmark 更偏生产力场景，比如邮件、文档、浏览器。但普通用户在手机上最常做的事情，其实是外卖、打车、购物、支付、社交、内容消费等生活服务任务。 AndroidDaily 正是围绕这些场景构建。官方资料显示，它包含： * **静态测试**：3146 个动作，给出任务描述和逐步截图，要求模型预测每一步动作类型和值。 * **端到端测试**：235 个任务，在真机或模拟器环境中从头到尾执行，以整体任务成功率评估。 场景分布包括出行、购物、社交通讯、内容消费、本地服务等。 官方 README 给出的 AndroidDaily 静态测试结果中，`GELab-Zero-4B-preview` 的准确率为 0.734。作为对比，GPT-4o 为 0.196，Gemini-2.5-pro-thinking 为 0.366，UI-TARS-1.5 为 0.470。 | 模型 | AndroidDaily 静态测试准确率 | | :--- | :--- | | GPT-4o | 0.196 | | Gemini-2.5-pro-thinking | 0.366 | | UI-TARS-1.5 | 0.470 | | GELab-Zero-4B-preview | 0.734 | 官方 README 还提到，`GELab-Zero-4B-preview` 在 AndroidWorld 测试中达到 75.86% 的成功率。这个结果说明，它的价值不只在静态截图理解，也体现在真实移动任务的端到端执行能力上。 AndroidDaily 的意义不只是刷榜，而是把 GUI Agent 的评估拉回真实生活：能不能真的完成用户每天会遇到的复杂、多步骤、有约束的移动端任务。 ### 六、快速上手思路 如果只是学习和体验，可以先按官方推荐流程跑通最小闭环：模型服务、Android 设备、示例任务、轨迹可视化。 #### 1. 准备 Python 环境 官方建议 Python 3.12+，并推荐使用 Miniforge / Conda。 ``` conda create -n gelab-zero python=3.12 -y conda activate gelab-zero ``` #### 2. 准备模型推理服务 个人用户可以优先尝试 Ollama： ``` pip install huggingface_hub hf download --no-force-download stepfun-ai/GELab-Zero-4B-preview --local-dir gelab-zero-4b-preview ``` 导入 Ollama： ``` cd gelab-zero-4b-preview ollama create gelab-zero-4b-preview -f Modelfile ``` 如果电脑配置较低，也可以考虑量化版本，但量化可能带来性能损失。 #### 3. 准备 Android 设备 需要开启开发者模式和 USB 调试，并安装 ADB。 ``` adb devices ``` 如果看到设备状态为 `device`，说明连接成功。 #### 4. 克隆项目并运行示例 ``` git clone https://github.com/stepfun-ai/gelab-zero cd gelab-zero pip install -r requirements.txt python examples/run_single_task_state_compress.py ``` #### 5. 可选：启动轨迹可视化 ``` streamlit run --server.address 127.0.0.1 visualization/pages/main_page.py --server.port 33503 ``` 浏览器访问： ``` https://localhost:33503 ``` ### 七、适合哪些人学习？ * **GUI Agent / 多模态 Agent 研究者。** GELab-Zero 提供模型、任务、运行框架和 Benchmark，适合用来观察移动端 Agent 的任务建模、动作空间和评估方式。 * **移动端自动化开发者。** 相比传统脚本，GUI Agent 更适合处理动态界面、模糊目标和非固定流程。即使暂时不用于生产，也可以作为自动化方案的补充思路。 * **关注本地隐私 Agent 的团队。** 移动端任务经常涉及敏感数据，本地模型和本地执行链路能提供更强的数据控制能力。 * **想学习开源项目工程结构的开发者。** 这个项目不仅有模型，也有设备管理、任务执行、可视化、MCP Server 等模块，适合作为移动端 Agent 工程化案例来拆解。 ### 八、需要注意的限制 GELab-Zero 很有价值，但不应该被理解成“装上就能稳定替代真人”的万能工具。 当前仍需注意： * 主要面向 Android，需要 ADB 和 USB 调试环境。 * 真实 App 的弹窗、登录态、网络波动会影响执行稳定性。 * 涉及支付、下单、隐私数据的任务要谨慎，建议先在测试账号中运行。 * 量化能降低部署成本，但可能影响模型判断质量。 * GUI Agent 是连续决策系统，一步误判可能影响后续整条轨迹，因此日志和回放非常关键。 ### 九、总结 GELab-Zero 的意义，不只是开源一个 4B GUI Agent 模型，而是把“看懂屏幕”到“操作真机”之间的工程链路补上了。 从学习角度看，它值得关注的地方有三点： * 看模型如何理解手机截图并生成动作。 * 看工程框架如何连接 ADB、设备、任务和轨迹回放。 * 看 AndroidDaily 这类 Benchmark 如何把 GUI Agent 评估拉回真实生活任务。 移动端 Agent 真正难的不是做一个漂亮 Demo，而是让系统能连接真机、执行真实任务、记录全过程、失败可回放、策略可迭代。 如果你正在关注 GUI Agent、Computer Use、Phone Use Agent，或者想探索“AI 像人一样操作手机”的真实落地方式，GELab-Zero 值得作为一个开源项目认真学习。 ### 十、参考内容 * GELab-Zero GitHub 仓库：https://github.com/stepfun-ai/gelab-zero * GELab-Zero 中文 README：https://github.com/stepfun-ai/gelab-zero/blob/main/README_CN.md * GELab-Zero 项目主页：https://opengelab.github.io/index_zh.html * GELab-Zero-4B-preview Hugging Face 模型页：https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview * AndroidDaily 数据集：https://huggingface.co/datasets/stepfun-ai/AndroidDaily * Step-GUI Technical Report：https://arxiv.org/abs/2512.15431 * GELab-Engine 论文：https://arxiv.org/abs/2512.02423 * AIBase 报道：https://www.aibase.com/news/23245 * 阿里云开发者社区文章：https://developer.aliyun.com/article/1691104 * 界面新闻快讯：https://m.jiemian.com/article/13704176.html * 科创板日报快讯：https://www.cls.cn/detail/2215707