上海AI实验室推出OS-Genesis系统，实现GUI机器人自主探索训练
上海AI实验室近日携手香港大学、牛津大学等国际知名学府，在全球首次提出图形用户界面(GUI)智能体训练的突破性解决方案。其研发的OS-Genesis系统采用创新的"逆向任务构建"方法论，成功实现了AI智能体类人化的软件探索能力。这项开创性研究已发表在预印本平台arXiv，标志着人机交互自动化领域取得重大进展。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统AI训练需要依赖人工预置指令集，如同给学习者提供详尽的说明书。然而在移动应用频繁更新的当下，这种模式显然力不从心。研究团队另辟蹊径，创造性地让智能体在虚拟环境中自主探索，通过分析用户界面状态变化，自主归纳出完整任务逻辑。
该系统采用类似人类探索新事物的学习路径。智能体首先在安卓模拟器和浏览器中进行随机点击、滑动等基础操作，记录每次交互后的界面变迁。例如观察到点击"新建联系人"后出现信息输入框，就能自主掌握添加联系人的关键步骤。这些数百万级的"操作-响应"数据组成了丰富的训练素材库。
最具突破性的是逆向任务合并机制。系统采用双层分析架构：底层识别单一操作意图，如判定下拉刷新操作；高层则将零散动作汇编为完整工作流，如将"点击搜索框-输入关键词-按下搜索键"识别为完整的搜索行为。这种自组织学习方式能发掘人类预设无法覆盖的长尾功能。
为确保学习质量，团队开发了轨迹评定模型(TRM)。这套评估体系采用5分制标准，从任务完成度和操作流畅性两个维度综合评判。不同于传统非黑即白的评定方式，TRM认可那些虽未达成最终目标但过程规范的学习样本，体现了更接近人类教学智慧的评价理念。实证数据显示，TRM评分与专家判断的一致性系数达到0.8左右。
系统训练融合了战略与战术两个层面：战略层面培养任务分解思维，使AI能根据界面状态规划后续步骤；战术层面提升操作精准度，确保每次点击都精准到位。在AndroidWorld测试中，经该系统训练的模型任务成功率实现翻倍增长，大幅缩小了与顶级商业AI的差距。
数据分析验证了探索式学习的独特优势。OS-Genesis生成的任务指令复杂度接近人工编写水平，平均包含18个语义单元。更惊人的是，系统发现的解决方案数量是传统标注数据的2.3倍，包含大量人类想不到的操作组合，这种多样性极大增强了AI的应急处理能力。
在工程实现方面，团队构建了高可靠的自动化探索系统，能24/7稳定运行并处理各类异常情况。数据处理采用分布式架构，日均处理数万组交互数据，配合智能去重算法优化存储效率。通过批处理加速等技术，系统计算成本降低近半，大幅提升了可扩展性。
跨领域测试结果令人振奋。在覆盖833款应用的AndroidControl基准测试中，系统展现出卓越的泛化能力。即使在WebArena网页环境中，零样本模型也能快速适应电商、论坛等复杂场景，展现出强大的迁移学习能力。
研究人员坦诚当前方案仍存在模型依赖性强等局限，但强调开放科学的理念，已完整公开算法代码和训练数据。这项突破性研究不仅为现有交互场景提供解决方案，更为AR/VR等新兴交互模式奠定技术基础，推动AI从指令执行者向主动学习者的革命性转变。
热门专题
热门推荐
GitHub 上爆火的同事 skill：资本最狠的 我们来拆解一下这背后的逻辑链条。企业鼓励你将个人技能拆解、结构化，然后输入系统，最终训练成一个AI模型。接下来会发生什么？接下来，你或许就可以“离场”了。这个数字分身将不知疲倦地持续运转——没有情绪，无需休假，更不谈薪酬。 过去的裁员，企业尚需计算
Mojju AI Tools是什么 简单来说，你可以把Mojju AI Tools视作一个“AI工具百宝箱”。它由Mojju公司打造，底层核心是基于强大的OpenAI GPT技术。这个工具箱的目标非常明确：就是帮人解决实际问题。无论是想提升工作效率、处理财务业务，还是寻求设计灵感、辅助学习，它都准备
「甲子光年」2026年招聘开始啦！ 科技浪潮奔涌向前，产业变革日新月异。如果你渴望置身于这场变革的核心地带，与最前沿的思考和实践同频共振，那么，这里或许正是你一直在寻找的舞台。 我们是谁？ 「甲子光年」是一家深耕中国科技产业的智库。我们的使命很明确：推动科技产业化与产业科技化的双向奔赴。简单来说，就
Bethesda官方否认《星空》PS5版发布后将停止支持 最近坊间有些传闻，说《星空》一旦登陆PS5，官方支持可能就到此为止了。Bethesda这边迅速给出了明确回应：根本没这回事。首席创意制作人Tim Lamb在和GamesRadar聊起时，态度很坚定。他直接点明了团队的核心策略——他们做游戏，从
BIOS密码：计算机的硬件级“门禁”，如何设置与找回？ 想象一下，计算机在真正“醒来”运行Windows之前，还有一个更底层的世界——BIOS。这里的设置，直接决定了硬件如何工作。而BIOS密码，正是守护这个世界大门的锁。它的核心使命很明确：在操作系统加载之前，就构建起第一道安全防线。具体来说，它通