过去常说没钱了就进厂打螺丝,但如今黑灯工厂普及,连打螺丝的岗位也大幅减少,仅需少数人负责调试与管理。顺着这一趋势思考——随着Agent技术不断成熟,黑灯办公室的出现几乎是水到渠成。
到了那时,或许只需一个人坐在后台,默默看着几十台电脑自动运行。每天为AI安排好任务,它就能自主完成,无需休息、不要求加薪,也没有情绪波动。这个场景听起来有些科幻,但距离可能比我们想象中更近。
今天要介绍的Agent S2,正是一个能让AI自主操作电脑和手机的通用智能体框架。它不仅适用于电脑端,在手机端同样表现出色。

项目简介
Agent S2专为计算机交互任务设计,通过融合通用模型与专家模型,解决了长期困扰AI操作的两大难题:GUI元素定位不精准,以及长期任务难以规划。其核心创新体现在两方面:一是“混合定位”技术,大幅提升界面元素定位的准确性;二是“主动层次规划”方法,使智能体在任务执行过程中能动态调整行动计划。
简单来说,Agent不再是僵化的脚本,而是能根据实际界面变化灵活应对的智能助手。在多个知名计算机任务基准测试中,Agent S2的表现显著领先于现有方法。
值得一提的是,人类员工偶尔会偷懒,但Agent S2的每一步操作都可视、可查、可修改,没有黑箱,所见即所得。这种透明度本身就是一种高效的保障。
DEMO
下载图片并调整尺寸
将图片复制到文档中
设置Web扩展
删除视频字幕
利用表格计算利润
在手机中填写表单
技术特点
通专结合的模块化设计
通过组合通用推理模块与专门的定位专家,提升任务处理的精度与效率。通用模型负责逻辑推理,专家模型负责精准定位,各司其职,协同工作。
混合定位技术
综合运用视觉、文本、结构等多种定位专家,实现界面元素的精确定位,克服传统单一模型在复杂界面下的性能瓶颈。无论是按钮、输入框还是菜单项,都能准确识别并找到。
主动层次规划
在每个子任务完成后,智能体都会主动重新评估并更新行动计划,动态适应任务推进过程中遇到的环境变化。即使长任务中途界面突变,也能及时调整策略。
跨平台通用性
广泛适用于多个操作系统(如Windows、Linux)以及移动设备(如Android),能够处理多种常见应用程序和任务场景。无论是办公软件还是手机App,都能轻松接管操作。
自适应与自我修正能力
具备在任务执行过程中自适应调整策略的能力,自动纠正偏差,大幅提升长程任务的完成率和准确性。这意味着即便中间出现意外,Agent S2也能自行修复并继续推进。
从技术路线来看,Agent S2的思路非常清晰:不追求单一模型的万能,而是通过模块化的“混合专家”架构,将不同环节做到极致。这种务实的设计,或许正是黑灯办公室从概念走向现实的关键一步。
