要训练一个真正会用网页的GUI Agent，最自然的思路通常是这样：直接在真实网站上操作、收集轨迹，然后拿去训练。
但一个卡脖子的问题摆在面前——真实网站不会告诉你答案。
当Agent在网页上点击、输入、跳转时，我们只能看到页面截图或DOM变化，很难直接知道任务状态到底发生了什么。举个例子，一个商品是否真的被加入购物车？一封邮件是否真的被发送？一个表单是否真的完成提交？截图本身无法稳定回答这些问题。
结果呢？不得不依赖人工标注或LLM来充当裁判，去判断轨迹对不对。但这样一来，成本高、不稳定、难扩展的问题全部暴露出来。
针对这个痛点，香港科技大学（广州）DIAL Lab和Foundation Agents开源社区联合推出了AutoWebWorld（AWW）——一个用有限状态机（FSM）驱动的网页环境生成框架，核心思路是：让轨迹验证从“事后猜测”变成“环境自带答案”。
核心想法：把网页从黑盒变成可验证的交互世界
这个想法其实很直观：与其在真实网站里猜测Agent做得对不对，不如先造一批自己完全知道内部规则的网页环境。
每个环境都由一个有限状态机描述——页面是什么样、状态变量有哪些、动作什么时候可以执行、执行后状态如何变化、哪些状态代表任务成功，这些都被显式写进transition规则里。这样一来，网页不再是黑盒界面，而是变成带有可验证语义的交互世界。
AutoWebWorld的总体流程如下：
第一步是FSM Generation。系统从给定的web theme出发，通过三个组件形成闭环：FSM Proposer提出初始交互语义框架，FSM Validator检查合理性、用户意图一致性以及轨迹支撑能力，FSM Improver根据反馈持续修改。系统还会结合reference web，让最终环境在页面结构、交互形式和视觉风格上更接近真实网页。
第二步是Web Synthesis。拿到Final FSM后，Coding Agent负责把它转化为可运行的网站前端。这个过程包括生成Web Guidance（比如style.txt、todo.md、fsm.js和data.js），再按这些材料逐步实现页面文件，启动synthesized website。如果构建或运行中间出现错误，系统会进入Self Repair，自动修复并重新启动，直到得到一个可交互的web environment。
第三步是Trajectory Search。系统基于FSM的transition graph进行BFS搜索，从初始状态搜索到目标状态的候选轨迹。每一步动作的可执行性由precondition决定，执行后的状态变化由transition rule决定。因此，搜索得到的轨迹具备明确的语义合法性，并且通常对应到达目标状态的最短路径。
第四步是Automatic Trajectory Selection。BFS产生的候选轨迹会被重放到synthesized website中，由Playwright执行真实GUI操作。系统会检查元素是否存在、操作是否成功、页面跳转是否符合预期，以及最终是否到达目标状态。只有完整执行成功的轨迹才会被保留，形成最终的verified trajectories。
这套设计带来的核心变化是：轨迹生成和轨迹验证被统一到了环境内部。传统GUI数据收集依赖真实网站、人工标注或LLM judge，但真实网站的内部状态不可见，外部evaluator只能根据截图、DOM或操作记录去猜测任务是否完成。而AWW中的状态、动作和transition都是显式定义的，任务成功可以通过是否到达FSM goal state来判断，动作合法性也可以通过precondition和transition rule来检查。所以AWW的验证不是事后补上的外部判断，而是环境本身自带的intrinsic verification。
Query 1（推特）：
Update my profile bio to ‘Experienced software engineer specializing in full-stack web development and cloud architecture’ and change my display name to ‘Alex Chen’, then sa ve the changes.
Query 2（skyscanner）：
Find American Airlines flights from LHR to JFK, tra veling on September 16, 2029 in economy class. Book the American Airlines flight that comes up in the search results, choose standard baggage and standard seat, then complete the booking with first name Alex, last name Johnson, email alex.j@email.com, and card number 4111111111111111. Accept the terms and confirm the booking.
Query 3（Medium）：
Start writing a new story, set the title to ‘The Midnight Garden’, write the body content ‘Under the pale moonlight, the old garden whispered secrets only the night could hear. Roses bloomed with silver petals, and the fountain sang a melody of forgotten dreams.’, enable publishing, open publish options, continue to confirmation, schedule it for November 18, 2021 at 9:18 AM, and confirm the schedule.
数据规模与成本
从数据规模看，AutoWebWorld合成了29个不同的网页环境，覆盖875个页面，生成了11,663条verified trajectories。
相比真实网页数据集，AWW的一个明显特点是轨迹更长——平均轨迹长度约21.9步，而Explorer、AgentTrek、Fara、Mind2Web等数据集的平均步数大多在6.9到12.1之间。这意味着AWW更强调长程交互、组合式操作和跨页面状态追踪，而不是只覆盖短路径点击任务。
△GUI轨迹数据集对比
成本方面，AWW的平均生成成本约为每条轨迹0.04美元，而真实网页轨迹数据集的成本通常在0.15到1.00美元之间。整个29个环境的构建总成本约为447.37美元，其中Web Generation成本约为52.26美元，FSM Generation约为57.10美元，Query Generation约为65.84美元，Thinking Generation约为272.17美元。
△AWW每阶段成本
△GRPO训练曲线
训练时，AWW并没有直接把11,663条轨迹全部无差别塞进模型。由于同一个任务下可能存在多条相似轨迹，为了减少过拟合到高度同质的transition pattern，实验中会从同一任务的平行轨迹中采样代表性路径，最终得到1215条distinct trajectories，总计12,585个交互步骤。
除此之外，AWW还会从轨迹中抽取单步交互，改写成grounding supervision——让模型不仅学习“下一步应该做什么”，也学习“应该点击截图中的哪里”。最终，导航轨迹数据和grounding数据被合并成约16k个GRPO training steps。
△WebVoyager实验结果
实验结果
在真实网页导航上，AWW使用WebVoyager作为主要评估对象。由于真实网站经常出现access denied、登录限制或CAPTCHA，实验中对WebVoyager选择了9个较稳定的网站，每个任务限制最多15步，用Gemini-3-Flash作为judge model判断任务是否成功。
在这个设置下，基于AWW数据训练后的7B Web GUI agent在WebVoyager上取得了27.42%的整体成功率，超过了UI-TARS-1.5-7B的26.51%，也显著高于原始Qwen2.5-VL-7B的5.62%。在部分具体网站上，表现提升也很明显——CD达到60.47%，Coursera达到30.00%，HuggingFace达到32.43%，并且在一些更难的网站上也获得了非零成功率。
在grounding评估上，AWW使用ScreenSpot-V2和ScreenSpot-Pro来验证模型是否更擅长定位可交互元素。结果显示，AWW数据对grounding也有稳定收益。在ScreenSpot-V2上，Qwen2.5-VL-3B的整体分数从61.87提升到65.88，Qwen2.5-VL-7B从84.83提升到86.16。在更难的ScreenSpot-Pro上，3B模型的平均分从13.3提升到18.0，7B模型从23.2提升到27.5。这说明AWW轨迹不只是提供高层任务规划信号，也能提供底层视觉grounding信号。
△ScreenSpot-v2结果
△ScreenSpot-Pro结果
Scaling曲线：数据越多，效果越好
论文还给出了scaling curve——不只是报告“用完整数据训练后效果变好”，而是进一步研究：当合成数据规模逐步增加时，真实网页任务上的成功率是否也会稳定提升。
实验中，训练集规模被设置为8、256、1,024和16,253个样本，每个规模下保持相同的数据配比（grounding data和na vigation trajectory data维持2:8的比例），尽量排除数据组成变化带来的干扰。
结果显示，随着AWW合成数据规模扩大，WebVoyager上的整体成功率从3.92%逐步提升到17.59%、19.09%，最终达到27.42%；Online-Mind2Web上的成功率也从1.22%提升到7.32%、7.93%，最终达到14.02%。论文还对这两条曲线进行了简单的polynomial fitting，拟合结果与观测点基本一致，并预测在更大数据规模下仍有继续提升的趋势。
△Scaling曲线
这条scaling curve是AWW实验里非常重要的一点。它说明AWW的价值不只是“生成了一批有用的数据”，而是提供了一种可以继续扩展的数据生成机制——只要继续扩大verified synthetic trajectories的规模，模型在真实网页benchmark上的表现也有希望继续提升。
让GUI Agent训练有“可验证的练兵场”
这正好回应了GUI agent训练中的核心问题：我们缺的不是零散的任务样本，而是一个能够稳定生产可验证交互数据、并且具备scaling potential的环境生成pipeline。
因此，AutoWebWorld不是简单地“生成网页”，也不是简单地“生成任务”。它真正做的是transition-driven web environment generation：先定义可验证的交互语义，再用coding agent生成遵守这些语义的网页环境，接着通过BFS搜索候选轨迹，最后用真实前端执行来过滤并保留verified trajectories。
这和传统task-driven数据生成方式有本质区别。传统方式是先写任务（比如“买一件红色衬衫”或者“发送一封邮件”），再让agent在真实或模拟网页中尝试完成，最后用外部evaluator判断是否成功。问题在于，任务本身不提供完整的状态转移结构，网页背后的真实状态也不可控，所以验证只能依赖外部判断。
AutoWebWorld则把验证逻辑内置到环境本身：只要轨迹满足FSM transition并到达目标状态，就可以确定它完成了任务。
最后，AutoWebWorld作者团队来自于香港科技大学（广州）DIAL Lab实验室和Foundation Agents开源社区。第一作者为香港科技大学（广州）研究生吴壹凡，该篇工作为其在DeepWisdom实习期间完成。共同通讯作者为DeepWisdom创始人兼CEO吴承霖，蒙特利尔大学刘邦副教授，以及香港科技大学（广州）骆昱宇助理教授。