在具身智能时代，通用机器人策略距离真正实现全面自主操作还有多远？现有的评估基准恐怕难以给出准确答案。

当前的问题究竟出在哪儿？许多基准所依赖的任务要么过于简单，要么执行周期过短，或者技能覆盖范围极为有限。仿真评估虽然效率高、易于扩展，但很难真实反映机器人在物理世界中的部署能力；而真实世界评估虽然更贴近实际应用场景，却面临成本高昂、耗时漫长以及可复现性差等难题。

为了突破这一困境，来自香港大学、加州大学伯克利分校、清华大学、北京大学等多家机构的研究团队，联合推出了一项面向仿真与真实世界的统一评估基准——RoboDojo。该基准覆盖了多样化、长时程、高精度、依赖记忆以及开放式操作等场景，堪称对当前机器人策略的一次全面性能诊断。

论文链接：https://arxiv.org/abs/2607.04434

实验数据表明：当前通用机器人操作策略远未达到可靠水平。即便是最先进的模型，在RoboDojo的复杂任务面前也显得力不从心，真实世界部署的成功率仅有12.8%，而人类通过遥操作几乎能完美完成任务。

基于这些实验结果，研究团队建立了公开排行榜，系统梳理了当前策略在仿真与真实世界中的局限性，并指明了未来通用操作策略的关键发展方向。

图｜RoboDojo 整体架构概览。

RoboDojo：统一的机器人评估基准

从整体架构来看，RoboDojo通过五类核心操作能力定义了仿真基准，并依托仿真评估平台、真实世界评估平台以及XPolicyLab，共同实现从任务构建、策略训练、部署到评估的完整闭环流程。

图｜RoboDojo 任务全景概览。

仿真基准覆盖了五类核心操作能力：泛化、记忆、长程执行、精细控制与开放指令理解。通过42个精心设计的任务，系统性地诊断策略在不同操作能力维度上的短板。

• 泛化任务测试策略对未见过的背景、光照、目标物体以及杂乱环境的适应能力；
• 记忆任务考察策略利用历史信息进行后续操作的能力；
• 长程任务评估策略完成多步骤操作序列的连贯执行能力；
• 精细控制任务聚焦于窄孔插入等高精度接触操作；
• 开放任务测试策略能否将已学技能迁移到未曾见过的语言指令和新目标物体。

从系统构成来看，RoboDojo由仿真评估平台、真实世界评估平台和XPolicyLab三大部分组成，具体如下：

仿真平台：负责任务构建、资产生成、并行评估和数据采集。任务和场景通过配置文件进行定义，不同物体被构建为数字孪生资产；评估时，平台可并行运行多个场景以大幅提升效率；数据采集方面，简单任务可自动生成轨迹，复杂任务则通过VR遥操作获取高质量的示范数据。

图｜RoboDojo 中的技能多样性展示。

真实世界评估：强调可复现性。通过统一硬件配置、工作空间、光照条件、场景重置流程以及评估协议，尽可能减少真实机器人实验中的偶然因素干扰。RoboDojo-RealEval则借助触摸屏界面和布局叠加机制，规范任务的标准化重置与执行流程。

图｜真实世界任务亮点展示。

XPolicyLab：统一策略开发、训练、评估与部署流程。通过标准化数据转换、训练模板、部署流程以及observation-action接口，大幅降低策略接入的成本与门槛。

此外，RoboDojo还设立了仿真与真实世界双榜单：仿真榜单围绕五类核心能力进行反复评估，并以资深VR遥操作员作为人类参考基准；真实世界榜单基于RoboDojo-RealEval，在3种机器人本体、18个任务上评估10个代表性策略，统一了重置、部署与评分协议。

图｜RoboDojo-RealEval 系统概览。

RoboDojo 的评测结果如何？

研究团队发现，现有通用机器人操作策略整体仍不可靠：即便是当前领先的模型，也与人类专家存在显著差距，而且仿真中的优势未必能延续到真实部署场景中。不过，RoboDojo本身具备较好的评估效率和可复现性。具体结果如下：

1.仿真结果

目前领先策略仍远低于人类水平：目前领先模型包括Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA等，但最佳策略的平均成功率仅为8.80%、平均得分13.07，远低于人类专家的76.03%和80.42分。这说明现有策略距离稳定完成任务，还有巨大的鸿沟需要跨越。

图｜ RoboDojo 仿真基准排行榜。

不同模型能力发展不均衡：Spatial Forcing更擅长泛化任务，X-VLA在精细操作上表现领先，π0.5在开放任务方面相对更强，而Hy-Embodied-0.5-VLA则在长程执行、记忆和总体表现上最为突出。但这些优势多局限于单一维度，难以覆盖完整的任务集。即使在表现较好的泛化和长程维度，最佳成功率也不足15%，精细控制、记忆和开放指令理解仍然是明显的短板。

泛化方面，场景随机化会显著削弱策略表现：Hy-Embodied-0.5-VLA在标准场景下领先，但随机化后性能下降达92.9%；Spatial Forcing在随机场景下相对更稳健，但绝对表现仍然很低。当前策略对视觉和空间分布变化高度敏感，要实现可靠的泛化，仍需更稳定的控制、闭环校正和失败恢复能力。

图｜标准与随机化视觉设置下的策略性能对比。

长程执行方面：动作先验、具身预训练和空间grounding带来的提升仍然有限。Hy-Embodied-0.5-VLA、π0.5和Spatial Forcing的成功率接近15%，说明模型能够推进部分多步任务；但最佳成功率仍不足15%，且分数高于成功率，表明模型常能推进前期步骤，但难以稳定完成最终目标。技能组合、阶段决策和错误恢复能力仍存在明显不足。

精细控制方面：X-VLA表现最好，成功率为12.00%、分数为18.32，但仍远未达到可靠水平。Hy-Embodied-0.5-VLA虽然总体最佳，却在该维度落后于X-VLA和Spatial Forcing，说明整体表现并不能直接转化为局部精细控制能力；三维定位、平滑动作预测和闭环接触控制仍然是短板。

记忆方面：当前策略仍难以有效利用历史信息来完成后续操作。Hy-Embodied-0.5-VLA表现最好，具身预训练和动作先验有助于利用历史信息；但EventVLA的显式记忆设计和X-WAM的隐式时间记忆都未能带来稳定成功，表明记忆能力仍难以转化为可靠的控制行为。

开放语义操作方面：当前策略仍难以应对开放指令和新目标。即使表现最好的π0.5，成功率也仅为1.67%、分数1.98。强视觉-语言骨干虽能提升感知和语言理解能力，但尚不能稳定对齐开放指令、视觉affordance与可执行动作，语义目标到机器人行为的转化仍然是关键短板。

2.真实世界结果

真实世界部署方面，当前通用机器人操作策略仍不可靠。最佳策略π0.5在18个真实任务上的成功率仅为12.8%、分数22.9，远低于人类遥操作的满分表现。分数普遍高于成功率，说明模型常能完成部分步骤，却难以完成完整任务。

图｜ RoboDojo 真实世界基准排行榜。

仿真性能与真实可部署性并不完全一致。π0.5在仿真和真实评估中均表现较强，但真实排名并不完全遵循仿真结果：InternVLA-A1、GalaxeaVLA在真实测试中优于预期，而部分仿真领先模型在真实机器人上的优势明显缩小。仿真更适合能力诊断，真实评估则用于检验策略对感知噪声、校准误差、执行延迟和接触不稳定等物理因素的适应性。

真实世界评估暴露了成功率之外的执行与安全风险。真实部署中会出现动作抖动、无效重复、接触不稳定甚至安全关键行为，DM0等模型还需要人工监控或干预。这说明真实评估不能只看任务是否完成，还要检验策略在物理机器人上的控制稳定性和失败恢复能力。

3.评估效率与稳定性

RoboDojo具备较好的评估效率和稳定性。异构并行仿真提升了大规模测试的吞吐量；真实世界评估中，π0.5完成180次试验仅耗时202分钟，平均每个任务10次试验约11.2分钟，这体现了标准化重置、统一接口和本地部署带来的效率提升。

图｜每个任务的真实世界评估时间统计。

重复评估结果显示，仿真与真实世界的最大成功率标准差分别仅为1.1和1.3个百分点，榜单结果较为稳定且可复现。

图｜多次重复运行中各任务真实世界评估的完整稳定性分析。

不足和未来发展

研究团队指出，尽管RoboDojo已覆盖仿真与真实世界评估，但当前机器人操作策略在泛化、长程执行、精细操作、记忆和开放任务理解上仍存在明显短板；真实世界结果也表明，现有模型在复杂物理部署环境中仍不够稳定。

研究团队表示，他们将在未来持续更新RoboDojo的策略、任务和评估结果，并扩展到更广泛的场景、机器人本体和感知模态，包括灵巧手操作、类人全身操作、触觉操作和移动操作等方向。

图｜RoboDojo 的未来扩展方向。

同时，他们也将为RoboDojo在不同方向引入多个机器人本体，提升基准的可访问性，增强跨硬件平台比较的公平性，最终发展为面向具身操作的通用评估平台。

更多技术细节，详见原论文。