在具身智能领域,“Sim2Real”始终是一道经典难题。仿真环境搭建成本极其高昂,精心训练的模型一旦迁移到现实世界便容易出现“水土不服”,性能大幅折扣几乎成为常态。近日,李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等多家机构,终于推出了一项令人眼前一亮的新方案:Real2Sim。
这套系统名为“SimFoundry”。简单来说,只需输入一段真实世界的视频,它便能自动生成一个交互式的机器人仿真环境——该环境不仅支持实时交互,还可直接用于策略训练与性能评测。这与传统耗时费力的3D场景重建方法截然不同。SimFoundry的独特之处在于,它对真实世界进行了一次深度解析与重构,借助自动化技术大幅降低了仿真环境的搭建门槛。

SimFoundry的核心创新,在于构建了一套“数字孪生”与“数字表亲”的闭环机制。具体如何实现?系统首先从视频中提取信息,解析出场景中每个物体的几何结构、物理属性乃至交互功能,并据此创建高精度的“数字孪生”。更关键的是,系统能在该基础上自动调整物体的外观、形态、场景布局甚至操作任务,从而生成海量的“数字表亲”。这意味着,开发者仅需一段真实视频,就能获取近乎无限的训练数据,让机器人在仿真环境中完成从策略学习到自动评测的全流程。
实验数据也验证了这套系统的强大能力。SimFoundry在仿真环境中评测出的机器人表现与真实世界结果高度吻合,展现出卓越的预测性能。更值得注意的是,利用这些自动生成数据训练的机器人策略,竟能实现“零样本”迁移,在多步操作、双臂协作等复杂任务中依然表现稳定。
这项研究的署名阵容同样扎实,既包括英伟达GEAR实验室的核心研究员,也有李飞飞团队的成员。随着SimFoundry的开源与落地应用,具身智能机器人的开发流程有望迎来重大变革——不再过度依赖昂贵的人工采集与建模,而是依靠生成式技术,让机器人更高效地从实验室走向真实世界。
