7月16日上午,小米技术团队正式发布了其具身基座模型——Xiaomi-Robotics-1。该模型的核心亮点在于,它基于10万小时真实世界操作数据进行预训练,再通过跨本体后训练,最终实现了“开箱即用”的效果。简而言之,用户拿到模型后无需从头调整参数,即可直接在真实环境中执行操作任务。

项目主页地址:https://robotics.xiaomi.com/xiaomi-robotics-1.html
首先剖析预训练阶段。这10万小时的轨迹数据,是通过一个名为Universal Manipulation Interface(UMI)的数据采集设备获取的。覆盖了家庭、商业空间、工业场景、办公室、户外……各类常见场景,并记录了海量的物体交互与操作动作。数据量如此庞大,如何完成标注?团队开发了一套自动化标注流程:将长轨迹切分为固定长度的片段,再利用视觉语言模型(VLM)描述每个片段中夹爪的状态变化以及交互物体的状态变化。这样一来,模型能够根据当前的视觉观察和语言条件,生成推动场景状态变化的动作。整套标注流程大约两周即可完成10万小时的数据处理,效率非常出色。
训练框架分为两个阶段:预训练+后训练。预训练的目标十分清晰——让模型掌握通用的动作生成能力。给定当前视觉画面和一段语言描述,模型需要预测出一系列动作,使场景从当前状态转化至目标状态。这个过程类似于对照菜谱烹饪:看到现状(一堆食材),理解指令(“把土豆切成块”),然后生成手的动作序列,直至任务完成。
后训练阶段需要解决两个对齐问题:
本体对齐:将预训练阶段从UMI数据中学到的动作生成能力,迁移到真实机器人本体上。简单来说,在虚拟环境中模拟完成后,需要让真实机器人同样能够执行。
指令对齐:把“根据状态变化描述生成动作”的能力,转换为“根据人类自然语言指令执行任务”的能力。例如当用户说“把桌上的杯子拿过来”,模型需要知道对应的动作序列是什么。
为此,团队构建了约10000小时跨本体后训练数据,其中包括7200+小时移动操作机器人和双臂机器人数据、1000+小时人工标注UMI数据,以及Bridge V2、RT-1、DROID等公开数据集。数据规模庞大,覆盖范围广泛。
完成后续训练后,Xiaomi-Robotics-1即可在真实环境中根据自然语言指令直接执行多种移动操作任务。若遇到特别复杂、需要灵巧操作的任务,模型也能通过少量下游真实机器人数据进行快速微调,无需从头学习。这种“预训练通用基座,再以少量数据适配任务”的策略,能显著降低新任务的开发与训练成本。
效果如何?几个基准测试的数据很能说明问题:
在RoboCasa365基准测试中,平均成功率为57.4%;在Composite-Unseen任务划分上,模型展现出强大的任务组合泛化能力。
在RoboDojo仿真评测中,Xiaomi-Robotics-1以20.07的平均得分和13.93%的平均成功率登顶排行榜,大幅超越了此前行业最优方法保持的纪录(13.07分/8.80%成功率)。
在VLABench评测中,该模型同样取得了最优表现(SoTA),平均成功率达到59.1%,平均进度得分70.3%。
在RoboCasa基准测试中,平均成功率高达74.5%,超越了RLDX-1、Cosmos Policy、GR00T N1.6、Pi-0.5、Pi-0-FAST等同类方法。
