什么是Xiaomi-Robotics-U0

Xiaomi-Robotics-U0是小米推出的380亿参数统一具身合成模型。它基于世界基础模型持续训练，联合优化了五种核心任务：文生图、图像编辑、具身场景生成、具身迁移及具身视频生成。作为首个支持跨多种机器人形态的高质量多视角场景生成模型，它在具身场景生成与迁移的人工评估中超越了GPT-Image-2.0，并在World Arena具身视频生成榜单中排名第一。此外，它还能将π0.5在真实世界操控任务的分布外成功率从36.9%提升至63.2%。

Xiaomi-Robotics-U0的主要功能

• 文生图生成：支持高质量文本到图像合成，能很好地保留基础世界模型的视觉知识。
• 图像编辑：支持Any-to-Image编辑，包括相机控制、时间控制、结构提取等细粒度操作。
• 具身场景生成：根据机器人形态和场景描述，生成多视角一致的初始观察画面。
• 具身迁移：在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。
• 具身视频生成：支持零样本多视角具身视频生成，能将静态场景合成为时序连贯的操作视频。

Xiaomi-Robotics-U0的技术原理

• 统一自回归框架：基于EMU3.5初始化，采用IBQ Tokenizer进行16×16空间压缩，将所有模态统一为离散词表进行next-token预测。
• 联合持续训练：在通用域和具身数据集上，使用统一自回归目标进行持续训练，避免因使用有限机器人数据导致的泛化能力损失。
• FlashAR+ 推理加速：引入反对角线并行解码的垂直预测头，结合vLLM优化，使1024×1024分辨率图像生成速度提升82.9倍。
• 结构化控制分解：将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度，支持可扩展的具身视频增强。
• 子任务-子目标交错学习：通过HDBSCAN聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。

微信关注回复“开源”，加入AI开源项目交流群

如何使用Xiaomi-Robotics-U0

• 环境配置：访问小米机器人官网下载模型权重与推理代码，配置支持CUDA和vLLM的高性能GPU环境。
• 模型加载：基于EMU3.5架构初始化并加载Xiaomi-Robotics-U0的380亿参数检查点，统一调用IBQ Tokenizer处理多模态输入序列。
• 文生图生成：输入文本描述，通过标准自回归next-token预测直接生成1024×1024分辨率的高质量图像。
• 图像编辑：提供一至三张参考图像配合文本指令，模型基于Any-to-Image能力执行相机控制、时间控制或结构提取等细粒度编辑。
• 具身场景生成：输入机器人形态描述与结构化场景文本，模型输出严格满足多视角一致性和几何连贯性的初始观察画面。
• 具身迁移：给定当前多视角观察与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角RGB图像。
• 具身视频生成：提供初始观察帧与任务指令，模型通过自回归展开生成15至25帧时序连贯的机器人操作视频。
• 推理加速：启用FlashAR+垂直预测头与vLLM优化，实现1024×1024分辨率下图像生成速度提升82.9倍。
• 数据引擎应用：将生成的具身场景或视频序列直接输入下游机器人策略网络，用于提升真实世界操控任务的分布外泛化能力。

Xiaomi-Robotics-U0的核心优势

• 统一性：首个将基础图像/视频生成与具身生成统一在单一框架内的模型，避免后训练导致的视觉知识遗忘。
• 多视角一致性：支持跨多种机器人形态的高质量多视角场景生成，严格满足几何连贯性和相机标定约束。
• 可控迁移：引入结构化控制机制，可在保持交互动态的前提下对工作空间、背景、光照等维度进行细粒度编辑。
• 数据引擎能力：生成的具身场景可直接展开为时序连贯的操作视频，为下游策略学习提供可扩展的合成轨迹。
• SOTA 性能：在具身场景生成与迁移上超越GPT-Image-2.0，在World Arena具身视频生成排名第一。

Xiaomi-Robotics-U0的项目地址

• 项目官网：https://robotics.xiaomi.com/xiaomi-robotics-u0.html
• HuggingFace模型库：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
• arXiv技术论文：https://arxiv.org/pdf/2607.11643

Xiaomi-Robotics-U0的同类竞品对比

定位

• Xiaomi-Robotics-U0：统一具身合成世界模型，专注生成可控数据与场景。
• π0.5：端到端视觉-语言-动作策略模型，专注直接控制机器人。

参数规模

• Xiaomi-Robotics-U0：380亿参数自回归Transformer。
• π0.5：采用VLM主干 + Action Expert分层架构。

核心能力

• Xiaomi-Robotics-U0：多视角场景生成、具身迁移、视频生成、图像编辑。
• π0.5：端到端机器人控制、家庭泛化任务执行。

架构

• Xiaomi-Robotics-U0：基于EMU3.5初始化，统一next-token预测。
• π0.5：预训练离散动作token，后训练流匹配生成连续动作。

数据引擎

• Xiaomi-Robotics-U0：可直接生成具身场景与视频，将π0.5分布外成功率从36.9%提升至63.2%。
• π0.5：本身不具备数据生成能力，依赖真实世界采集。

多视角一致性

• Xiaomi-Robotics-U0：原生支持跨多种机器人形态的多视角场景生成与几何连贯迁移。
• π0.5：作为单视角策略模型，不直接处理多视角合成。

视觉知识保留

• Xiaomi-Robotics-U0：联合训练通用生成与具身任务，VLM基准保持高分（ERQA 40.8、SEED 78.6）。
• π0.5：VLM基准得分较低（ERQA 0.0、SEED 21.5），视觉理解受损。

Xiaomi-Robotics-U0的应用场景

• 机器人数据合成：为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。
• 跨形态场景迁移：将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性。
• 仿真环境构建：快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。
• 操作策略增强：利用生成的分布外数据提升机器人策略的泛化能力，如将π0.5的成功率提升26.3%。
• 具身智能研究：作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。

Xiaomi-Robotics-U0通过统一的多模态生成框架，为机器人领域提供了强大的数据生成和场景迁移能力，显著提升了机器人策略的泛化性能，是具身智能领域的重要进展。如需进一步探索，可访问其项目官网或查阅相关技术论文。