当前，人形机器人的发展面临一个关键问题：大多数产品的运动控制仍停留在“有参考才能动”的被动模式。简单来说，机器人只能按照预设好的动作轨迹机械执行，一旦缺少轨迹模板或环境发生细微变化，它就完全无法应对。这种机械复刻的能力，显然无法支撑日常中灵活、随性的交互需求。

针对这一长期存在的技术瓶颈，清华大学MARS实验室推出了一项突破性成果——OMG全模态运动生成框架。该方案思路独特，通过模拟生物大脑与小脑的分工协作，构建了“生成大脑+跟踪小脑”的分层控制体系。

具体而言，团队首先自建了一个千小时级的专属多模态机器人数据集，并基于这些高质量数据训练出一个基于扩散模型的通用运动生成网络。借助该网络，机器人能够直接理解文字指令、跟随音乐节奏、模仿人体动作，甚至处理多种指令的组合，全程自主生成稳定、可执行的全身运动轨迹，无需人工提前“录制动作”。

在实际测试中，OMG表现优异：不仅多项核心指标超越主流模型，还展现出大模型特有的几个特征——模型规模越大，效果持续提升；少量样本即可快速适应新场景；甚至能零样本组合未见过的模态指令。这无疑为人形机器人的通用化智能控制，绘制了一条清晰、完整的落地路线图。

一、行业痛点：人形机器人自主交互能力匮乏

目前，人形机器人的动作能力几乎完全依赖“模仿”。它高度依赖外部预设的参考动作，核心问题在于无法理解人类复杂多变的交互意图——你输入一段文字，它读不懂；播放一首音乐，它跟不上；甚至你做出一个动作，它也难精准复刻并完成后续的稳定行走。机器人能做的，只是被动执行一套预设程序。这从根本上限制了其智能化与通用性，使其难以真正融入生活化、开放式的交互场景。

为打破这一僵局，研究团队专门打造了OMG全模态运动生成体系。整套方案包含两个核心模块：一是千小时级的专用多模态数据集OMG-Data，提供高质量训练素材；二是自研的生成网络OMG-DiT，负责自主进行多模态动作创作。最后搭配成熟的全身跟踪器，从意图理解、动作生成到落地执行形成完整闭环，真正让机器人具备多模态智能自主控制能力。

二、OMG-Data：千小时级可执行多模态动作数据

要实现通用化，数据是根本。高质量、符合物理约束的标准化动作数据，是人形机器人通用能力的底座。然而，现实是：人类公开的动作数据集来源繁杂，骨架规范各异，绝大多数人体动作一旦试图迁移到实体机器人上，就发现根本不可用，中间的落地断层极为严重。

针对这一问题，研究团队搭建了一整套标准化的大规模数据清洗流水线。流程大致如下：首先，整合AMASS、LAFAN、舞蹈、语音手势配对等海量公开动作素材，剔除无效的损坏帧、异常关节角度、时序错位等数据。然后，通过自研的通用动作重定向技术，将SMPL人体模型、视频重建人体、FBX动画等不同来源的动作数据，统一映射到宇树G1机器人独有的动作空间。对于缺失文本标注的动作片段，团队在仿真环境中渲染出多视角画面，调用视觉语言模型进行细粒度的时序语义标注，再根据文本边界、音乐乐句与滑动窗口完成长序列切分，以适配模型短时预测的训练习惯。

最关键的一步是物理可行性验证。所有候选动作都需进入仿真环境跑完全程，由跟踪器实时执行并校验机身高度、倾斜角度、连续跌倒帧数、关节极限等关键指标。违反物理规则、导致跟踪失效的样本一律筛除。最终，OMG-Data总时长达到1174.66小时，包含1166.6小时文本标注动作、958.77小时人体参考动作、191.6小时音频配对动作。这些数据经过一次标记，即可直接用于实体机器人训练，彻底补足了人形运动生成领域“数据规模不足、机器人无法使用”的两大核心短板。

三、OMG-DiT：可扩展轻量化DiT运动生成主干网络

OMG-DiT是这套框架中最核心的“大脑”模块。它采用了一种巧妙的解耦设计：“共享主干网络+轻量化模态适配器”。该设计将通用运动先验与多模态条件输入处理分开，这样一来，若要接入全新控制模态（如手势、眼动等），无需对主干网络进行大规模重新预训练，只需新增一个轻量级适配模块，即可快速完成新能力接入。这一特性极大降低了通用人形机器人的扩展与迭代成本。

整套系统“生成-跟踪”的分层架构分工明确。上层OMG-DiT作为运动生成大脑，基于历史运动状态及文本、音频、人体参考动作等实时条件，对未来60帧宇树G1机器人的全身参考轨迹进行预测。底层HoloMotion跟踪器则像“小脑”一样，负责将大脑生成的轨迹转化为具体关节控制指令，维持机身平衡、抗干扰并跟踪目标轨迹，完成所有物理执行任务。

此外，模型直接在宇树G1原生的125维机器人动作空间中进行训练与生成，无需额外设计人体-机器人转换编码器。网络主体基于DiT构建强力去噪主干，结合RoPE旋转位置编码与精心设计的时序自注意力机制，精准建模全身运动在时间上的关联。训练时采用随机模态丢弃策略，配合推理阶段的无分类器引导，使模型能实时、灵活地在单模态与多模态组合指令间切换。

针对三类核心原生控制模态，团队分别设计了不同特征注入方案：文本指令通过冻结的T5-Base编码器提取语义特征，以全局上下文Token形式，经交叉注意力机制逐层注入DiT网络；音频和人体参考动作属于帧对齐信号，经MLP特征映射后，通过FiLM调制模块逐帧优化运动特征，分别实现音乐节奏的精准匹配与人体姿态的高效复刻。

这套框架的模态扩展能力极强。以Pico VR关键点遥操作为例，要接入这一全新交互场景，只需配置一个零初始化的FiLM适配器，主干的预训练权重完全不动，利用少量样本简单微调即可适应新任务，且不会破坏模型已学会的通用运动先验。更值得一提的是，在推理阶段，用户可自由定义不同模态（文本、音频、人体姿态）的权重配比，实现训练数据中从未出现过的多指令协同运动生成。

四、实验全方位验证：极致生成性能与通用基础模型能力

研究团队从横向性能对比、下游小样本迁移以及基础模型特性验证三个核心维度，开展了全面、系统的实验评测。为确保结论可信，所有模型输出的轨迹都在仿真环境中由真实跟踪器执行校验，并同步统计运动生成质量、机器人跟踪稳定性、跌倒率等多个指标。

在多模态生成对比实验中，OMG几乎在所有任务上都取得最优表现。文本驱动任务中，OMG-XL最大型号的FID低至6.03，R-Precision@1达到65.43%，机器人跌倒率仅为0.78%，在语义匹配精度与物理稳定性上全面超越GENMO、HYMotion、Kimodo等主流模型。

音频驱动的舞蹈生成任务同样出色。音频匹配的FID_k为40.46，全程无任何一次跌倒失效，可精准跟随古典、流行等不同风格音乐，生成丝滑顺畅的全身动作。

在人体姿态重定向任务上，模型表现也极具竞争力，MPJPE误差仅为18.84。与GMR、NMR、OmniRetarget等传统方案相比，OMG在完美复刻人体细节姿态的同时，保持输出轨迹的高度稳定性，使机器人能够精准跟踪。

下游微调实验的结果进一步证实了模型强大的迁移能力。在全新数据集适配实验中，团队仅用1%的AMASS-CMU数据对预训练模型微调，效果竟能与使用全量数据从头训练的结果相媲美。在针对Pico关键点遥操作这一全新任务时，基于预训练权重初始化的模型，性能也大幅优于随机初始化模型，充分论证了主干网络所沉淀的通用运动先验，具备极强的跨场景、跨模态泛化能力。

此外，论文还验证了模型作为通用基础模型的几个关键特性。首先是模型规模缩放特性：在数据和评估条件固定的前提下，模型参数量越大，运动生成的综合性能稳步提升，意味着人形动作生成能力可通过持续扩大模型容量不断迭代优化。

其次是零样本模态组合能力：模型可在推理阶段将文本、音频等从未在训练中同时出现过的组合指令融合起来，生成既遵循文本语义逻辑，又契合音乐节奏的差异化复合动作。最后，模型还支持实时模态动态切换，在整个连续交互过程中平滑适配不同控制信号，完全满足人机实时互动的应用需求。