7月9日,蚂蚁灵波科技正式开源了LingBot-Video。这并非普通的视频生成模型——它是全球首个基于混合专家(Mixture-of-Experts)架构、专为具身智能场景打造的开源视频基础模型。

先来了解背景。近年来,视频生成模型在画质、流畅度及创意表达方面取得了显著进步,这一点毋庸置疑。然而,对于具身智能而言,一个画面精美、动作连贯的视频并不一定能准确反映真实物理规律。换句话说,这类视频可能只是“好看的皮囊”,难以支撑机器人进行连续的预测、规划与任务执行。更关键的是,具身智能对模型的推理效率提出了更高要求,才能满足实时交互与控制闭环的需求。
这使得视频生成领域开始分化出两条截然不同的演进路径:一条面向影视娱乐,服务于内容创作;另一条面向机器人,致力于物理世界的理解、预测与交互。LingBot-Video正是沿着后一条路线迈出的关键一步——它围绕具身智能的核心需求,重新定义了视频预训练范式,在推理效率、物理合理性、动作理解及任务完成度等方面实现了系统性提升。
架构、数据与训练的系统性创新
针对具身智能面临的独特挑战,LingBot-Video从架构、数据与训练三个维度展开了系统性创新设计。
架构:DiT + MoE 设计
核心思路是用MoE(混合专家)替代传统的Dense架构。这一设计的优势在于:在扩大模型容量的同时,显著控制了单次推理成本。LingBot-Video拥有30B总参数,但在生成时仅激活约3B参数,相比同等参数规模的Dense架构,推理效率提升了约3倍。这意味着模型既能从大规模参数中获取扎实的视觉表达能力,又不会被推理负担所拖累,更契合具身智能对高效推理的内在需求。
数据:数据画像引擎与7万小时具身数据
在数据层面,研究团队构建了一套数据画像引擎。除了海量互联网视频之外,还引入了VLA(视觉-语言-动作)、VLN(视觉-语言导航)以及Ego(第一人称视角)等机器人相关数据。这些数据覆盖了灵巧操作、机器人移动和第一视角交互等多个场景,总时长达到7万小时。关键在于:这些数据帮助模型学习的是“动作与环境变化之间的因果关系”,而非仅仅学习视频的表面纹理和视觉风格——后者恰恰是许多通用视频模型的薄弱之处。
训练:多维强化学习奖励系统
训练环节引入了多维强化学习奖励系统。除了美学质量、提示词跟随和运动一致性等常规指标外,模型还围绕物理合理性和任务完成度进行了专项对齐。特别值得关注的是,团队引入了真实世界视频作为偏好信号,使得生成结果不仅符合真实物理规律,也更贴近机器人在实际场景中完成任务的需求。
模型效果评估
从基准测试结果来看,LingBot-Video的表现颇具说服力。在北京大学与字节跳动联合发布的RBench基准测试中,LingBot-Video总分达到0.620,超越了Wan2.6(0.607)、Seedance 1.5 Pro(0.584)以及Cosmos3 Super(0.581)。RBench是专门针对机器人操作视频的综合评测基准,重点评估模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video在生成机器人相关视频时,能够更好地保持动作的合理性与任务执行的完整性。
为更全面验证模型对物理世界变化的建模能力,蚂蚁灵波在内部基准中从通用质量和具身领域两个维度展开评估。结果显示,LingBot-Video在具身领域的表现优于NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3等主要基线模型。此外,在针对物理现象生成与预测的Physics-IQ Verified评测中,LingBot-Video同样位列第一。
从应用视角来看,LingBot-Video可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等多个方向。目前,该模型已正式开源——对于具身智能领域的研究者和开发者而言,它是一个值得关注的全新工具箱。
