在人工智能加速向物理世界拓展的关键时期，一项让机器真正“看懂”并理解现实环境的重大技术突破正式登场。英伟达近日宣布推出全球首款全开源全模态物理人工智能基础大模型——Cosmos 3。该模型专为解决机器人、自动驾驶汽车等智能体在真实场景中感知、推理和规划方面的长期挑战而设计。

Cosmos 3的核心价值体现在其全模态理解与生成能力。它能够原生处理并关联文本、图像、视频、环境音效以及动作轨迹等多种信息模态，在统一的混合Transformer架构下，实现视觉推理、世界仿真与未来动作预测的深度融合。据英伟达宣称，该技术能将物理人工智能系统的训练与评估周期从传统的数月大幅缩短至数日。

突破物理AI泛化难题的关键突破

物理人工智能长期面临的核心挑战在于：如何让智能体基于有限的训练数据和分散的仿真框架，在复杂多变的真实世界中具备可靠的泛化能力。Cosmos 3为此提供了系统性的解决方案。其采用的混合架构，将擅长逻辑分析的推理Transformer与专精内容生成的Transformer相结合，使得模型能够先解析物体间的交互、运动规律以及时空关联，再据此生成仿真视频或预测合理的动作轨迹。

该模型基于涵盖数十亿条样本的海量多模态物理数据集进行预训练。这意味着开发者可以以此为基础，用更少的数据和更低的成本，快速构建适用于特定场景的物理AI系统。根据官方信息，Cosmos 3的主要应用方向包括三个方面：作为多模态图文大模型实现跨模态理解；作为世界模型来仿真环境并预判未来状态，以支撑模型训练；或作为世界动作模型的主干网络，辅助训练机器人完成专项任务。

性能领先优势与丰富版本选择

在多项主流评测基准中，Cosmos 3展现了领先的性能。在开源模型范围内，其世界生成精度在Artificial Analysis、Physics-IQ等多个基准测试中排名第一；动作策略能力领跑RoboLab和RoboArena；视觉理解能力则在VANTAGE-Bench等榜单位居榜首。

为了满足不同研发阶段的需求，英伟达为Cosmos 3提供了多个版本。Cosmos 3 Super专为追求极致物理精度与生成效果的机器人与自动驾驶模型二次训练而设计；Cosmos 3 Nano则能在数秒内完成高品质的视频解析与动作推理，适合快速原型验证。此外，一款主打边缘端实时推理的Cosmos 3 Edge版本也即将上线。目前，Super与Nano版本已正式推出。

伴随模型的发布，英伟达还发起了“英伟达宇宙联盟”，汇聚了包括Agile Robots、Runway等在内的全球多家世界模型研发团队与AI开发者，旨在共同推动下一代物理世界模型技术的发展。这一系列举措，标志着AI从数字世界向物理交互的跨越进入了全新的加速阶段。