6月4日消息，英伟达在台北GTC大会上正式推出了Cosmos 3，并将其称为全球首款“完全开放的全能模型”。该模型专为机器人、自动驾驶汽车和视觉智能体设计，核心亮点在于基于视觉的推理能力，同时支持文本、图像、视频、环境声音及动作等多模态内容生成。 从技术架构来看，Cosmos 3采用推理Transformer与生成Transformer组成的双模块架构。推理Transformer负责解析物体交互、运动轨迹及时空关系，生成Transformer则基于这些理解输出视频内容与动作轨迹。简而言之，模型先理解物理世界中的交互机制，再生成相应的画面与行为结果，从而大幅提升对复杂环境的建模能力。 英伟达表示，Cosmos 3的核心目标是攻克机器人、自动驾驶车辆与视觉智能体在真实环境理解方面长期存在的难题。目前，相关训练数据依然匮乏，仿真系统也较为分散，这使得机器在掌握物理世界规律时面临较高门槛。Cosmos 3旨在以更高的物理准确性，原生理解并生成文本、图像、视频、环境声音及动作信息。 从应用定位来看，Cosmos 3既可充当视觉语言模型，也可作为模拟物理环境、预测未来世界状态的世界模型，还能成为其他世界模型的基础平台。产品规划方面，响应精度最高的Cosmos 3 Super与轻量版本Cosmos 3 Nano现已正式上市，面向边缘设备实时推理的Cosmos 3 Edge则计划后续推出。 技术层面，Transformer是一类擅长处理序列数据中上下文关系的深度学习神经网络，能够通过并行计算提高生成效率。英伟达此次将推理与生成能力相结合，旨在为机器人与自动驾驶系统提供更贴近真实物理世界的基础模型能力。