"世界模型"这一概念，如今在人工智能领域已成为当之无愧的热门话题。无论是强化学习研究者、视频生成开发者、机器人领域的工程师，还是那些致力于"物理AI"宏大愿景的团队，几乎每个人都在构建自己理解中的"世界模型"。普通用户也在各类产品发布会上频繁听到这一术语。

然而，一个略显尴尬的现实是：即便在学术界，对于世界模型究竟是什么、其内部结构应当如何设计，至今仍缺乏统一共识。正因如此，本文旨在结合最新前沿研究，深入剖析三个最基础的问题：世界模型究竟定义为何？它有哪些主要类型？以及，它究竟能发挥哪些实际作用？

起源：1943 年的一个洞见

世界模型并非凭空诞生的新概念。早在1943年，心理学家克雷克（Craik）便提出了一个极具洞察力的观点：生物之所以能在复杂世界中生存繁衍，根本原因在于它们的大脑内部构建了一个关于物理世界的"工作模型"。

这一洞见的精妙之处在于——生物体无需事事依赖缓慢且充满风险的物理试错。大脑完全可以在内部模拟各种假设场景，提前预测候选行动的结果，并预先计算出最优策略。这实际上就是今天"世界模型"最原始的思想雏形：先在脑海中将世界"运行一遍"，然后再去行动。

如今，这一思想已深深烙印在自动驾驶、人形机器人等具身智能以及计算机视觉领域的研究之中。

分类：李飞飞的"功能三分法"

面对众说纷纭的定义，李飞飞近期提出了一个基于功能的分类方法，将世界模型按照输出能力划分为三个层次：

• 渲染器（Renderer）：能够生成视频，相当于将内部世界"画"出来给人看；
• 模拟器（Simulator）：能够预测状态转换，回答"接下来会发生什么"这类问题；
• 规划器（Planner）：能够直接产生动作，指导智能体进行下一步操作。

这一分类的价值在于，统一了"世界模型能输出什么"这一层面的对话语言。但需要注意的是，其局限性也很明显：它只规定了输出和用途，并未回答世界模型内部的具体运作机制与架构设计。而这，正是下一轮争论的起点。

路线之争：像素重建，还是潜空间预测？

关于世界模型的内部构建方法，目前仍是百家争鸣。最具代表性的两派观点如下：

李飞飞的世界实验室团队认为，世界模型应是一个统一的内部模型，根据不同的查询接口，解码为RGB像素、状态向量或候选动作建议——一个模型，多种输出形式。而另一边，以LeCun为首的JEPA学派则认为，生成式的像素级重建从来不是正确目标。在潜在空间中做预测便已足够，逐像素重建只会将宝贵的表征容量浪费在无关紧要的光度细节上。

这两派看似对立，但背后其实存在一个共同的底层认知。可以类比大语言模型：LLM的成功本质上是对人类语言知识的压缩；而世界模型的核心目标，则是对真实世界物理规律的压缩——具体而言，是对感官观测与智能体动作的联合分布进行压缩。如果未来世界模型真正成功，就意味着物理世界的知识被完美地压缩进了模型之中。

因此，争论的焦点可以概括为一句话：世界应当用什么方式表示，又要压缩到什么程度。精确的像素级重建显然不是终极目标。当前世界模型要落地的关键，在于为下游应用保留足够的有效信息——而真正的难点，恰恰在于高保真物理细节与有损压缩的抽象语义之间的平衡点。

数据决定上限：互联网视频是最大的宝藏

LLM时代的经验反复证明了一件事：数据是AI能力的天花板。这一规律在物理世界同样成立。在架构和算力固定的情况下，决定泛化能力上限的，是训练数据所代表的物理经验的多样性。架构和算力只影响逼近这一上限的效率，却无法拔高上限本身。

问题在于，机器人和自动驾驶硬件自行采集的数据，无论在规模还是多样性上都远远不够。目前唯一能满足这一需求的数据源，就是开放互联网上数以千亿计的图像、视频和文本。

这其中，互联网视频尤为关键。日常视频的原始像素流中，其实已经隐式地编码了支配物理现实的基础先验信息：

• 物体恒存性（物体离开视野后依然存在）；
• 刚体与可变形材料的区别；
• 运动和交互的运动学限制；
• 光照与阴影的时间动态；
• 遮挡与解除遮挡的因果逻辑；
• 类人行为和交互的结构化先验。

但这些知识都"潜藏在未标注的像素中"，无法直接访问。因此，主流做法是一条两段式的流水线：

首先，通过自动过滤和标注，从海量网络视频中释放这些隐藏的物理知识，提升模型泛化的上限。然后，再通过精炼筛选，去除无关的视觉内容，合成标准化的动作表征，只保留对机器人有实际物理意义的运动和交互信号，让模型能够高效收敛到具体的具身任务，同时不丢失从数十亿视频中学到的广泛物理先验。这套逻辑，与LLM的训练逻辑可谓一脉相承。

正式定义：一个模型，三个特性

综合上述讨论，我们可以给世界模型下一个工作定义：世界模型是对物理世界状态转换过程的压缩建模，其构建过程受到有限计算资源的约束。

在计算约束下，一个通用的物理世界模型天然具有三个核心特性：

• 全模态：不局限于文本或视觉，必须能对所有感知模态进行建模，形成统一的潜在表征；
• 多维异步：现实世界中各类传感器以不同频率采样，模型必须能处理这种多维、异步（多频）的序列数据；
• 局部性：智能体的感知受限于资源，只能观察局部区域，而外部世界又在不断对局部施加干预——因此，建模问题通常被形式化为部分可观测马尔可夫决策过程（POMDP）。

这个定义还暗示了一个重要的范式转变。当前大多数模型回答的问题是"给定当前观察，接下来会发生什么？"；而真正的物理世界模型要回答的，应该是"正在发生什么、为什么发生、将会发生什么？"——这已经涉及认知推理层面：需要识别系统的离散运行状态，划清正常与异常的边界，追溯系统演化至今的因果轨迹。

为什么这一点如此重要？因为物理世界与数字世界有着本质区别。数字世界中的数据一旦生成便永久可读，多年前训练的语言模型至今还能回答量子力学问题。而物理系统本质上是非平稳的、不断变化的，那些最关键的事件（如安全故障、罕见故障模式）可能从未出现在静态训练语料中。

这就是静态世界模型注定难以应对物理世界的根本原因——我们需要的是一个能基于通用表征、针对具体应用自主实时做本地化调整、并且在新模态接入时不崩溃的自洽动态系统。

两种视角：理解的工具 vs 预测的工具

学界看待世界模型，还有两种互补的视角：

作为理解工具，它的目标是将感觉数据压缩成稳定的内部表征，揭示解释当前情况所需的实体、关系和机制。在这个视角下，预测更多地充当一种训练信号，迫使表征学到正确的潜在结构。早期那些深度世界模型（如Ha & Schmidhuber 2018）正是这种思路的典型代表。

作为预测工具，它的价值完全取决于前瞻能力——预测世界如何演化，生成候选的未来场景，为规划决策提供支撑。LeCun的自主智能框架将预测性世界模型置于推理与行动的核心位置，而Sora这类大规模视频生成器，则是这种解释在"可观察未来"层面的典型代表。

在此基础上，世界行动模型（WAM）进一步将预测和行动打通。它可以用显式的未来视频进行推理（视觉规划），也可以用紧凑的潜在轨迹进行推理，或者借助光流、3D点流、RGB-D轨迹这类结构化的空间表征进行推理。在李飞飞的世界模型功能轴上，WAM主要是一个规划器，但通常也兼具模拟器的功能——因为未来状态预测本身就是动作生成的组成部分，而非辅助手段。

超越机器人：世界模型能做科学研究吗？

前面的讨论都围绕着日常物理环境展开——比如机器人、车辆、可操作的物体。那么这套框架能否应用到科学研究领域？答案是肯定的。因为基本范式其实没有改变，始终都是三个要素：系统的状态、可获取的观测、可实施的干预。具体到各学科，情况如下：

• 化学：状态是分子种类、结构与反应进程；观测是光谱、色谱、产率；干预则是实验中那些受控的操作。
• 生物学：状态涵盖从分子网络到生物体的多尺度过程；干预包括基因扰动、药物给药。
• 天文学：状态无法直接获得，只能靠仪器进行间接观测；"规划"则体现为目标、仪器与观测计划的选择。

事实上，现有的一些科学模型已经部分体现了这种表述。比如气象领域的GraphCast，它通过学习全球大气状态的自回归转换模型来做中期预报，本质上是一个结构化的科学模拟器（像我们当前看到的台风预测）。但它还不是一个智能体世界模型，因为它不选择干预，也没有形成"预测—行动"的闭环。再比如分子尺度的MDGen，它学习了分子动力学轨迹的生成模型，但同样不构成一个完整的实验规划系统。

一个完整意义上的智能体科学世界模型，还应更进一步：不仅要生成看似合理的测量结果，更要能够捕捉机制、遵循物理约束与不变量、量化自身的不确定性、支持反事实干预，并且把这些能力纳入实验的闭环——提出假设、预测结果、执行实验、再根据新发现的证据更新内部状态。

结语

如果要把世界模型这件事总结一下，我们可以将整篇文章压缩成三句话：

• 世界模型是什么——在有限算力约束下，对物理世界状态转换的压缩建模；它不只是一个预测像素的工具，而是一个包含潜在状态、观测形成和行动条件动力学的内部模拟器。
• 它靠什么成长——数据的多样性决定了泛化的上限，互联网视频是目前唯一够格的物理先验来源。当然，实现这一切还需要遵循类似LLM的训练方法论来推进。
• 它要去哪里——从回答"接下来会发生什么"，走向回答"正在发生什么、为什么、将会怎样"；从支撑机器人和自动驾驶，走向化学、生物、天文领域的科学发现闭环。