在深入分析之前,先分享几个核心判断。
在刚刚解读完编程领域的 Loop Engineering(循环工程)概念后,已有研究团队成功训练出 Looped World Models(循环世界模型)。该模型在 ScienceWorld 科学推理任务中,性能全面超越 Claude Opus 4.6 和 Gemini-3-Flash,而参数量仅为这些模型的百分之一以下。

11 页 Claude Loop Engineering 实战操作指南
Loop Engineering:从提示工程师到循环设计者的 14 步进阶路线图
Loop Engineering 如何借助 AI 编程智能体构建可循环系统
这一模型的诞生,实际上是在回应一个核心问题:AI 是否能够持续理解、修正并推演它所处的世界?
当前大模型正加速向 Agent(智能体)方向演进。而 Agent 必须超越传统的对话 Chat 模式,与真实世界进行交互——这正是该模型被命名为"世界模型"的根本原因。
什么是"世界模型"?
在深入解读这篇论文之前,先花一分钟厘清核心概念。
想象你在玩《我的世界》(Minecraft)。每往前一步,屏幕画面随之变化;挥动镐子,方块碎裂。你基于当前画面做出动作,并预判下一帧画面的变化。
世界模型就是 AI 版本的这类模拟器。
向 AI 输入当前画面和动作指令,它需要预测下一时刻的画面状态:
- 自动驾驶:转动方向盘后,下一秒车辆会抵达什么位置?
- 机器人操作:伸手抓取杯子时,杯子将如何移动?
- 游戏 AI:释放该技能后,敌人会做出何种反应?
- 科学推理:对水进行加热,会发生怎样的变化?
世界模型面临的核心难题
精度与深度,始终是一对难以兼得的矛盾。
- 深度不足,模拟精度低,预测偏差大,几步之后便"偏离轨道"
- 深度过大,参数爆炸式增长,推理速度极慢,难以部署到实际设备中
传统做法是什么?堆叠更多参数、输入更多数据。但该模型的研发团队选择了截然不同的路径。
核心创新:循环机制
2019 年,DeepMind 提出了 Universal Transformer,其核心思想概括起来就是两个字:循环。
传统 Transformer 采用堆叠架构:第 1 层处理完毕传递至第 2 层,第 2 层再传给第 3 层……每一层都使用全新的参数。而循环 Transformer 的思路是:仅使用一层参数,让模型自身循环运行 N 次。
打个比方:传统模型相当于"雇佣 100 个人站成一排,每人处理一个步骤";循环模型则是"雇佣一位高手,让他反复钻研 100 遍"。
但这里存在一个致命缺陷:循环会导致数值发散。
循环一个模块 100 次,输出极易发散,数值不断累积膨胀,最终全部变为 NaN。在语言模型中,这一问题或许尚可容忍,但在世界模型中却是致命的——因为世界模型需要展开数十甚至上百步的预测,一步出错,后续步步皆错。
该研究团队的核心贡献正在于:如何让循环模型保持稳定。
如何保持循环稳定性
研究作者为循环模块引入了一个数学约束。在状态更新公式中,矩阵 A 负责控制"保留多少历史信息"。
关键在于,作者将矩阵 A 设计为对角矩阵,且每个对角元素均严格小于 1。每循环一次,旧状态都会被施加一定的衰减,从根本上杜绝发散。
更精妙的是,这一约束无需梯度裁剪、无需人工归一化、无需调节敏感超参数——它在数学上天然稳定,可被严格证明。
正是得益于这一约束,模型可以放心地进行循环。训练时循环次数最高可达 1024 次,依然不会崩溃。
自适应深度机制
在解决稳定性问题后,第二个创新点随之而来:并非每一步都需要相同的循环次数。
例如,模拟一个球在桌面上匀速滚动——这一过程相对简单,循环 1 次即可。但若要模拟"将冰块放入热水中"——涉及热传导、相变、浮力等多种物理过程——则复杂得多,可能需要循环数十次。
作者设计了一个"退出门"(Exit Gate)机制:每次循环结束后,模型自主判断"是否已经充分推理?"如果条件满足,则停止循环进入下一步;否则继续循环。
实际效果令人惊叹:简单的状态过渡仅需 4 层计算,而复杂过渡可能用到 100 层以上。总体推理计算量节省了约 25 倍。
延迟解码策略
传统世界模型在每个时间步都需要进行"解码"——将内部状态转换为画面输出。这很好理解:输入一张图像,预测下一张图像。
但作者认为:并非每一步都必须解码。
以科学推理为例,假设要"将试管中的水烧开",你并不需要观察水分子在每一步的微观运动,只需知道最终水是否已沸腾。
延迟解码的核心思路正是:仅在最后一步执行解码操作。
这一设计带来了三大优势:
- 速度更快:解码器是模型中最重的计算模块,从每步解码转变为仅在最后一步解码,大幅节省计算资源。
- 精度更高:模型无需在每一步分心"绘制画面",可以专注于推理物理规律。
- 过程可监控:如需在中间过程中查看状态,可通过轻量级的"探头"快速检查,不会打断推理进程。
这一设计构建了一个双层循环结构:
外层循环(动作步骤):动作1 → 动作2 → 动作3 → 动作4 → 动作5内层循环(深度精炼):循环循环循环循环循环循环循环循环最终解码
总有效深度 = 动作步数 × 每步循环次数,而参数仅为一套。
实际测试效果
模型训练完成后,实际测试结果令人瞩目。
ScienceWorld 科学推理任务实测
| 科学推理任务 | LoopWM(约1B参数) | Claude Opus 4.6(100B参数) | 性能差距 |
|---|---|---|---|
| 烧水实验 | 66.7% | 22.2% | +44.5% |
| 导电性测试 | 87.0% | 47.8% | +39.2% |
| 生物寿命实验 | 100.0% | 0.0% | 完全碾压 |
| 融化实验 | 73.0% | 36.5% | +36.5% |
| 总体 EM 得分 | 68.4% | 47.2% | +21.2% |
数据充分表明,循环世界模型才是真正的"性能引擎"。
延迟解码的实际威力
延迟步数越多,性能提升越显著。以 Step 5(连续输入 5 个动作后解码)与 Gemini 的对比为例:
- 烧水任务:EM 得分提升 +500.9%
- 融化任务:EM 得分提升 +557.7%
- 化学反应任务:EM 得分提升 +100.0%
这就是"延迟越久,效果越好"——为模型提供了充足的内部时间进行物理规律推演。
这篇论文提出了一个截然不同的技术方向:模型训练不仅依赖堆参数和增加数据,还可以让模型"多循环几次"。上述三种方案可以协同实施。
此外,其参数效率极为出色。一个 1B 参数的循环模型,通过 100 次循环,能够达到相当于 100B 参数固定深度模型的"思考深度"。但显存占用和推理延迟却截然不同——这对手机、机器人、自动驾驶等端侧设备部署而言,具有革命性意义。
论文原文地址:https://arxiv.org/abs/2606.18208
研究团队:FaceMind Research Asia — Hongyuan Adam Lu, Z.L., Victor Wei 等
