世界模型，也能持续学习了！
你猜怎么着？世界模型终于不再是“一次训练后永久冻结”的静态组件。最近，纽约大学联合LeCun创办的AMI团队发布了JEPA系列的最新突破——AdaJEPA，实现了测试时自适应的持续学习能力。
过去的世界模型，预训练结束后参数就被固定，遇到新环境只能被动应对。AdaJEPA则截然不同——它能在与环境交互的过程中，基于测试时自适应（Test-Time Adaptation, TTA），实时调整编码器与预测器的参数，真正实现“边行动边学习”的在线校准。
具体来说，AdaJEPA的循环流程为“规划→执行→观测→更新→再规划”。每次交互时，它只执行MPC（模型预测控制）规划出的第一步动作，然后利用真实观测到的下一帧状态作为自监督信号，反向更新世界模型。当进入下一轮规划时，模型已经不是刚部署时的“冻结假人”，而是被当前环境动态校准过的版本。
这一思路颇有经典强化学习中Dyna的味道：模型并非一次性训练完就收工，而是在真实交互中持续修正自己对世界的认知。
实验结果也非常直观：无论是面对已知环境还是各种分布外偏移场景，AdaJEPA的规划成功率都显著优于固定世界模型。
为什么需要持续学习？
一直以来，基于JEPA路线的隐空间世界模型都有一个默认前提：模型训练完毕后参数即被冻结。整个流程大致如下——先在离线轨迹上学习将高维图像压缩到latent space，然后在隐空间中预测未来；到了测试阶段，MPC调用这个冻结的世界模型，在隐空间内滚动“想象”未来，优化出一串动作，再将第一步投入真实环境执行。
（这里补充一点：MPC的核心思想是每次只向前预测一小段，计算出一串动作，但仅执行第一步。等真实环境反馈回来，再重新预测、重新规划。）
但问题在于，环境一旦变化，冻结的世界模型就容易失准。当系统面临测试时分布偏移时，在latent space中看似能抵达目标的动作，在真实环境里可能一步都偏离。更棘手的是，MPC本就依赖短时域滚动规划，单步误差向后滚动几步就会被急剧放大。
AdaJEPA：把“规划-执行”改成“规划-执行-更新-再规划”
为了解决这一痛点，论文提出了AdaJEPA框架。其核心判断是：世界模型不应当在训练完成后就被焊死。它应该像真实部署的智能体一样，一边行动，一边用新经验校准自身。
具体循环可以拆解为四步：
- 规划：模型先将当前观测编码为latent state，然后利用当前世界模型进行MPC，在隐空间内向前滚动预测，找出一串最接近目标状态的动作序列。
- 执行：仅执行第一步动作，不贪多。真实环境返回下一帧观测。
- 更新：将此次真实状态转移存入在线缓存区。然后让模型根据观测和动作预测下一步latent state，并与真实状态编码出的latent state对齐。预测误差从梯度反向传播回来。
- 再规划：更新后的世界模型立即进入下一轮MPC。论文默认只更新视觉编码器和预测器的最后几层，每次重规划仅做1步梯度下降。
这样一来，AdaJEPA的循环不再只是传统的“规划→执行→再规划”，而是演变为“规划→执行→观测→更新→再规划”。
世界模型也因此不再只是一个被动调用的“想象器”，而是一个在部署过程中持续自我校准的智能模块。
技术细节：轻量校准，而非“再训练”
在实现上，AdaJEPA的底座依然是JEPA。与传统的像素级预测世界模型不同，JEPA并不直接预测未来图像，而是先将图像压缩到更紧凑的隐空间，仅在latent space中预测未来状态。模型由三个核心组件构成：状态编码器（将当前观测编码为隐状态）、动作编码器（将动作编码为动作嵌入）、预测器（根据当前隐状态和动作嵌入预测下一步隐状态）。
AdaJEPA的在线更新就发生在这个隐空间里。每次执行动作后，系统将真实状态转移存入在线缓存区（默认仅保留最近N条转移，避免无限膨胀）。更新时，让模型根据当前观测和动作预测下一时刻的隐状态，再与真实下一帧观测编码出的隐状态对齐。
为了防止在线更新破坏原有的表征空间，论文做了两项限制：一是对目标表征使用stop-gradient；二是只更新少量参数（默认仅更新视觉编码器和预测器的最后几层，每次MPC重规划只做1步梯度下降）。
因此，这并非将整个世界模型在线重训一遍，而是每走一步，就利用从真实环境中获得的新反馈，对世界模型进行轻量“校准”。
效果如何？提升显著，代价极轻
为验证效果，论文在PushT/PushObj和PointMaze两个基准上进行了实验。结果显示，在PushObj未见过形状上，AdaJEPA几乎将规划成功率提升了一倍。
而在PointMaze的未见过布局中，提升同样明显——GD规划成功率从53.3%提高到78.7%，CEM从49.3%提高到70.7%。
更关键的是，这种在线更新带来的额外延迟极低。论文默认仅更新视觉编码器和预测器的最后几层，每次MPC重规划只做1步梯度下降，额外延迟仅为0.01到0.03秒。
换句话说，AdaJEPA并非依靠繁重的在线训练强行换取高成功率。它更像是在原有世界模型基础上加入了一个轻量级的“部署时自我校准”机制。
总体来看
这篇论文想传达的核心观点其实很简单：世界模型不必在训练完成后就被冻结。只要让它在部署时利用真实交互结果进行轻量更新，就能显著提升面对环境变化时的鲁棒性。
最后，简单介绍一下论文作者。第一作者Ying Wang目前是纽约大学数据科学中心CILVR Lab的博士生，研究方向为世界模型，导师是Mengye Ren和Yann LeCun。
另一位作者Oumayma Bounou目前是纽约大学博士后研究员，研究兴趣集中在世界模型、控制与优化，目前正与LeCun合作探索世界模型。
此外，纽约大学计算机科学与数据科学助理教授Mengye Ren和图灵奖获得者Yann LeCun共同担任指导作者。
参考链接：[1]https://arxiv.org/pdf/2606.32026