世界模型实现“持续学习”能力，AdaJEPA开启在线自适应新范式

最新研究成果来自纽约大学与LeCun创立的AMI机构，这是JEPA系列的最新突破——AdaJEPA。

不同于以往预训练完成后即冻结参数的传统世界模型，AdaJEPA拥有一项关键特性：它能够在与环境持续交互的过程中，通过测试时自适应机制，动态调整世界模型的编码器与预测器。这一设计使得模型具备了真正的持续学习能力。

具体是如何实现的？AdaJEPA遵循一个闭环流程：规划、执行、观测、更新与再规划。在每一次交互中，它仅执行MPC（模型预测控制）规划出的首个动作。当真实环境返回下一帧状态后，模型会将这个新观测值作为自监督信号，用于更新世界模型。如此一来，在进行下一次规划时，模型已不再是刚部署时的固定版本，而是经过当前环境“校准”的优化版本。

这一思路与经典强化学习中的Dyna框架有相似之处——模型并非一次性训练完毕，而是在真实的交互过程中不断修正对环境的认知。实验结果也验证了这一点。无论是在分布内环境还是在面对各类分布外偏移时，AdaJEPA的规划成功率都显著优于固定的世界模型。

其背后的原理究竟是什么？

规划、执行、观测、更新、再规划

长期以来，基于JEPA路线的隐空间世界模型都遵循一个默认假设：模型训练完成后，参数即被冻结。其流程大致如下：

• 首先在离线轨迹数据上进行学习，将高维图像压缩至潜在空间（latent space），并在该隐空间中预测未来状态。
• 测试阶段，MPC（模型预测控制）调用这个冻结的世界模型，在隐空间中向前“想象”未来，优化出一系列动作，再将第一个动作部署到真实环境中执行。

（注：MPC的核心在于每次仅向前预测短时域，生成一组动作序列，但只执行第一步。待真实环境反馈后，再重新进行预测与规划。）

然而，问题随之而来：一旦环境发生变化，冻结的世界模型容易出现预测偏差。当系统遭遇测试时的分布偏移时，在潜在空间中看似顺畅的动作序列，在真实环境中可能连第一步都无法正确执行。更棘手的是，MPC依赖于短时域的滚动规划，单步误差在多次滚动后会被迅速放大。

为解决这一难题，论文提出了AdaJEPA框架。其核心判断非常直接：世界模型不应在训练完成后就固定不变。它应该像真正在部署中的智能体一样，在行动的同时，利用新的经验不断校准自身。

具体来看，AdaJEPA的循环过程可以分解为四个关键步骤：

• 规划：首先，利用状态编码器将当前观测值编码为潜在状态（latent state），再基于当前的世界模型执行MPC。在隐空间中向前滚动预测，找出一组最接近目标状态的动作序列。
• 执行：不一次性执行完整的动作序列，仅完成第一个动作。由真实环境返回下一帧的观测值。
• 更新：将这次真实的状态转移存入在线缓存区。随后，模型根据当前观测和动作预测下一步的潜在状态，并将其与真实状态下编码出的潜在状态进行对齐。预测的误差会通过梯度反向传播来调整模型。
• 再规划：更新后的世界模型立即进入下一轮MPC。实验默认仅更新视觉编码器和预测器的最后几层，并且每次重规划仅执行一步梯度下降。

因此，AdaJEPA的循环不再是传统MPC的“规划、执行、再规划”，而是演变为“规划、执行、观测、更新、再规划”。

世界模型也因此不再仅仅是一个被动调用的“想象器”，而是转变为一个能在部署过程中持续进行自我校准的动态模块。

实现细节

在实现层面，AdaJEPA的基础仍然是JEPA（联合嵌入预测架构）。与传统在像素层面进行预测的世界模型不同，JEPA并不直接预测未来图像，而是先压缩图像至更紧凑的潜在空间，仅在潜在空间内预测未来状态。整个模型由三个核心组件构成：

• 状态编码器：将当前观测值编码为潜在状态。
• 动作编码器：将动作编码为动作嵌入向量。
• 预测器：基于当前潜在状态和动作嵌入，预测下一步的潜在状态。

AdaJEPA的在线更新过程正是发生在潜在空间中。每次动作执行后，系统会将真实的状态转移存入在线缓存区。该缓存区不会无限增长，默认仅保留最近的N条状态转移记录。在更新时，AdaJEPA让模型根据当前观测和动作预测下一时刻的潜在状态，然后与真实下一帧观测所编码出的潜在状态进行对齐。

为了防止在线更新破坏原有的表征空间，论文采取了两个限制措施：一是对目标表征使用`stop-gradient`；二是仅更新少量参数。实验默认只更新视觉编码器和预测器的最后几层，且每次MPC重规划仅执行一步梯度下降。

因此，这并非对世界模型进行完全的在线重训练。它更像是每走一步，都利用从真实环境中获得的即时反馈，将世界模型向当前环境的方向进行轻量级的校准。

实验测试

为了验证测试时自适应机制能否帮助冻结的世界模型重新校准自身，论文在PushT/PushObj和PointMaze两个基准测试上进行了实验。结果显示，在PushObj的未见形状任务中，AdaJEPA几乎将规划成功率提升了一倍。

在PointMaze的未见布局任务中，提升同样显著：GD规划成功率从53.3%提升至78.7%，CEM从49.3%提升至70.7%。更关键的是，这种在线更新所带来的额外延迟非常低，仅为0.01至0.03秒。

这说明，AdaJEPA并非通过沉重的在线训练来强行换取更高的成功率。它更像是在原有世界模型基础上，引入了一个轻量化的“部署时自我校准”机制。总体而言，这篇论文阐述的核心思想是：世界模型不必在训练完成后就被冻结。只要让它在部署时利用真实的交互结果进行轻量更新，就能在应对环境变化时显著提升其鲁棒性。

作者介绍

最后，简要介绍一下论文的作者团队。作者Ying Wang，是纽约大学数据科学中心CILVR Lab的博士生，研究方向聚焦于世界模型，导师为Mengye Ren和Yann LeCun。

另一位作者Oumayma Bounou，是纽约大学的博士后研究员，研究兴趣集中于世界模型、控制与优化领域，目前正与LeCun合作研究世界模型。

此外，纽约大学计算机科学与数据科学助理教授Mengye Ren以及图灵奖得主Yann LeCun共同担任本研究的指导作者。

参考链接[1] https://arxiv.org/pdf/2606.32026