先说一个明确的结论：LeCun提出的LeJEPA框架确实成功构建了世界模型。但需要特别强调的是，这里有一个关键前提——世界的底层变量必须服从高斯分布。

这一结论并非凭空猜测。LeCun团队在最新发表的论文中提供了完整的数学推导，并精确界定了在何种条件下这一结论能够完美成立，以及在近似情况下误差会如何逐步退化。为了增强结论的可信度，他们还通过机器人手臂控制实验进行了实际验证——在目标导向的控制任务中，使用高斯采样训练出的模型，其规划效果与已知真实状态的理想情况几乎没有统计差异。

可以说，LeCun多年押注的JEPA技术路线，如今终于获得了坚实的理论支撑。

如何判断模型是否真正学习了世界结构？

关键问题随之而来：我们究竟如何判断一个模型学到的是真实世界的底层结构，还是仅仅编造出了看似合理的规律？

一个模型在训练集上表现优异，并不代表它真正理解了世界。它可能只是将图像的纹理、光照、背景等无关信息混杂在一起，碰巧拼凑出了正确答案。一旦场景发生变化，这种表示就会彻底失效。

真正有价值的表示，应当对应世界的真实自由度——例如物体的位置、速度、颜色等独立的内在变量，而不是被观测过程扭曲后的混合产物。

难点在于：我们看到的图像、传感器读取的数据，都是世界真实状态经过复杂非线性变换后的结果。这种变换可以极其复杂，大量结构信息在过程中被混淆和叠加。要从这样的观测数据反推真实结构，数学上通常无法保证可行性。这正是表示学习领域长期面临的核心挑战。

对比学习、VICReg、BYOL等自监督学习方法，都绕开了对这一问题的正面回答。它们的共同特点是：对模型输出的嵌入分布没有施加明确的约束，只是通过各种技巧防止表示退化为常数。嵌入分布的具体形状和性质，它们并不关心。正因如此，要从理论上分析这些方法学到的表示是否还原了真实结构，缺乏足够的数学工具。

LeJEPA的思路则截然不同。它通过一个名为SIGReg的正则项，将模型输出的嵌入分布显式约束为各向同性高斯分布。这一约束赋予了嵌入空间明确的几何结构，也正是这种结构，使得严格的理论分析成为可能。

选择高斯分布是有前提的：论文对世界的潜变量做了一个假设——它们服从高斯分布。这一选择基于两个理由。第一，在给定均值和方差的情况下，高斯分布是熵最大的分布，这意味着它对潜变量的结构做出了最少的额外假设，是一个尽可能保守的起点。第二，任务相关的潜变量往往是大量微观变量聚合的结果，根据中心极限定理，这类聚合变量天然趋向高斯分布。

高斯分布：有效且唯一的答案

在LeCun的论文中，判断LeJEPA的表示是否还原了真实世界结构的标准被称为线性可识别性。这意味着，如果学到的表示与真实潜变量之间存在线性对应关系，就认为模型还原了世界。但这个标准门槛并不低——它要求表示空间中的每一个维度，都对应真实世界里某个独立的变量。用数学语言表达，就是存在一个矩阵Q，使得真实潜变量经过Q的线性变换后，恰好等于模型输出的表示。

用来判断线性可识别性的工具叫做线性探针——在冻结的表示上训练一个线性分类器或回归器，衡量表示中包含多少关于目标变量的信息。线性探针只能做线性变换，因此它能够提取到什么，完全取决于表示本身：如果表示确实与真实变量线性对应，探针就能准确提取，反之则不能。

论文的实验设置如下：首先在已知的低维高斯潜变量上施加各种非线性混合函数（螺旋形变换、正弦剪切、抛物线剪切、RealNVP耦合层等），将潜变量转换为观测数据；然后让LeJEPA在这些观测数据上训练编码器；最后，在编码器输出的表示与原始潜变量之间拟合一个线性回归，用R²来衡量二者的线性对应程度。R²越接近1，说明线性可识别性越好。

实验将潜变量的维度从2一直扩展到1024，超过了DINOv2等模型的嵌入维度。结果显示，在所有测试的混合函数和维度下，SIGReg和VICReg的R²均保持在0.999以上，高斯潜变量条件下的线性可识别性稳定成立。

从理论角度来看，关键在于：对于高斯分布，描述变量随时间演化的转移算子有一组特殊的特征函数，称为Hermite多项式。这组多项式是高斯分布下函数空间的自然正交基，类似于周期函数中的傅里叶级数。它们的关键性质是：一个函数中非线性成分的次数越高，它在正样本对之间的相关性就越低。

LeJEPA的对齐损失要求最大化正样本对之间的相关性，因此任何非线性扭曲都会受到严格惩罚。再结合SIGReg对嵌入分布的约束，这个线性映射必然是一个正交变换——也就是真实潜变量的一个旋转。

论文还证明了这种条件的唯一性。这里采用了Sturm-Liouville理论，这是一个经典数学物理中用于分析微分算子特征函数的框架。论文借用该框架证明：要使转移算子的第一个特征函数恰好是仿射函数（即线性函数加常数），潜变量的分布必须满足一个极为严格的条件——其对数密度的导数必须是线性的。而满足这一条件的分布，恰好只有高斯分布。

这意味着高斯分布在该问题中的地位是唯一的。换成Laplace分布、均匀分布或其他任何非高斯分布，线性可识别性的保证都无法成立。论文也通过实验验证了这一点：在广义正态分布族中扫描形状参数，线性恢复的R²在形状参数等于2（即高斯分布）时出现尖锐的峰值，一旦偏离高斯分布，R²迅速下降。

在表示空间规划，等同于在真实世界规划

那么，线性可识别性一旦成立，究竟意味着什么？

这意味着：在学到的表示空间中进行规划，所得到的结果与在真实世界中求解最优控制完全等价。如果表示与真实潜变量之间只差一个旋转，那么表示空间中的直线轨迹，解码回真实空间后仍然是一条直线——而直线轨迹恰好是许多控制问题的最优解。因此，只要代价函数对旋转不敏感，在表示空间中规划出的最优策略，就等同于在真实世界中规划出的最优策略。

论文通过机器人手臂控制任务验证了这一点。实验场景是DMC Reacher，一个具有两个关节的机械臂，目标是从起始姿态运动到目标姿态。实验分为两组：第一组使用各向同性随机采样（OU过程）生成训练数据，潜变量的分布满足高斯假设；第二组直接使用强化学习策略生成的真实轨迹作为训练数据，由于策略的目标导向性，潜变量的分布集中在状态空间的某个低熵区域，不再满足高斯假设。

结果非常清晰：第一组训练出的编码器，在表示空间中进行直线插值规划，得到的关节轨迹与已知真实状态的理想情况在统计上没有差异；第二组训练出的编码器，采用同样的规划方法却产生了明显的偏差，控制代价显著上升。同一套物理系统，使用随机探索方式采样就能满足理论条件，而使用目标导向的策略采样则会破坏条件——两者的区别，正是数据的分布。

这意味着，在自监督预训练阶段，数据采样策略本身就是理论保证的一部分。

论文地址：https://arxiv.org/abs/2605.26379