Yann LeCun连续转发认可VISReg强在哪_AI热点日报

VISReg将自监督学习中防止表征坍塌的正则项解耦为尺度与形状两个独立目标，不依赖启发式技巧。在15个数据集上超越7种主流方法，以约十分之一训练数据达到DINOv2的分布外泛化水平，并在识别、分割、生成引导等任务中表现优异。

这篇文章的第一作者是Haiyu Wu博士，他毕业于圣母大学，目前任职于Altos Labs——一家手握30亿美元启动资金、专注细胞重激活的初创企业。他的研究聚焦于世界模型及多模态模型的稳定性与泛化能力。另外两位作者分别是布朗大学教授Randall Balestriero（LeJEPA/SIGReg的一作）和Altos Labs的副总裁Morgan Levine（前耶鲁大学教授）。这样一支作者阵容，再加上Yann LeCun的连续转发，使得VISReg这项研究一经亮相便备受瞩目。

Yann LeCun连续转发并高度认可的VISReg，到底强在哪？

最近，自监督学习领域涌现出一项新工作——VISReg（Variance-Invariance-Sketching Regularization），竟然让图灵奖得主Yann LeCun连续转发了两次，并给予高度评价：「VICReg begat SIGReg which begat VISReg」，一句话便点明了这条正则化路线的技术传承脉络。那么VISReg究竟强在何处？简而言之，它恰好击中了LeCun一直押注的JEPA世界模型的核心痛点——表征坍塌（representation collapse）。VISReg将防止坍塌的正则项拆分为两个独立目标：「尺度」和「形状」，不依赖任何启发式训练技巧，也无需海量数据，就在15个数据集上全面超越了7种主流自监督方法；其中仅使用大约1/10的训练数据，便在分布外（OOD）基准上追平了DINOv2。

论文标题：VISReg: Variance-Invariance-Sketching Regularization for JEPA training
论文地址：https://arxiv.org/abs/2606.02572
代码/预训练权重：https://github.com/HaiyuWu/visreg
项目主页：https://haiyuwu.github.io/visreg/

一、研究背景：表征坍塌与正则化的两难困境

JEPA世界模型的底层，是Yann LeCun自2017年以来持续推动的自监督学习（Self-Supervised Learning, SSL）。SSL无需人工标注，能从海量数据中习得通用表征，但一直面临一个棘手问题——表征坍塌：模型很容易将不同的输入映射到同一个向量或极少数几个向量上，表面上训练已完成，实际上根本没有学到具备判别力的特征。

为了抑制坍塌，主流方法大多堆叠了多种启发式技巧（如EMA、教师-学生网络、停止梯度、冻结层等）。这些技巧使得训练变得脆弱，参数难以调优，且可解释性与扩展性都大打折扣。

另一条路径是使用正则项直接约束表征的分布。LeCun团队提出的VICReg将学习目标拆分为方差、不变性、协方差三项，通过协方差约束各维度之间的相关性；但协方差只能刻画二阶统计量，无法区分「均值、方差相同，但分布形状完全不同」的两种表征。随后提出的SIGReg基于Cramér–Wold定理，利用sketching技术将整个嵌入分布对齐到标准高斯，从而约束完整的分布形状。然而SIGReg存在两个关键缺陷：

坍塌时梯度消失：表征一旦开始坍塌，SIGReg的梯度也随之衰减——坍塌越严重，修正信号越弱，模型自身很难恢复；
尺度与形状耦合：未能将「幅度大小（尺度）」和「分布形态（形状）」这两个独立属性分开，二者在优化过程中互相干扰，导致在长尾、低质量、低秩数据上适应性较差。

也就是说，当模型最需要梯度信号来逃离坍塌状态时，SIGReg的梯度反而近乎消失。这正是VISReg要解决的核心问题。

图2：不同正则方法在表征坍缩各阶段的梯度幅值模拟。VISReg在坍缩状态下仍能保持强梯度，而SIGReg的梯度几近消失。

二、核心方法：将正则项解耦为尺度与形状

VISReg对VICReg和SIGReg取长补短：保留了VICReg的方差项来控制尺度，同时采用基于切片Wasserstein距离（Sliced Wasserstein Distance, SWD）的sketching目标替代协方差项来控制形状，并通过停止梯度将两者彻底解耦。整个正则目标由三部分组成。

1. 尺度正则（Scale Regularization）

第一部分约束每一维的方差，防止幅值坍缩。其关键性质在于：当模型坍缩时，该项的梯度趋近于常数，从而确保模型能够稳定地恢复——这正好弥补了SIGReg梯度消失的缺陷。

2. 形状正则（Shape Regularization）

第二部分先进行归一化以消除尺度影响，再单独约束形状。关键步骤是带停止梯度（stop-gradient, sg）的归一化：对标准差σ施加停止梯度，使得形状损失的优化不会反过来改变尺度——这正是「尺度」和「形状」两个目标真正解耦、互不干扰的机制所在。

归一化之后，再利用切片Wasserstein距离将分布的几何形状对齐到各向同性高斯。其理论依据是Cramér–Wold定理（论文Lemma 3.1）：两个分布相等，当且仅当它们沿单位球面上所有方向的一维投影都相等。因此，只需将高维表征沿足够多的随机一维方向切片后逐一对齐到高斯，就等价于在高维空间对齐了整个分布——这可以通过廉价的一维排序操作来刻画完整的分布形状，而不仅仅是二阶统计量。

3. 合并目标

第三部分是一个将batch均值μ拉向原点的中心化损失L_center = ‖μ‖₂²。三个正则项按权重组合。预测损失沿用JEPA / LeJEPA的不变性目标——让各视角（global + local，共V个）的嵌入z_i都向全局视角的均值μ_g对齐。最后使用单一超参λ在预测与正则之间平衡，得到完整目标。

与VICReg的对比：VICReg同样将正则解耦为方差+协方差，但协方差只刻画二阶统计量；VISReg采用基于切片Wasserstein的sketching目标完整刻画了分布形状，同时保留方差项做尺度控制——既保留了VICReg的灵活性，又获得了分布层面的严格性。

仅需约15行PyTorch代码

这一正则目标在实现上非常轻量，核心逻辑只需约15行：

def visreg(z, K=64):
    # 1. 中心化损失
    mu = z.mean(dim=0)
    L_center = mu.pow(2).mean()
    # 2. 尺度损失
    z_cent = z - mu
    std = z_cent.std(dim=0, unbiased=False)
    L_scale = (1.0 - std).pow(2).mean()
    # 3. 形状损失：切片Wasserstein距离
    z_norm = z_cent / (std.detach())
    W = torch.randn(D, K)
    W /= W.norm(p=2, dim=0)
    p_sorted = torch.sort(z_norm @ W, dim=0).values
    u = torch.arange(1, N+1) / (N+1)
    target = Normal(0, 1).icdf(u)
    L_shape = (p_sorted - target).pow(2).mean()
    return L_scale + L_shape + L_center

计算复杂度与扩展性

在计算与扩展性方面，VISReg同样具有优势。正则部分的计算复杂度为O(NDK)（N为batch、D为维度、K为切片数），对所有扩展因子都是线性的；相比之下，VICReg的协方差项是O(ND²)，随维度平方增长。在同等batch规模下，VISReg在单块H100 GPU上的运行速度与显存占用均优于SIGReg。

更重要的是，K个随机切片可以分摊到多块GPU上：在M块GPU上每块各生成K/M个切片，效果等价于单卡生成全部K个。实验中，当单卡切片数不足时，改用8卡、每卡128个切片（合计1024），就能将与「单卡1024切片」之间的精度差距从约2.4%缩小到0.22%。这意味着扩大训练规模时K可以保持常数，几乎不增加单卡负担。

图：在固定K与D时，增加GPU数量带来的线性探测精度变化。当K不足（K = ¼D）时，用8倍的GPU数量即可把精度补齐到K = 2D的水平——这使得在大规模训练中保持常数K成为可能。

三、实验结果

回到标题的问题——VISReg到底强在哪里？研究团队在15个数据集（8个域内 + 6个分布外 + ADE20K稠密预测）上，将VISReg与MoCoV3、DINO、iBOT、I-JEPA、MAE、data2vec等7种主流自监督方法进行了对比，场景涵盖天文、医疗、遥感、纹理、花卉等。答案体现在从识别到分割、生成的多个维度上。

1. 域内（In-Domain）线性探测

为保证公平，实验按是否使用启发式技巧分为两组。在不使用任何启发式技巧的一组中，VISReg表现领先：ViT-B/16的域内线性探测精度达75.7%，高于MAE（75.1%）；ViT-L/14进一步提升至77.0%，高于LeJEPA（75.6%）。与使用启发式技巧的iBOT、DINO相比，VISReg在常规数据集上仅略低，但在纹理数据集DTD上反超全部方法——这表明它的跨域泛化能力源于方法本身，而非人工技巧的堆叠。

2. 分布外（OOD）泛化：全面最优

分布外泛化是比域内精度更严格的检验：依赖启发式的方法常在ImageNet域内被充分调优，却未必能迁移到差异较大的新分布。研究团队在覆盖医疗（ChestXRay、RetinaMNIST、OrganAMNIST）、天文（Galaxy10）、遥感（AID）、纹理（DTD）的6个OOD数据集上评测，这些数据集与ImageNet训练域完全无关。结果显示，VISReg在所有方法、所有骨干规模上都取得了最佳的平均OOD精度，甚至超过部分使用启发式技巧、且骨干更大的方法。

图4：平均OOD线性探测精度。VISReg全面优于iBOT、DINO、MoCoV3、I-JEPA、MAE、data2vec等方法。

如图4所示，ViT-B/16的VISReg平均OOD精度为70.19%，ViT-L/14为70.63%，明显高于MAE（67.85%），并优于MoCoV3（69.46%）、DINO（69.56%）、I-JEPA（68.55%）等方法。

3. 数据效率：以1/10数据比肩DINOv2

将VISReg（ViT-L/14）在ImageNet-22K（约1400万张图像）上预训练后，其6个OOD数据集的平均精度达到72.94%，与在10倍规模的LVD-142M（1.42亿张图像）上训练的DINOv2（72.93%）基本持平。也就是说，VISReg以约1/10的数据达到了同等水平。（作为对照，同为ViT-L/14、但仅用ImageNet-1K预训练的VISReg平均精度为70.63%。）这说明它学到的表征具有很强的通用性。

图5：在ImageNet-22K上预训练的VISReg，在OOD基准上比肩用10倍数据（LVD-142M）训练的DINOv2。

4. 迁移微调：全面超过DINO

尽管VISReg在部分域内数据集上的线性探测精度略低于DINO，但经过微调后，它在CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10全部五个数据集上均超过DINO与有监督预训练——这表明它的表征分布更均匀、冗余更低、可迁移性更强。

图：迁移学习对比。微调后，VISReg在所有测试数据集（CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10）上都优于DINO与有监督预训练。

5. 稠密预测与生成引导

VISReg的优势不局限于分类。在ADE20K线性语义分割上（ViT-B/16），其mIoU为30.16，高于DINO（29.40）与MAE（23.60），仅次于MoCoV3（31.69）；在不使用任何启发式技巧的前提下，这个结果很有竞争力。论文也坦言，稠密预测与最佳方法仍有差距，是后续优化的重点。

图7：ADE20K上的线性语义分割。在不使用任何启发式技巧的情况下，VISReg取得了具有竞争力的mIoU，仅次于MoCoV3。

在生成引导上（SiT-B/2，iREPA框架，10万步训练），由VISReg特征引导的生成在四项指标中的三项优于DINO：gFID 40.36（DINO 41.15）、Precision 51.38（DINO 50.51）、Recall 61.26（DINO 60.70），IS基本持平（33.48 vs 33.47）。这说明VISReg学到的表征作为生成引导信号同样更优。

图8：使用SiT-B/2、分别由VISReg与DINO特征引导的图像生成。VISReg在多数指标上都提供了更好的引导（更低的gFID、更高的Precision与Recall）。

6. 低质量数据上的鲁棒性

在长尾分布（ImageNet-LT）与低秩（Galaxy10）等低质量数据集上，VISReg能稳定地防止坍塌并学到有意义的表征，而DINO在缺乏精细调参时直接失败。

表1：ImageNet-LT上的线性探测精度（ViT-S/8，从头训练400 epoch；*表示增大形状损失的权重）
DINO在长尾数据上几近完全失败（Overall仅5.13%），而VISReg*取得了全面最优。

表2：Galaxy10上的域内线性探测精度（从头训练，测试低秩任务；*表示增大形状损失的权重）
SIGReg、SWD、VISReg都能成功避免训练坍缩并取得良好精度，而DINO难以学到有意义的特征。

四、结论

VISReg表明：将表征正则解耦为「尺度」与「形状」两个独立组件，可以得到一种比现有方法更稳定、更高效、泛化性更强的自监督学习方法。在不使用任何训练启发式技巧的前提下，它在图像识别、分割与生成引导等多个维度上取得了领先或接近领先的结果，并以约1/10的数据达到了DINOv2的OOD水平。这为JEPA世界模型长期存在的表征坍塌问题提供了一种新的正则化解法。