AI拼图游戏暴涨视觉理解力，无需标注的多模态模型后训练指南
在多模态大模型的后训练浪潮中，强化学习驱动的范式已成为提升模型推理与通用能力的关键方向。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而，现有的大多数方法仍以文本为中心，视觉部分常常被动地作为辅助信号输入。相比之下，我们认为在后训练阶段重新审视视觉自监督学习的潜力，设计以视觉为中心的后训练对于增强多模态大模型对于视觉信息本身的细粒度深入理解也同样至关重要。
为此，来自MMLab@南洋理工大学的最新论文《Visual Jigsaw Post-Training Improves MLLMs》提出了一种全新的针对多模态大模型后训练任务——Visual Jigsaw。
它将经典的自监督拼图任务重新设计为多模态大模型后训练阶段的核心目标，让模型在不依赖额外标注、也无需视觉生成模块的情况下，显式强化自身的视觉感知与理解能力。在图片、视频和3D三种视觉模态下都验证了其有效性。
Visual Jigsaw 方法简介
Visual Jigsaw可以被看作是一类通用的针对视觉信息的排序重建任务。给定某种视觉模态的数据（图片，视频，3D），对其进行特定的划分并随机打乱顺序，获得一组子元素作为拼图块。模型的目标是重构视觉信息，预测出它们的正确顺序，并以文字的形式输出对应的排列顺序。整个训练过程采用强化学习算法GRPO来优化。
Visual Jigsaw有对应的GT可以直接验证，团队设计了一个分级奖励机制：预测完全正确时奖励为1；若部分位置正确，则按照正确比例给予奖励，并乘以折扣系数来防止模型过度依赖部分匹配；若输出不是有效的排列，则奖励为0。
对于不同视觉模态，具体的Visual Jigsaw任务设计如下
Image Jigsaw：图片在2D空间上被划分为 个相同大小的子图，打乱后模型需恢复正确的空间顺序。
Video Jigsaw：视频在时间维度上被分割成等长的视频片段，模型需重建原始的时间顺序。
3D Jigsaw：从RGB-D图像中采样多个深度点，在图片中标注对应点的位置和打乱后的序号，要求模型恢复由近到远的深度次序。
实验结果
通过在多种图像、视频和3D模态上分别验证了 Visual Jigsaw的有效性：
Image Jigsaw
经过image jigsaw 的训练，模型在三类vision-centric的基准上都带来了稳定提升：
1）细粒度感知与理解，2）基于单目图像的空间感知和推理，3）组合式视觉理解与推理。
结果表明，在多模态大模型中引入image jigsaw的后训练，能显著增强其感知能力和细粒度视觉理解能力，而这恰恰是现有以推理为主的后训练策略所欠缺的。
这种提升来源于拼图任务本身的要求——模型必须关注局部 patch 的细节、推理整体空间布局，并理解不同 patch 之间的关系，这些都直接促进了细粒度、空间和组合式的理解。
Video Jigsaw
经过video jigsaw 的训练，模型在各类通用视频理解基准上均表现出稳定的提升。该方法整体上增强了对视频的感知与理解，并且，在需要时间维度的推理和时间方向性理解的任务（如 AoTBench）上提升尤为明显。
同时，在CVBench上的大幅度提升也验证了模型在跨视频理解与推理上的增强。这表明，视频拼图任务能够促使模型更好地捕捉时间连续性、理解视频间的关联、推理方向一致性，并最终提升对视频的整体和通用理解能力。
3D Jigsaw
经过3D Jigsaw的训练，模型在各类3D基准任务上都取得了显著提升。最突出的提升出现在与深度估计直接相关的 DA-2K 基准上，这是深度排序预训练任务的直接体现。更重要的是，在广泛的其他任务上也观察到了一致的提升，包括单视角基准（如 3DSRBench、OmniSpatial）、多视角基准（如 ViewSpatial、All-Angles），以及第一人称视频基准 （如 VSI-Bench）。这些结果表明，该方法不仅让模型掌握了深度排序这一特定技能，同时也有效增强了其整体的三维空间感知与推断能力。
结语
Visual Jigsaw提供了一种以视觉为中心的轻量、可验证、无需标注的新型自监督后训练范式，为 MLLMs 的视觉感知注入了全新活力。团队希望这一工作不仅展示了视觉拼图任务的潜力，更能启发学界设计更多聚焦视觉信息本身的强/弱监督任务，让多模态大模型能够更好地感知和理解各类视觉信息。
论文链接：https://arxiv.org/abs/2509.25190
项目主页：https://penghao-wu.github.io/visual_jigsaw/
数据和模型HF链接：https://huggingface.co/collections/craigwu/visual-jigsaw-68d92d6aca580f3dc7e3cf36
代码仓库链接：https://github.com/penghao-wu/visual_jigsaw
热门专题
热门推荐
洛克王国世界40级进阶无推图阵容打法攻略 在《洛克王国世界》的成长之旅中，达到40级是一个关键的进阶门槛。许多玩家可能会发现自己并未刻意组建一支成型的推图队伍，面对这个挑战时有些无从下手。这篇攻略将为你详细解析一套无需专门推图阵容的通关思路，帮助你利用现有资源，轻松突破40级进阶关卡。 核心阵容搭配
这城有良田主C僚属红品宝玉词条搭配攻略 在《这城有良田》中，红品宝玉的词条选择，是决定你主C僚属最终伤害上限的核心环节。面对各式各样的属性词条，不少玩家会感到困惑：如何搭配才能最大程度激发核心输出的潜力？本文将为你系统解析主C位红品宝玉的挑选逻辑与进阶策略，助你在资源投入上实现收益最大化，显著提升队
哔哩猫手表版优化指南：适配小屏的关键设置 想在智能手表上流畅体验哔哩猫？直接安装手机版本，往往会遇到界面拥挤、操作不便的问题。其实，只需调整几个核心选项，就能让哔哩猫完美匹配手表的小屏幕，操作体验大幅提升。 1、DPI优化：精准调节显示密度 手表屏幕空间有限，默认的显示比例常常导致文字过大、布局浪费
《深海迷航冰点之下》咖啡机使用全攻略：生存必备热饮制作指南 在《深海迷航冰点之下》这片危机四伏的极地海域中，新手面临的第一个致命威胁往往是持续不断的体温流失。与前作不同，身体失温在游戏前期是核心生存挑战之一。有效应对失温的方法主要有：尽快解锁并制作抗压潜水服的升级模块——防寒服、靠近能提供热源的炽热
三国志王道天下吕布骑阵容玩法攻略 在策略手游《三国志王道天下》中，构建强力阵容是核心乐趣。以飞将吕布为核心的群雄骑兵队，以其惊人的爆发力与爽快的操作体验，备受玩家关注。本攻略将为你详细解析这套阵容的构建精髓、核心机制与实战搭配思路，助你打造一支所向披靡的突击铁骑。 阵容构成 这套阵容以纯粹的群雄阵营