大模型错给3岁宝宝的纯视觉试卷：金牌VLM为何失效
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
新智元报道
编辑：定慧
【新智元导读】大模型能写代码、解奥数，却连幼儿园小班都考不过？简单的连线找垃圾桶、数积木，人类一眼即知，AI却因为无法用语言「描述」视觉信息而集体翻车。大模型到底「懂不懂」，这个评测基准给出答案。
过去一年，大模型在语言与文本推理上突飞猛进：论文能写、难题能解、甚至在顶级学术/竞赛类题目上屡屡刷新上限。
但一个更关键的问题是：当问题不再能「用语言说清楚」时，模型还能不能「看懂」？
为了测评模型能不能「看懂」，以及能「看懂」多少，UniPat AI携手红杉中国xbench团队，并联合多家大模型公司与高校的研究员，发布新的多模态理解评测集BabyVision。
UniPat AI致力于构建真实场景下AI训练、评测与应用的新范式，推动其实现可泛化、可信赖的真实世界部署，并创造切实的经济与社会价值。
如果一个视觉问题可以完全用文字描述且不丢信息，它本质上就会退化成文本题。
模型可以靠强大的语言推理能力一路通关，看起来很会「看」，其实是在走语言捷径。
而真正的视觉能力，需要在没有语言扶梯的情况下完成：比较、追踪、空间想象、模式归纳。
Google DeepMind创始人Demis Hassabis曾提到类似观点：
「大模型可以在国际数学奥林匹克拿金牌，却会在小学几何题上出错；它能生成惊艳图像，却不理解杯子为什么不会飘在空中。」
展望2026年，我们判断世界模型与视觉多模态将迎来新一轮突破性进展。
值此开年之际，UniPat AI联合xbench率先抛出关键问题和全新「考卷」，以此迎接并参与新一轮技术突破的到来。
让顶尖模型和孩子做同一张试卷
BabyVision先做了一项非常直接的对比实验：把20道视觉中心任务（vision-centric）作为BabyVision-Mini交给不同年龄段孩子（3/6/10/12岁）和当下顶尖多模态模型来做。
这份「小试卷」要求严格控制语言依赖：题目要求很简单，答案必须靠视觉信息本身得出。
而最终评测结果显示：在「看懂世界」这方面，大模型还没上幼儿园：
大多数模型的分数，聚集在明显低于平均3岁儿童的区间；
Gemini-3-Pro-Preview是唯一稳定超过3岁基线的模型，但距离6岁儿童仍差约20个百分点。
下面是其中一道题，直观且反直觉，连线垃圾分类，小孩可以轻松做对，但顶尖模型追踪一条线都能追丢。
三件物品沿着线分别连到哪个颜色垃圾桶？A, B, C分别表示上方从左到右的三个物体。
<< 左右滑动查看下一张图片 >>
正确答案：A-蓝，B-黄，C-绿
模型答案（Gemini3-Pro-Preview）：A-绿，B-黄，C-蓝
人类的解法几乎是本能，从点出发沿线走到终点（右侧照片是三岁幼儿真实做题痕迹）。
但模型会写出一大段「逐段追踪」的推理，最后仍把两条路径接反：看起来「很会分析」，其实在最基础的视觉追踪上掉线。
BabyVision-Full把视觉能力拆成4大类
研究团队将视觉能力提炼为四大核心类别，每类下细分若干子任务：
精细辨别（Fine-grained Discrimination）：分辨细微的视觉差异（8 个子任务）
视觉追踪（Visual Tracking）：跟随路径、线条与运动轨迹（5 个子任务）
空间感知（Spatial Perception）：理解三维结构及其关系（5 个子任务）
视觉模式识别（VisualPattern Recognition）：识别逻辑与几何规律（4 个子任务）
这套设计的核心理念很明确：不是为了「刁难」模型，而是量化那些「人类直觉就会、但构成智能地基」的视觉原子能力。
这同样是具身智能（embodied AI）走向现实世界的必修课。
为了最大程度确保「纯视觉」考核的有效性，BabyVision在数据构建上也下足了工夫。
项目团队首先参考了儿童认知教材和视觉发育测验，梳理出了上述4大类共22种基础视觉子任务。
接着，每个子技能挑选出 4-5 个种子示例（种子图片），作为该类型任务的典型代表。
基于这些种子示例，研究者利用逆向图像搜索和关键词搜索，从互联网上爬取了约4000张相似的候选图片。
在数据收集过程中，团队严格遵守版权规范，只挑选可用于非商业或学术用途的素材，并过滤掉可能包含大量文字说明或需要文化常识才能理解的图片。
由此获得的海量图片进入人工标注环节：多名专业人员逐一检查图片，筛除不适合出题的样本，对保留下来的图片精心设计问题和标准答案。
为了确保答案的客观正确，每个问题还附有详细的「解题过程」说明，以证明答案确实可由视觉推理得出。
最终，所有标注完成的问题都经过「双盲质检」——两位独立专家交叉审核，每道题只有在双方都认可其答案无误、推理严谨的情况下才被收录 ；若出现异议则退回修改，反复仍无法达成一致的题目则果断弃用。
经过这一系列严苛的筛选，BabyVision最终产出了388道高质量视觉题目，涵盖22种子任务。
最终评测结果
在BabyVision-Full上，研究团队引入了人类基线，16位至少本科背景的测试者完成全量388题，人类准确率达94.1%。
再看模型：
•闭源最强：Gemini-3-Pro Preview为49.7%
开源侧：
• 最强模型（Qwen-3-VL-235B-Thinking）整体为22.2%，多数模型在12–19%区间。
更关键的是：差距不是集中在某一个类别。
四大类能力都在下滑，说明这是「系统性缺基础视觉能力」，而非某个单点缺陷。
一些子任务甚至几乎「全员翻车」，例如Count 3D Blocks在多模型中普遍偏低，暴露的是模型结构化场景能力不足。
为什么会这样？
这些题目unspeakable
最反直觉的地方在于：BabyVision里的很多题，对人类来说不难，甚至孩子会用指一指、圈一圈、沿着线走一遍就搞定。
但模型一旦用文字去「复述」视觉，再用语言推理去算，信息就丢了。
研究团队把这种现象概括为：「这些视觉题是「unspeakable」的，无法在不损失信息的情况下被完整语言化；模型试图把视觉压缩成token，细节在压缩中消失。」
并进一步总结了4类典型挑战：
挑战 1：「非语言细节」（Observing Non-Verbal Details）
比如拼图/补全题里，选项差别可能只是一个微小边界、一个局部凸起、一个像素级错位。
人类凭几何直觉「对齐边界」就能秒选，但模型一旦把形状用语言概括成「像钩子、两个腿、差不多七八个六边形」，细节就被抹平，选项在token空间里变得「几乎一样」。
挑战 2：追线追丢了（Manifold Understanding）
连线/绕线/轨迹题，答案编码在「连通性」里：
人类是锁定一条线→穿过交叉→一路追到终点；
模型往往把线翻译成「左/右/上/下」的离散步骤，一遇到交叉点就出现分叉爆炸，容易「换轨」追错线。
挑战 3：缺少真正的空间想象（Spatial Imagination）
三维方块计数、视角投影、遮挡下的结构判断，人类通常不是「用语言一步步描述」，而是把结构在脑中「立起来」，换个角度看，再数。
模型则容易犯两类错误：漏掉隐藏块、投影关系搞错。这不是逻辑差，而是缺少稳定的3D内部表征与变换能力。
挑战 4：图形规律归纳难（Visual Pattern Induction）
这类题要求从少量视觉示例里抽象出规则，再迁移到新图。
人类做的是关系映射，真正决定正确性的是「发生了什么变化」而不是「那里有什么」，具体的形状、颜色、绝对位置都可以变，只有它们在变换中的「身份」不变。
模型常常盯着表面属性（颜色、形状），把「结构规则」误读成「外观统计」，导致迁移时幻觉规则。
BabyVision-Gen给出一个新方向
当文本推理不够用，一个自然的问题出现了：
能不能让模型像孩子一样，用画、圈、连线、描轨迹来作答？
于是，有了BabyVision-Gen：
• 从原基准中重新标注出280道适合「生成式作答」的题
•要求模型输出图像/视频来表达解题过程或答案
•并开发了自动评测工具，与人工评测一致性达96%
研究团队在BabyVision-Gen上评测了多种生成模型（包括Nano Banana Pro、Qwen-Image、Veo 3、Sora 2）。
现阶段得到的结论很克制但重要：
• 生成式推理在视觉追踪、精细辨别等VLM易翻车任务上出现「更像人类」的行为（会真的去画轨迹、做标注）；
• 但整体仍然缺乏稳定到达完全正确解的能力。
这至少说明：把视觉推理「落地到视觉操作」上，可能是补齐短板的一条路。
下面看一个具体的例子：用红线沿着从左上角图形延伸出的那条线，完整地描出其全程路径。
Sora 2：
Nano Banana Pro：
为什么BabyVision重要？
正如研究团队在Blog中所写：
「很难想象一个视觉能力低于3岁孩子的机器人，能够可靠地在真实物理世界里帮助人类。」
今天，多模态模型「会说会写」已经很强，但要走向真正的通用智能与具身智能，视觉地基必须补上：看得准（细粒度辨别），追得住（轨迹/连通性），想得出（3D结构想象），归纳得了（图形规则迁移）。
因此，BabyVision的价值正在于：
把「看懂世界」拆成可测量、可诊断、可迭代的22个原子能力，告诉我们差距到底在哪里、下一步该补什么，从而引导多模态大模型发展。
开源地址
blog
https://unipat.ai/blog/BabyVision
github
https://github.com/UniPat-AI/BabyVision
huggingface
https://huggingface.co/collections/UnipatAI/babyvision
UniPat
UniPat AI致力于构建真实场景下AI训练、评测与应用的新范式，推动其实现可泛化、可信赖的真实世界部署，并创造切实的经济与社会价值。
正式链接：https://unipat.ai
秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标，锁定新智元极速推送！
相关攻略
新智元报道编辑：Aeneas【新智元导读】大模型能否预测未来？UniPat AI构建了一套完整的预测智能基础设施，Echo，包含动态评测引擎、面向未来事件的训练范式和预测专用模型EchoZ-1 0。
IT之家 3 月 28 日消息，当地时间 3 月 27 日，据《福布斯》报道，美国宾夕法尼亚大学沃顿商学院最新研究显示，使用 AI 规划旅行、咨询医疗建议或撰写求职信，看似只是节省时间，实际上可能正
来源：人民日报客户端走红的“龙虾”（OpenClaw）打开了智能体的想象空间；巨量的词元（Token）反映着AI产业规模快速扩张……3月27日，在2026中关村论坛人工智能主题日，月之暗面创始人杨植
出品｜虎嗅科技组作者｜宋思杭编辑｜苗正卿头图｜中关村论坛现场上一次智谱AI与月之暗面同台，还是在1月10日。那天是智谱通过港交所聆讯后的第三天，一个周六，在中关村国际创新中心举行了一场名为AGI-N
AI正在走向“为了采取正确行动而思考”。编译整理｜莘歆来源 | 盒饭财经（ID：daxiongfan）头图及封面来源 | 网络及即梦制作在X（推特）上宣布离职后的22天，林俊旸发了一篇长文。3月2
热门专题
热门推荐
IT之家 3 月 30 日消息，在今天的 vivo X 系列春季新品发布会上，vivo X300 Ultra 手机正式发布。新机号称「专业 V 单」，搭载第五代骁龙 8 至尊版处理器、拥有 3+2
PPT中实现动态数据图表交互有四种方法：一、用超链接跳转至不同图表页；二、用动作按钮控制图表显隐；三、嵌入可编辑Excel图表；四、用平滑切换动画模拟数据联动变化。如果您希望在PP
3月30日消息，vivo于今晚正式发布X300s，这款被最新定位为“超能小V单”的新机，在影像、性能等多方面上都进行了显著升级。下面咱们就来通过最新一图来看看vivo X300s都有哪些具体升级吧~
vivo X300 Ultra的影像系统配置正式公布，其核心是“3+2”蔡司大师镜头群，旨在覆盖从超广角到超长焦的全场景拍摄需求。该机的三颗主摄分别为14mm蔡司超广角镜头、35mm蔡司人文纪实镜头
vivo X300 Ultra今日正式发布，这款被称为“专业V单”的影像旗舰在外观设计上延续了独特的相机化思路。新机带来了全新的“胶片绿”配色，旨在还原老式镜头独有的油润质感，呈现出浓郁的德味风格。