这项研究由印度信息技术学院德里分校（IIIT Delhi）主导，于2026年以预印本形式公开发布，论文编号为arXiv:2604.20665。感兴趣的读者可凭借该编号查阅完整的原始论文，深入了解AI图像理解模型的核心问题。

一、一个让人不安的秘密

如今的AI图像理解模型，是否真的在“看”图？

这个问题听起来或许有些荒谬——毕竟，这些模型能够分析医学影像、解读股票图表、回答各种与图像相关的问题。它们怎么可能没有“看”？然而，研究人员深入探查后发现了一个令人坐立不安的事实。许多顶尖的视觉语言模型——也就是那些既能识别图像又能进行对话的AI——实际上并未真正理解图像内容。它们只是依靠多年积累的文字经验，“猜”出了一个听起来合情合理的答案。

这就好比一个从未踏足巴黎的人，因为读过大量介绍巴黎的文章，便能对着巴黎的街道、咖啡馆、天气侃侃而谈。表面上他十分“了解”巴黎，可一旦涉及某张特定旅行照片中的细节——比如一个不起眼的街角、一块褪色的招牌——他就完全懵了，只能靠猜测。没错，这正是当前许多AI视觉模型的真实写照。

研究团队将这一现象命名为“看见的代价”（The Expense of Seeing），并以此为核心建立了一套全新的诊断工具。它的目的非常明确：当AI声称自己“看到了”什么时，它到底在做什么？

二、AI的“聪明汉斯效应”

要理解这个问题，得先讲一个历史故事。20世纪初，德国有一匹名为“聪明汉斯”的马，据说能做数学题。主人问“3加4等于几”，它就敲七下蹄子。这件事轰动一时，后来才发现：这匹马并不会算数，它只是极其敏锐地察觉到周围人群在期待答案附近时微妙的肢体动作，于是在那里停下蹄子。它依靠的不是数学能力，而是对人类反应的读取。

如今的视觉语言模型，正在上演一出翻版的“聪明汉斯”。你给模型看一张胸部X光片，同时告诉它“病人有30年吸烟史”，它可能会信心满满地回答“发现肺癌迹象”。但问题在于：它并非真的在图像中看到了什么异常，而是从训练文本中习得了“长期吸烟→肺癌风险高”这一统计规律，然后直接套用到图片上，完全绕过了对图像本身的分析。

麻省理工、斯坦福等机构陆续发现了类似现象。例如，一个名为MATHVERSE的研究指出，某些数学视觉题目在完全去掉图像后，AI的得分反而更高——图像的存在不仅没有帮助，反而成了干扰。另一个BabyVision的研究发现，那些参数达到数百亿的顶尖模型，在面对连三岁小孩都能轻松完成的基础视觉任务时，表现极其糟糕。MMVP的研究则提到，面对两张普通人一眼就能看出区别的图片，模型却坚持认为它们一模一样。

这些发现共同指向一个结论：当前主流的视觉语言模型，存在严重的“功能性失明”。它们的眼睛——即视觉编码器——根本没有像我们想象的那样工作。

三、现有评测方法为何是个骗局

发现问题之后，学界的常规做法是什么？做减法——把图片去掉，观察AI得分是否下降。如果下降，说明AI确实依赖了图像；如果没降甚至上涨，则说明AI在走捷径。由此产生了两个常用指标：一个叫“多模态增益”，一个叫“多模态泄漏”。

然而，研究团队认为，这种方法从根本上就是错误的。它犯了一个逻辑错误，研究者称之为“消融谬误”。道理很简单：当你把图片从题目中删除时，你同时删掉了信息本身，而不是删除了“用视觉传递信息”这一行为。就像你想测试一个厨师的厨艺，却把所有食材都拿走，然后根据他做不出东西来评判。食材都没了，厨师当然做不出什么——但这能说明他的厨艺好坏吗？只能证明“没有食材的厨师无法做菜”这种毫无意义的废话。

此外，“多模态泄漏”这个指标本身也存在缺陷。它使用了“取最大值”的数学操作，意味着它永远只报告正面数字，完全捕捉不到另一种更糟糕的情况——多模态训练过程可能把AI原本的文字推理能力给搞坏了。就像一个本来写作水平很高的人，经过某种“强化训练”后，写作能力不升反降，而这个指标完全看不到这种退步。

因此，现有评测体系最大的问题在于：它能发现数据集本身的偏见，却无法分辨到底是数据集的问题，还是模型架构本身的问题。这两件事混在一起，研究者根本找不到真正的病根。

四、全新诊断框架：模态翻译协议

研究团队提出了一个完全不同的思路，名为“模态翻译协议”（Modality Translation Protocol）。

这个思路的精妙之处在于：不删除信息，而是把信息“翻译”一下。就像把一本中文小说翻译成英文——内容没变，只是载体变了。如果一个人中文版读得懂，英文版却读不懂，那肯定不是书的问题，而是他英文阅读能力有问题。

具体来说，该协议为每个测试样本定义了三种考察方式。第一种叫“标准视觉语言模式”，正常把图片和文字一起给AI，记录得分，用S_Full表示。第二种叫“符号文本天花板模式”，把图片中包含的关键信息转化为文字描述——比如把一张K线图替换为对应的开高低收价格数据——然后让AI只读文字，记录得分，用S_SymT表示。第三种叫“符号视觉模式”，反过来，把原本的文字问题以图片的形式呈现给AI，让它只能通过视觉来读取问题本身，记录得分，用S_SymV表示。

这三种模式的核心逻辑是：每次测试的信息量保持不变，变的只是传递信息的渠道。如果一个AI真正能平等地处理视觉和文字信息，那么三种模式下的得分应该接近。任何显著的得分差异，都来自模型本身，而非数据集的问题。

在构建“符号文本天花板”时，研究团队明确指出，并不要求把图片的全部像素级信息都转换成文字——这在技术上几乎不可能，因为一张图片包含的信息量远超任何文字描述。他们的要求是“任务充分”：只要转化后的文字包含了完成该具体任务所需的全部关键信息即可。比如判断肺部是否有病变时，“符号文本天花板”只需要包含“肺部清晰，无异常”这样的关键医学判断，而不需要描述X光片每个像素的灰度值。

这个框架之所以有力，在于它天然适用于一大类现实中的重要场景——在许多专业领域，图像本身就是某种结构化数据的视觉化呈现。股票K线图的背后是价格数据，医学影像的背后是放射科医生的诊断报告，分子结构图的背后是化学式字符串。在这些场景中，“符号文本天花板”的构建非常自然。

五、三把手术刀：量化视觉代价的三个新指标

基于上述协议，研究团队打造了三个全新的诊断指标。每一个都像一把精密的手术刀，对准不同的失败模式。

第一把手术刀叫做“看见的代价”（Toll of Seeing，简称ToS）。计算方式是S_SymT减去S_Full。简单来说：如果把图片信息换成文字，AI能多得多少分。如果这个数字大于零，说明视觉对AI来说是种拖累——它自己的文字推理能力本来可以做得更好，但视觉通道的出现反而把它带偏了。就好比一个本来能用地图导航到达目的地的人，被要求“必须用眼睛观察路况”，结果走错了路。

第二把手术刀叫做“看见的诅咒”（Curse of Seeing，简称CoS）。计算方式是S_SymT减去S_SymV。这个指标衡量的是：同样的信息量，用文字传递和用图像传递，AI的接收效率差了多少。如果差异很大，说明AI对视觉信息和文字信息的处理存在严重的不对称性——它读文字很流利，读图像却磕磕绊绊。真正优秀的“双语者”应该能流利地在两种语言之间切换，而不是明显偏袒其中一种。

第三把手术刀叫做“看见的谬误”（Fallacy of Seeing，简称FoS）。计算方式是S_Full减去S_SymV。这个指标的设计最为精妙——它不仅能判断AI有没有问题，还能精确定位问题到底出在哪里。FoS等于零是最理想的状态，表示AI在面对图文混合输入和纯图像输入时表现一致。一旦FoS不等于零，就说明有问题，问题的方向则揭示了故障位置。

当FoS大于零时，说明AI在面对“把文字印在图片上”这种输入时表现更差，也就是它的视觉编码器（负责把图像转换成AI能理解特征的部分）分辨率不够用——连图片里的文字都读不清楚，更别说理解复杂的图表或医学影像了。当FoS小于零时，情况更奇怪：AI在被强制“只用眼睛”时反而表现更好。这说明当图文同时输入时，负责把视觉信息和文字信息融合在一起的“翻译官”（跨模态投影头）出了问题——它把两种信息搅混了，反而比只处理一种信息更糟糕。就像一个人本来能分别流利地讲中文和英文，但被要求同时用两种语言混杂交流时，越说越乱。

六、语义充分性标准：一把衡量AI诚实度的尺子

有了ToS、CoS和FoS这三个指标，研究团队进一步提出了一个综合性的评判标准，叫做“语义充分性标准”（Semantic Sufficiency Criterion，简称SSC）。它的表达式很简单：取ToS、CoS和FoS绝对值中的最大值，这个最大值等于零，才算合格。

这个标准的意思很直接：只有当三个指标同时都等于零，一个视觉语言模型才真正做到了“诚实地看”。ToS等于零意味着视觉没有拖累文字推理；CoS等于零意味着AI对视觉和文字信息一视同仁；FoS的绝对值等于零意味着视觉编码器和融合机制都运转正常，没有任何一个环节出故障。任何一个指标偏离零，都是在发出警报：这个模型对视觉信息的处理有问题，它声称“看到了”的东西，很可能只是“猜到了”。

这个标准最大的实用价值在于它的“数据集无关性”。因为模态翻译协议从不删除信息，只是转换信息的形式，所以用SSC诊断出来的问题，可以确定地归咎于模型架构本身，而不是数据集的偏见。研究者不用再费尽心思去构建那些专门为了“消除语言捷径”而设计的特殊数据集——普通的日常数据集就能用来诊断模型。对研究领域来说，这是个巨大的便利。

七、一个反直觉的预言：规模越大，问题越大

当前AI行业有一个广泛信奉的信条：模型越大，问题越少。参数越多，训练数据越多，最终就能涌现出越强大的能力，包括对视觉信息的理解能力。然而，研究团队提出了一个相当反直觉的假说，叫做“多模态缩放的发散定律”。

这个假说的逻辑是这样的：现有的视觉语言模型架构中，视觉信息必须经过一个“翻译关卡”，把连续的、高维的图像特征压缩转化成AI的语言处理模块能理解的离散信号。这个翻译关卡的容量是有限的，就像一个固定的“信息高速公路”瓶颈。然而，模型的语言处理模块不断扩大、推理能力不断增强时，这个视觉翻译关卡并没有同步扩容。

结果就是令人担忧的不匹配：语言推理能力以火箭速度提升，视觉信息传递能力却像驴车一样缓慢。两者之间的差距——也就是“看见的代价”（ToS）——没有缩小，反而越来越大。语言模块越强，依靠语言先验知识绕过视觉处理的“动力”也越强。视觉编码器越来越像被晾在一边的摆设，而不是被充分利用的信息来源。

就好比一家餐厅，不断招聘更顶尖的大厨、购买更先进的厨具，却始终没有扩建进货通道。食材只能通过那扇窄小的后门运进来，大厨和厨具再好，也施展不开。用宏大的数字和漂亮的基准测试成绩掩盖这个通道的瓶颈，只是在制造繁荣的幻觉。

研究团队把这种假说可视化成了一张图：随着模型参数量的增长，模型在符号文字模式下的得分（S_SymT）像对数曲线一样急剧攀升，而模型的实际综合得分（S_Full）则以更平缓的速度增长。两条曲线之间的阴影区域——那个日益扩大的“看见的代价”——在图里越来越宽、越来越显眼，像是一个无声的警告。

八、从诊断工具到建造蓝图：四条出路

发现了问题，研究团队当然不满足于只喊警报。他们还拿出了解决方向，建议整个研究领域把SSC从一个被动的诊断指标，升级成一个主动的设计蓝图。

第一条出路是“语义等价工程”。未来的训练数据集不应该只是从网上随意爬取的图文对，而应该是精心设计的“等价四元组”——同一个信息的图片版、文字版、图片化文字版、文字化图片版四种形式同时存在，且信息量经过严格验证是对等的。这相当于给AI做“四语种同声传译”训练，而不是只让它接触一种语言。

第二条出路是把ToS、CoS、FoS三个指标引入训练过程，成为损失函数的一部分。简单说，就是在训练AI时，一旦发现它的视觉理解分数和文字理解分数差距过大，就施加惩罚，引导它更诚实地使用视觉信息，而不是抄文字的近道。

第三条出路是把FoS作为动态的架构调整信号。当检测到“负崩溃模式”（FoS小于零，意味着跨模态融合出了问题）时，系统可以自动扩展或调整那个视觉信息翻译关卡的容量，让它能处理更多、更准确的视觉信息。就像发现进货通道塞车了，就实时拓宽通道，而不是等到餐厅整体垮掉才去检修。

第四条出路是建立“动态SSC审计引擎”。在AI系统正式部署运行之后，持续地对输入进行随机的模态翻译测试，实时监控系统的“看见代价”是否在可接受范围内。一旦发现异常，立刻发出警报。这对于那些用于医疗诊断、金融决策等高风险场景的AI系统来说，尤为重要。

九、如果成功了，世界会有什么不同

研究团队描述了如果这个框架被广泛采纳，可能带来的变化。

在AI评测层面，排行榜上的冠军不再仅凭综合准确率决定，还必须同时公开其ToS、CoS和FoS数值。一个在综合测试里拿了80分的模型，如果它的“文字天花板”是95分，那15分的“看见代价”会被清楚地标示出来。任何人都能看到这个模型距离真正的视觉理解还有多远，而不是被一个光鲜的80分所迷惑。

在医疗、金融等高风险应用层面，信任不能再依赖于直觉或模糊的基准测试，而必须是可量化、可审计的。SSC提供了这种量化工具。研究团队设想，未来的监管框架可能会要求AI开发商证明其系统的max(ToS, CoS, |FoS|)接近于零，才能获准在涉及人命关天的场景中使用——这将是AI监管从定性走向定量的一大步。

在整个行业的资源分配层面，研究团队认为当前“越大越好”的军备竞赛式扩张，应该让位于对视觉信息传递瓶颈的精准改造。真正的进步不是参数量增加了多少，而是“模态对称性”提升了多少——也就是AI对待视觉信息和文字信息是否越来越公平。

说到底，这项研究揭示的核心问题，是AI系统在多大程度上真正感知了它声称感知到的东西。这不是一个小问题。在AI越来越多地被用于诊断疾病、分析市场、辅助驾驶的今天，一个“看起来在看但其实没在看”的模型，是一个真实存在的风险。

研究团队的贡献，在于把这个模糊的担忧变成了一套可测量、可操作的工具。不是拿掉图片看AI慌不慌，而是翻译图片看AI懂不懂。这两种思路的区别，正是“暴露数据集偏见”和“定位架构瓶颈”的区别——前者只告诉你有问题，后者能告诉你问题在哪里、有多严重。

对于普通用户来说，这意味着下一次当你看到某款AI大模型在图像理解任务上取得了“突破性成绩”时，值得多问一句：它的“看见代价”是多少？它的“语义充分性”达标了吗？如果这些数字拿不出来，那所谓的“突破”，或许只是统计猜测披了一件视觉理解的外衣。

有兴趣深入研究的读者，可以通过arXiv编号2604.20665查阅完整论文，自行探索这套诊断框架的数学细节和完整论述。

Q&A

Q1：视觉语言模型的“功能性失明”具体是指什么现象？

A：功能性失明是指视觉语言模型在接收图像输入时，并没有真正分析图像内容，而是依赖训练数据中积累的文字统计规律来“猜”答案。比如给模型看一张肺部正常的X光片，同时告知病人有吸烟史，模型可能因为文字先验知识（吸烟→肺癌风险）就预测出癌症，完全无视图像显示的清晰肺部，这就是典型的功能性失明。

Q2：“看见的代价”（ToS）和传统的多模态增益指标有什么本质区别？

A：传统多模态增益是把图片删掉后看得分变化，这个做法同时删掉了信息本身，无法分辨是模型架构的问题还是数据集的问题。“看见的代价”则是把图片信息翻译成文字后与原始视觉输入对比得分，信息量保持不变，只改变传递渠道。因此ToS检测出的差异，可以明确归咎于模型的视觉处理能力，而不是信息丢失造成的。

Q3：多模态缩放的发散定律是说越大的模型视觉理解越差吗？

A：不完全是这样。发散定律说的是：随着模型规模增大，文字推理能力提升速度远快于视觉信息传递能力的提升速度。所以大模型的综合得分可能在上升，但“文字天花板得分”上升更快，两者之间的差距——也就是“看见的代价”——反而会越来越大。换句话说，大模型在整体上可能更强，但它越来越倾向于靠文字猜测而非真正的视觉理解来答题。