3月30号,斯坦福李飞飞团队的论文一出,恐怕要在整个“多模态”领域炸开一道口子。题目就叫《海市蜃楼:视觉理解的幻象》,光读标题就知道,这事儿不小。
他们的发现,简单说就是:GPT-5、Gemini、Claude这些我们眼里的“学霸”模型,根本就是个“睁眼瞎”。
怎么证明呢?团队在六个跨医疗和通用场景的基准测试里,让GPT-5.1、Gemini-3-Pro、Claude Opus 4.5以及Gemini-2.5-Pro逐一上阵。然后,最关键的一步来了——他们**悄无声息地,把所有图片都撤掉了**。没有照片、没有扫描报告、没有X光片,一张不留。没有警告,连提示词都没改。
结果你猜怎么着?模型们竟然浑然不觉,完全没发现眼睛前已经一片漆黑。
它们依然像模像样地“看”着图片,详细描述画面内容,煞有其事地诊断病情,书写出一整条逻辑严密的推理链条,并且……准确率依然保持在惊人的70%到80%。所有的分析,全都建立在对一张根本不存在图像的空想之上。
论文将这种现象称为 **“海市蜃楼效应”(Mirage Effect)** 。
研究团队坦言,这比我们常说的“幻觉”(Hallucination)要可怕得多。幻觉,好歹是针对真实输入编造细节。而“海市蜃楼”,是模型凭空构建了一整个虚假的现实,并自信满满地以此为基石进行深度推理。它构造出虚构的X光片,描述假想的结节,诊断出子虚乌有的疾病——一切都只是文本模式的华丽舞蹈。
但真正的“王炸”还在后面。
为了验证问题有多严重,他们训练了一个纯粹的“文本猜测大法”——一个只有30亿参数的纯文本模型,零视觉能力,真正意义上的“盲人”。他们在含69.6万个问题的大型胸部X光基准集上对其进行微调,核心操作依然是:**移除所有图像**。
就是这个“超级猜测器”,它没有任何视觉输入,却打败了GPT-5、Gemini、Claude,甚至**击败了真正的放射科医生**!
在隐藏的测试集上排名第一——这个“第一名”,从未看过任何一张X光片。它生成的推理逻辑,与真实视觉分析的结果,在文本层面毫无区别。
更让你细思极恐的还在后头——当这些模型进行“虚假观看”时,它们的“海市蜃楼式”诊断会极其危险地**严重偏向于最致命的疾病**:ST段抬高型心肌梗死(STEMI)、黑色素瘤、癌。它们对着根本不存在的图像,做出可能危及生命的诊断。要知道,每天有超过2.3亿人在ChatGPT上询问健康问题。
研究还发现了一个反常现象:如果你明确告诉模型“这里没有图片,你随便猜吧”,它的性能会立刻下滑。但如果悄悄移走图片,让模型误以为图像还在,它的“海市蜃楼”诊断能力反而能保持高位。
这意味着,模型一旦进入“海市蜃楼模式”,它就不知道自己是“瞎”的。而这种“不知道自己看不见”的状态,反而让它表现得像“看得见”一样好。
论文最后还补了一刀:当团队用他们的清理方法(B-Clean)去审视现有的基准测试时,发现74%-77%的测试样本都被判定为无效。
换句话说,**四分之三的“视觉”基准测试,根本不是在测试视觉**。
我们看到的那些排行榜,所有所谓的“多模态突破”,所有令人振奋的基准测试分数,有多少是建立在这样的“海市蜃楼”之上的?
这个问题,恐怕需要整个领域重新思考了。
