|真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界
论文名称:《Mirage: The Illusion of Visual Understanding》
(海市蜃楼:视觉理解的幻觉)
发布机构:斯坦福大学等跨学科团队(含李飞飞团队)
先提出一个问题:如果你将一张X光片传给AI,它回复了一份详尽的诊断报告,但你后来才发现——那张片子压根没有上传成功。AI什么也没看到,却给出了一份看似非常专业的结论。
这不是假设,而是这篇论文通过实验验证的现实状况。研究团队给这种现象起了一个名字:海市蜃楼效应。
这里需要明确它与大模型“幻觉”的区别。通常所说的幻觉,是指AI看到了图片却给出了错误答案;而海市蜃楼更令人意外——AI根本没看到图片,却一本正经地开始推理。
一、实验直击:把图片悄悄拿走
为了证明这并非孤例,研究团队设计了一组测试(Phantom-0),涵盖医学、生物、艺术等20个类别,共计200道视觉题目。
操作极为简单:移除图片,但不通知模型。
结果令人警醒——即便是GPT-5这样的主流多模态模型,在没有图片的情况下,依然能维持原有水平的70%至80%准确率。整体测试下来,模型的平均幻影率超过60%;而如果加上一些常用的标准化提示词、进行有来有回的对话,幻影率能够飙升到90%——基本上就是在完全假装自己看见了图片。
二、最让人担心的是医疗场景
如果这种情况发生在医疗领域,后果想想就让人脊背发凉。
团队使用69.6万道题的胸片数据集,训练了一个30亿参数的纯文本模型——也就是说,这个模型从始至终没见过一张真正的医学影像。
然后,让它在一组标准的胸片问答测试中,与前沿多模态模型以及人类放射科医生同台竞技。结果令人大跌眼镜:这个从未见过图像的模型,成绩不仅超过了多模态模型,甚至比人类放射科医生还高出十个百分点以上。
更值得警惕的是,研究团队还发现,模型在假装看片子时,给出的诊断往往偏向严重病症,比如心梗、癌症这类致命性疾病。
三、考试题目本身有问题
为什么AI会表现出这种行为?
根本原因其实出在评测体系本身。目前模型的测评基准都默认了一个前提:答对的题目越多,视觉理解能力就越强。但团队通过实验发现,相当一部分题目根本不需要看图片,仅凭题干中的文字线索就能答对。
为了量化这个问题,团队提出了一个基准清洗框架——B-Clean。结果发现,在多模态评测基准中,高达74%至77%的题目在没有图片的情况下依然能被答对。
换个角度看,过去我们追捧的各种模型视觉排行榜,可能考核的并不是模型识别能力有多强,而是它能不能根据题目猜出答案。举个例子,你问它“图片中的手有几个手指头”,它可能根据题干中的常识,直接猜了一个“5”。
如果明确告诉模型图片不存在、你随意猜,它的成绩反而会明显下降。但要是悄悄把图拿走,让它还以为图还在,结果发现分数依然能维持在高位。
这说明,模型内部存在两套截然不同的响应机制:一套是被动保守的猜测模式,另一套是主动自信的海市蜃楼模式。后者启动时,模型会自己脑补出一张图,并在那张虚构的图片基础上推演输出。
四、看清问题之后,AI下一步该往哪走
其实李飞飞团队撰写这篇论文,核心意图是提醒整个行业停下来,重新想清楚一件事:到底该用什么标准来衡量AI有没有真正“看懂”?未来AI的发展方向,究竟该往哪里走?
这篇论文给出了三个清晰的启示:
第一,必须增加无图对照的消融测试,让每一次评估都能看清,加了图到底能多加点分,不加图差距又在哪里;
第二,测评要避免只依赖公开基准或过于静态的标准题库,否则训练数据或文本线索很容易提前“作弊”;
第三,医疗等高风险场景必须严格校验有图与无图输出的差异,坚决防止模型在没有视觉输入的情况下作出危险推理。
李飞飞和她的World Labs也一直在尝试一个更大的方向:从语言模型走向世界模型。让AI能够理解物理世界的三维结构、物体属性和运动规律。她曾在一场演讲中提到,语言在生物进化史上不过是最近几十万年的产物,而视觉与触觉所代表的空间智能,早在数亿年前就开启了大自然的演化竞赛。
回到最开始的问题:AI到底是在真正看图,还是在表演?
可以确定的是,AI会越来越强大,甚至有一天可能会真正学会观察世界。但在那一天到来之前,我们至少得先学会一件事:不要因为AI给出的答案足够详细,就默认那是它的真实观察;也不要因为AI看起来好像能看见,就允许它在没有实际视觉输入的情况下,对健康问题做出不可靠的判断。
真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界。
