游乐游手机版
首页/AI热点日报/热点详情

李飞飞团队揭露AI盲视:未见图即诊断比幻觉更可怕

类型:热点整理2026-06-16
李飞飞团队发现“海市蜃楼效应”:AI未收到图片却能给出专业诊断。实验显示,移除图片后模型准确率仍达70%-80%,医疗场景下纯文本模型甚至超越人类放射科医生。原因在于评测基准中74%-77%题目无需图片即可答对。研究建议增加无图对照测试,防止文本线索作弊。

|真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界

论文名称:《Mirage: The Illusion of Visual Understanding》

(海市蜃楼:视觉理解的幻觉)

发布机构:斯坦福大学等跨学科团队(含李飞飞团队)

先提出一个问题:如果你将一张X光片传给AI,它回复了一份详尽的诊断报告,但你后来才发现——那张片子压根没有上传成功。AI什么也没看到,却给出了一份看似非常专业的结论。

这不是假设,而是这篇论文通过实验验证的现实状况。研究团队给这种现象起了一个名字:海市蜃楼效应。

这里需要明确它与大模型“幻觉”的区别。通常所说的幻觉,是指AI看到了图片却给出了错误答案;而海市蜃楼更令人意外——AI根本没看到图片,却一本正经地开始推理。

一、实验直击:把图片悄悄拿走

为了证明这并非孤例,研究团队设计了一组测试(Phantom-0),涵盖医学、生物、艺术等20个类别,共计200道视觉题目。

操作极为简单:移除图片,但不通知模型。

结果令人警醒——即便是GPT-5这样的主流多模态模型,在没有图片的情况下,依然能维持原有水平的70%至80%准确率。整体测试下来,模型的平均幻影率超过60%;而如果加上一些常用的标准化提示词、进行有来有回的对话,幻影率能够飙升到90%——基本上就是在完全假装自己看见了图片。

二、最让人担心的是医疗场景

如果这种情况发生在医疗领域,后果想想就让人脊背发凉。

团队使用69.6万道题的胸片数据集,训练了一个30亿参数的纯文本模型——也就是说,这个模型从始至终没见过一张真正的医学影像。

然后,让它在一组标准的胸片问答测试中,与前沿多模态模型以及人类放射科医生同台竞技。结果令人大跌眼镜:这个从未见过图像的模型,成绩不仅超过了多模态模型,甚至比人类放射科医生还高出十个百分点以上。

更值得警惕的是,研究团队还发现,模型在假装看片子时,给出的诊断往往偏向严重病症,比如心梗、癌症这类致命性疾病。

三、考试题目本身有问题

为什么AI会表现出这种行为?

根本原因其实出在评测体系本身。目前模型的测评基准都默认了一个前提:答对的题目越多,视觉理解能力就越强。但团队通过实验发现,相当一部分题目根本不需要看图片,仅凭题干中的文字线索就能答对。

为了量化这个问题,团队提出了一个基准清洗框架——B-Clean。结果发现,在多模态评测基准中,高达74%至77%的题目在没有图片的情况下依然能被答对。

换个角度看,过去我们追捧的各种模型视觉排行榜,可能考核的并不是模型识别能力有多强,而是它能不能根据题目猜出答案。举个例子,你问它“图片中的手有几个手指头”,它可能根据题干中的常识,直接猜了一个“5”。

如果明确告诉模型图片不存在、你随意猜,它的成绩反而会明显下降。但要是悄悄把图拿走,让它还以为图还在,结果发现分数依然能维持在高位。

这说明,模型内部存在两套截然不同的响应机制:一套是被动保守的猜测模式,另一套是主动自信的海市蜃楼模式。后者启动时,模型会自己脑补出一张图,并在那张虚构的图片基础上推演输出。

四、看清问题之后,AI下一步该往哪走

其实李飞飞团队撰写这篇论文,核心意图是提醒整个行业停下来,重新想清楚一件事:到底该用什么标准来衡量AI有没有真正“看懂”?未来AI的发展方向,究竟该往哪里走?

这篇论文给出了三个清晰的启示:

第一,必须增加无图对照的消融测试,让每一次评估都能看清,加了图到底能多加点分,不加图差距又在哪里;

第二,测评要避免只依赖公开基准或过于静态的标准题库,否则训练数据或文本线索很容易提前“作弊”;

第三,医疗等高风险场景必须严格校验有图与无图输出的差异,坚决防止模型在没有视觉输入的情况下作出危险推理。

李飞飞和她的World Labs也一直在尝试一个更大的方向:从语言模型走向世界模型。让AI能够理解物理世界的三维结构、物体属性和运动规律。她曾在一场演讲中提到,语言在生物进化史上不过是最近几十万年的产物,而视觉与触觉所代表的空间智能,早在数亿年前就开启了大自然的演化竞赛。

回到最开始的问题:AI到底是在真正看图,还是在表演?

可以确定的是,AI会越来越强大,甚至有一天可能会真正学会观察世界。但在那一天到来之前,我们至少得先学会一件事:不要因为AI给出的答案足够详细,就默认那是它的真实观察;也不要因为AI看起来好像能看见,就允许它在没有实际视觉输入的情况下,对健康问题做出不可靠的判断。

真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界。

来源:https://www.thepaper.cn/newsDetail_forward_33357470

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。