随着大模型快速落地，AI幻觉这一技术圈的小众话题，正逐步演变为全社会无法回避的现实挑战。6月12日，第21期南都数字经济治理沙龙将焦点对准于此——“AI出错，谁为模型‘幻觉’买单？”

中国信息通信研究院人工智能研究所安全治理部主任石霖在会上给出了一个重要判断：大模型“幻觉”已成为当前AI应用面临的重大难题。从现有研究来看，幻觉几乎难以被彻底根除，但值得庆幸的是，通过数据治理、模型优化以及推理增强等手段，我们完全有能力持续降低其发生概率。

中国信息通信研究院人工智能研究所安全治理部主任石霖。摄影：南都记者莫倩如

从“编造事实”到法律风险，AI幻觉的连锁影响正在蔓延

先厘清一个基础概念。“幻觉”一词最初源自心理学，指在没有客观刺激时产生的知觉体验。映射到大模型身上，它表现为两种形态：一是生成内容与用户指令不符——例如你要求英译中，它却输出一段法语；二是生成内容背离客观事实——比如对着图片随意描述。业内通常将前者称为“忠实性幻觉”，后者称为“事实性幻觉”。

从当前行业实践来看，石霖指出，忠实性幻觉的问题尤为突出，已成为制约大模型落地的关键短板。

伴随着大模型进入办公、搜索、教育、咨询等日常场景，幻觉引发的连锁反应日益显著。错误信息会使用户形成认知偏差，在医疗健康这类专业领域中，甚至可能带来误导性建议。更棘手的是，模型“编造”的内容还可能触及名誉侵权、虚假信息传播等法律红线。石霖特别分享了一个工作实际案例，提醒大家：大模型生成的内容必须经过人工核验，绝不能直接当作最终答案使用。

幻觉无法彻底消除，但能够被缓解与有效控制

AI幻觉究竟如何产生？石霖给出的答案十分清晰：并非单一环节的问题，而是从数据准备、模型训练到推理生成，整个链路都存在“隐患”。

在数据层面，训练数据本身可能包含错误、偏见，或者知识覆盖不足。尤其是一些长尾知识、新兴信息，以及受法律法规限制的领域，模型容易“知识断片”，幻觉自然随之产生。

训练阶段更是“重灾区”。大模型本质上依靠概率预测来生成内容，它更关注语言模式和上下文关联，而不是验证事实。再加上模型对齐过程中，为了迎合人类偏好，它往往会选择“听上去更顺耳”的答案，而非最准确的答案——这本身便埋下了幻觉的隐患。

推理阶段同样存在问题。模型有时表现得过于自信，遇到语义相近或复杂的问题时，细节上容易出错。长链条推理中的信息累积偏差，以及模型蒸馏、量化压缩等技术操作，都可能进一步放大幻觉问题。

好消息是，学术界和产业界已在全面应对这一挑战。例如构建事实核查机制、引入外部知识库、建立专门的评测数据集，用于识别和评估幻觉风险；再如数据清洗、检索增强生成（RAG）、模型架构优化、推理增强等技术手段，都能有效降低幻觉发生率。

但必须清醒认识到，现有研究已形成共识：大模型幻觉从根本上难以彻底消除。因为大语言模型基于概率生成的技术原理本身存在固有局限，行业当前的思路是“缓解与控制”，而非“消灭”。

石霖也提醒用户：使用大模型时要明确其能力边界和不确定性。虽然思维链等推理机制能在一定程度上降低幻觉率，但目前没有证据表明推理过程越长、越复杂，幻觉就一定越少。

值得多提一句的是，关于幻觉是否完全有害，学术界和产业界其实存在不同看法。石霖提到，幻觉本质上是一种偏离事实或既有认知的表达，但换个角度思考，这种非线性生成方式，或许与创造性、创新性存在某种关联。因此对于幻觉，我们或许需要更加辩证地看待。

最后，石霖披露了中国信通院在大模型幻觉领域的最新研究成果。他们从去年开始构建了一个包含5000余条样本的幻觉测试集，从忠实性和事实性两个维度进行了专项评测。结果颇具启发：当前主流模型的事实性幻觉总体上低于忠实性幻觉，后者已成为影响模型可靠性的首要问题。

测试数据还显示：同一类型的模型中，参数规模越大，整体幻觉率越低。推理模型相比传统通用模型，在控制幻觉方面表现更优——能够缓解问题，但无法完全消除。而经过蒸馏压缩的模型，忠实性幻觉反而会上升。

石霖最后总结说，未来需要在技术创新、安全治理和标准建设等多个方向协同推进，才能持续提升AI系统的真实性、可靠性与可信度，推动整个产业健康有序发展。

采写：南都N视频记者 黄莉玲 发自北京