游乐游手机版
首页/科技数码/文章详情

OpenAI破解大模型幻觉难题,重塑评估机制以减少错误输出

时间:2025-09-08 12:28
OpenAI研究人员近日表示,他们已找到解决大语言模型一个关键难题的方法,即减少模型在输出信息时产生的“幻觉”现象。所谓“幻觉”,指的是大语言模型在生成内容时会输出看似合理但实际上并不准确的信息。这

OpenAI研究人员近日表示,他们已找到解决大语言模型一个关键难题的方法,即减少模型在输出信息时产生的“幻觉”现象。

所谓“幻觉”,指的是大语言模型在生成内容时会输出看似合理但实际上并不准确的信息。这种问题广泛存在于当前主流模型中,成为影响其可靠性的一大障碍。

研究人员在一篇新发表的论文中指出,幻觉现象的根源在于模型的训练机制。目前的训练方式更倾向于奖励模型“猜测”答案,而不是鼓励它在面对不确定信息时坦承“我不知道”。这种机制导致模型倾向于表现得像一个“善于应试的考生”,即使在信息不明确的情况下也会尝试给出一个看似正确的回答。

OpenAI在上月的一篇文章中提到,其他模型在处理不确定性时的表现也有所不同。例如,某些模型在面对缺乏明确答案的问题时,会倾向于选择不回答或表达不确定。虽然这有助于减少错误信息的输出,但也可能降低模型的实用性,因为用户期望获得更多的有效回应。

研究人员认为,幻觉问题难以根除的主要原因之一,是当前主流评估体系的导向。这些评估方法往往将“猜测出正确答案”视为高分表现,而将“无法回答”或“不确定”视为低分表现。这种机制进一步强化了模型猜测行为的倾向。

“现实世界并非非黑即白的判断题,”研究人员在论文中指出,“但目前的评估标准却把模型训练成了始终处于考试状态的答题机器,忽略了现实中普遍存在的不确定性。”

他们建议,解决这一问题的根本方法在于重新设计模型的评估和评分机制。理想的评估体系应当对猜测行为进行惩罚,而不是对模型的不确定性表达予以扣分。只有当评分机制能够准确反映模型在面对不确定时的合理反应,才能真正减少幻觉现象的发生。

在相关说明中,研究人员进一步强调,当前以准确率为核心的评估标准已经难以适应更复杂的应用场景。如果排行榜继续奖励那些依靠猜测获得高分的模型,那么未来的大模型仍会被持续训练为依赖运气的“应试机器”。

来源:https://ai.zol.com.cn/1043/10437771.html
上一篇《夺宝奇兵》新预告公开 年内登陆XGP 下一篇美中嘉和(02453):成功构建自主进化的多模态智能体架构,智能体检报告系统开始试用
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5

电动汽车电池新国标7月实施热失控不起火不爆炸
科技数码 · 2026-07-01

电动汽车电池新国标7月实施热失控不起火不爆炸

自2026年7月1日起,两项关乎电动汽车安全的核心强制性国家标准将正式实施,为行业加装“安全锁”——《电动汽车安全要求》(GB 18384-2025)与《电动汽车用动力蓄电池安全要求》(GB 38031-2025)同步落地。此次标准升级,从整车架构与电池系统两大维度,精准填补了近年来多起事故暴露出的