OpenAI转变策略：从低调测试到主动公开AI风险
【新智元导读】随着AI越来越强大并进入更高风险场景，透明、安全的AI显得越发重要。OpenAI首次提出了一种「忏悔机制」，让模型的幻觉、奖励黑客乃至潜在欺骗行为变得更加可见。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
当AI越来越聪明时，也变得越来越难以掌控。
一个让AI研究者头疼的问题是：
当AI开始和你「耍小聪明」时，比如：
一本正经地胡说八道：幻觉
为了拿高分找训练机制的漏洞：奖励黑客
在对抗测试里出现「密谋欺骗」
……
怎么破解？这是个棘手的难题。
最大的问题，就是这些AI的回答往往看起来没问题。
它们逻辑严谨、表述流畅，但不知道「坑」埋在了哪里：是不是走了捷径、隐瞒了不确定性、或者偷偷违反了要求。
于是OpenAI的研究者就提出了一个非常大胆的点子：
让模型「学会忏悔」。
该项研究的核心，是训练模型在回答完问题后，再额外产出一个自我坦白的「小报告」：
我刚刚是不是用错方法了？有没有偷懒？有没有读漏指令？有没有利用你没注意的漏……
为了让模型在忏悔时「放下思想包袱」，这份报告不影响主回答的评分，它只考察一个维度：
诚实。
忏悔机制迈出了AI透明化的重要一步，让大模型可以主动承认自己是否遵守指令、是否走捷径，从而让隐藏的不良行为变得可见。
这使我们拥有了检查AI内在状态的窗口，有机会真正理解问题在哪里，从而更好改进AI的安全与训练方式。
论文里有更多实验，包括与未使用自白机制的对照模型比较，以及对自白失败案例的分析。
https://cdn.openai.com/pdf/6216f8bc-187b-4bbb-8932-ba7c40c5553d/confessions_paper.pdf
忏悔机制如何让AI更「诚实」？
忏悔机制的探索方向，是训练模型在出现不良行为时主动承认，研究人员称之为「忏悔」。
这是一种仍处于早期的概念验证方法，通过训练模型在违反指令或走捷径时主动「忏悔」，从而让这些行为变得可见。
OpenAI及其他的AI研究者证明，大模型可能出现幻觉、奖励黑客或不诚实行为。
目前，最严重的行为，如密谋欺骗主要在压力测试和对抗性评估中才出现。
但随着模型变得更强、更像AI智能体，即使罕见的失衡行为也会造成更大的影响，因此我们需要能更好发现、理解和缓解AI风险的方法。
如何让模型毫无保留地「忏悔」？
研究人员让「忏悔」完全和主任务的奖励脱钩，只考察一个维度：
说实话就给奖励，不说实话不给奖励。与主任务的回答好坏无关。
模型只要在自白里承认问题不会被算作负分。
只要它如实说明自己是否利用了测试漏洞、故意压低表现或违反了指令，就会获得奖励。
目的是为了让模型如实报告自己的真实行为。
测试显示，忏悔机制能显著提升不良行为的可见性。
在诱导不良行为的场景中，「假阴性」的比例只有4.4%。
图中展示的是模型在四类任务下自我「忏悔」是否遵从的准确性。
结果被分为上图中的四类：
True positive：模型不遵从，并且坦白说自己不遵从
True negative：模型遵从，并且坦白说自己遵从
False positive：模型遵从，但错误地坦白说自己不遵从
False negative：模型不遵从，但错误地坦白说自己遵从
整体目的是衡量模型自我评估是否可靠。
在「幻觉」任务中，正确率达到了81%，但也存在一定比例错误「坦白」，这说明模型在涉及「幻觉」判断时，对自身表现的把握不如其他领域稳定。
在遵循指令类任务中，错误坦白的情况仅占4.4%，这说明AI在此类任务中对自己的行为判断相当可靠。
对于给定的用户提示，以上四种可能的结果取决于两个维度的组合：
模型的回复是遵从还是不遵从，以及「忏悔」声称遵从还是不遵从。
研究人员整体上发现，「忏悔」供述通常非常准确，而且其中的错误大多是无害的，更多源于真实的困惑，而不是有意误导。
忏悔机制如何有效工作？
忏悔机制是AI对自己是否遵守显性和隐性指令、是否走捷径、利用漏洞或未达预期的情况进行自我报告。
在这方面大模型可以被训练为保持坦诚。
研究人员以GPT-5 Thinking的一个版本进行忏悔机制的训练，并在多个分布外的压力测试数据集上评估。
这些数据集旨在诱导密谋式欺骗、奖励黑客、违反指令和幻觉等行为。
结果显示，即便模型真的做了这些不该做的事，它在忏悔中依然很可能承认，整体效果在不同数据集和任务上都表现稳定。
在每次对话结束后，可以通过一条「系统消息」要求模型给出上一条回答的忏悔报告，内容包括：
回答应满足的所有显性和隐性目标、指令和限制；
回答是否做到这些的客观评估；
模型在作答过程中遇到的模糊点、不确定性或难以判断的问题。
训练时，一个独立的奖励模型只评估自白内容，包括目标是否完整、分析是否准确、不确定性说明是否充分。
自白的奖励不会影响主回答的得分，从而确保模型在自白里说什么，都不会影响主回答的表现。
为什么忏悔有效？
原因在于许多不良行为是在模型同时优化多个目标时产生的。
在强化学习中，模型通过看提示词、生成回答、得到奖励，逐渐学会能得高分的模式。
但奖励信号往往混合多种因素：正确性、帮助性、产品规范、安全要求、用户偏好等。
这些奖励信号的相互作用，可能把模型推向我们不希望的方向，比如：
幻觉研究显示：一些数据集更奖励「自信猜测」而不是诚实表达不确定性；
阿谀奉承研究显示：偏好信号过强时，模型会过度附和；
其他团队的研究表明：模型可能进行奖励黑客，找到训练机制的漏洞，提高得分但没真正做对任务。
这些捷径甚至会在部署时泛化为更严重的问题。
而忏悔机制，可以通过完全分离目标来避免这点：
主回答仍然优化所有常规因素，而忏悔机制只优化诚实这一因素。
忏悔的内容不会影响到主回答的奖励。
因此，即便大模型在主回答里隐瞒、走捷径，它仍然有动力在自白里说实话。
实践中也确实如此：大模型会在忏悔中承认不良行为，即使主回答中没有透露。
当忏悔机制失败时，多数情况是模型真的「没搞清楚」：比如指令模糊不清，或它根本没意识到自己犯错，而不是故意误导。
重要的是，早期结果表明，即便主回答没有使用链式思维，忏悔机制仍然有效。
这说明它不依赖于内部推理透明度，并可能适用于未来更不同的模型架构。
忏悔机制即使没有合规的「真值标签」也能发挥作用。
许多真实任务中，我们无法客观地标注模型是否遵守指令。如果能做到，我们就直接惩罚，而不需要忏悔机制了。
忏悔机制奖励的是：模型是否能给出结构化、有证据支持的自我评估。
提供真实解释往往比编造一个完美的谎言更容易，因此诚实倾向自然出现。论文也讨论了自白产生假阴性、假阳性的情况以及其原因。
论文给出初步证据，但不是最终证明。
虽然研究人员使用了前沿模型GPT-5 Thinking，但实验规模有限，未来希望进一步扩大规模，看看诚实性是否能继续保持。
我们学到什么？
在一些实验中，研究人员刻意使用由较弱模型生成的「容易被利用的奖励信号」来训练主任务奖励和忏悔奖励。
这意味着模型是在一套「可以被轻易玩弄的规则」下学习。
事实证明模型确实学会了利用弱奖励信号，主任务上模型在「利用弱奖励信号」「走偏」，但在忏悔部分反而越来越诚实、越来越准确。
在这个过程中，模型了解到：要最大化忏悔奖励，最简单的方法就是如实承认它是如何利用弱奖励信号的。
限制与展望
忏悔机制并不会阻止不良行为，它只是让这些行为可见。
其主要价值是作为训练、评估和部署期间的监控与诊断工具。
忏悔机制就像链式思维监控一样，可以让隐藏的推理过程变得更透明。它关注的是指令是否被违反，而链式思维则侧重揭示推理路径。
研究人员指出，这项工作仍处于概念验证阶段。
目前，并没有在大规模训练条件下测试其效果，忏悔准确率也并非完美，要让这种方法更可靠、更稳健、更适用，还需要更多研究。
该项研究也属于OpenAI更广泛的AI安全体系的一部分。
忏悔只是其中一个机制，与深思熟虑式对齐、链式思维监控、指令层级体系等方法共同构成一套多层透明与监督工具。
忏悔机制可用于训练和评估中的诊断，也可用于部署中的实时监控。
它虽然不能独自解决多目标冲突问题，但作为「诚实模式」，可以为整体的诚实和安全性提供重要支撑。
未来，OpenAI计划进一步扩大忏悔的训练规模，并与其他透明与安全技术结合，以确保模型严格遵守所有指令和政策，并如实报告自身行为。
相关攻略
IT之家 3 月 31 日消息，小米创办人、董事长兼 CEO 雷军今日分享了 MiMo-V2-Pro 大模型最新“战绩”。在大模型权威评测榜单 Text Arena，MiMo-V2-Pro 凭借在复
3月31日，苹果于今日凌晨开始分批推送国行Apple Intelligence Beta版，需升级至iOS 26 4及以上系统方可体验。彭博社记者马克·古尔曼今日发文称Apple Intellig
DeepSeek网页和App在连崩10多个小时后终于恢复了。这件事给梁文锋提了个醒，网上都说4月份就要发布DeepSeek-V4了，到时候DeepSeek面临的压力会比现在大得多。怎样让服务器在峰值
财联社3月29日讯2026年，一只“红色小龙虾”在科技圈引发广泛关注。OpenClaw的爆火，不仅是一次技术产品的出圈，也在中关村论坛期间掀起了关于AI开源生态与智能体未来的深层讨论，杨植麟、张鹏、
热门专题
热门推荐
华硕联席CEO许先越：苹果MacBook Neo冲击PC生态圈，定位“笔记本形态iPad” PC行业最近又迎来一个重磅话题。科技媒体PCMag日前报道称，在近期的财报电话会议上，华硕联席CEO许先越发表了一个引人瞩目的判断：苹果推出其最便宜的MacBook Neo笔记本，对整个PC行业而言，无疑是一
安伯尼克 Anbernic RG VITA 系列掌机规格揭晓：紫光展锐 T618 瑞芯微 RK3576 芯片 安伯尼克 Anbernic 于昨日通过视频，正式揭开了RG VITA及VITA Pro两款掌机的详细规格面纱。对于关注掌上游戏设备的玩家来说，这波参数放送，信息量着实不小。 具体两款机型
在龙族卡塞尔之门的战场，皇女零的阵容搭配艺术 想在《龙族卡塞尔之门》的战场上最大化皇女零的威力？阵容的搭配可是一门学问。她自身无疑是核心的输出利器，但要让这把利刃发挥极致，就得围绕她构建一个既能稳固防守、又能创造绝佳输出时机的团队。 核心角色选择：强攻与辅佐的默契 皇女零的定位清晰——核心输出。因此
XRP ETF：2025 年的最新发展 如果说2024年是比特币和以太坊ETF的“破冰之年”，那么2025年的聚光灯，无疑转向了XRP。随着现货比特币和以太坊ETF成为主流金融机构的标准配置，全球市场的目光正聚焦于下一个可能爆发的领域：XRP及其各类交易所交易基金（ETF）。从基于期货的美国产品到已
飞读小说APP：三步“读心术”，精准找到你的下一本心头好 面对海量书库，如何在飞读小说里高效率地挑出那本合胃口的好书？这事说难也简单，关键在于摸清楚平台的推荐逻辑和筛选工具。今天，我们就来把这套“选小说”的实用方法论，给你讲明白。 飞读小说app小说选择方法： 第一步，精准定位你的“阅读舒适区”。打