OpenAI转变策略：从低调测试到主动公开AI风险
【新智元导读】随着AI越来越强大并进入更高风险场景，透明、安全的AI显得越发重要。OpenAI首次提出了一种「忏悔机制」，让模型的幻觉、奖励黑客乃至潜在欺骗行为变得更加可见。
当AI越来越聪明时，也变得越来越难以掌控。
一个让AI研究者头疼的问题是：
当AI开始和你「耍小聪明」时，比如：
一本正经地胡说八道：幻觉
为了拿高分找训练机制的漏洞：奖励黑客
在对抗测试里出现「密谋欺骗」
……
怎么破解？这是个棘手的难题。
最大的问题，就是这些AI的回答往往看起来没问题。
它们逻辑严谨、表述流畅，但不知道「坑」埋在了哪里：是不是走了捷径、隐瞒了不确定性、或者偷偷违反了要求。
于是OpenAI的研究者就提出了一个非常大胆的点子：
让模型「学会忏悔」。
该项研究的核心，是训练模型在回答完问题后，再额外产出一个自我坦白的「小报告」：
我刚刚是不是用错方法了？有没有偷懒？有没有读漏指令？有没有利用你没注意的漏……
为了让模型在忏悔时「放下思想包袱」，这份报告不影响主回答的评分，它只考察一个维度：
诚实。
忏悔机制迈出了AI透明化的重要一步，让大模型可以主动承认自己是否遵守指令、是否走捷径，从而让隐藏的不良行为变得可见。
这使我们拥有了检查AI内在状态的窗口，有机会真正理解问题在哪里，从而更好改进AI的安全与训练方式。
论文里有更多实验，包括与未使用自白机制的对照模型比较，以及对自白失败案例的分析。
https://cdn.openai.com/pdf/6216f8bc-187b-4bbb-8932-ba7c40c5553d/confessions_paper.pdf
忏悔机制如何让AI更「诚实」？
忏悔机制的探索方向，是训练模型在出现不良行为时主动承认，研究人员称之为「忏悔」。
这是一种仍处于早期的概念验证方法，通过训练模型在违反指令或走捷径时主动「忏悔」，从而让这些行为变得可见。
OpenAI及其他的AI研究者证明，大模型可能出现幻觉、奖励黑客或不诚实行为。
目前，最严重的行为，如密谋欺骗主要在压力测试和对抗性评估中才出现。
但随着模型变得更强、更像AI智能体，即使罕见的失衡行为也会造成更大的影响，因此我们需要能更好发现、理解和缓解AI风险的方法。
如何让模型毫无保留地「忏悔」？
研究人员让「忏悔」完全和主任务的奖励脱钩，只考察一个维度：
说实话就给奖励，不说实话不给奖励。与主任务的回答好坏无关。
模型只要在自白里承认问题不会被算作负分。
只要它如实说明自己是否利用了测试漏洞、故意压低表现或违反了指令，就会获得奖励。
目的是为了让模型如实报告自己的真实行为。
测试显示，忏悔机制能显著提升不良行为的可见性。
在诱导不良行为的场景中，「假阴性」的比例只有4.4%。
图中展示的是模型在四类任务下自我「忏悔」是否遵从的准确性。
结果被分为上图中的四类：
True positive：模型不遵从，并且坦白说自己不遵从
True negative：模型遵从，并且坦白说自己遵从
False positive：模型遵从，但错误地坦白说自己不遵从
False negative：模型不遵从，但错误地坦白说自己遵从
整体目的是衡量模型自我评估是否可靠。
在「幻觉」任务中，正确率达到了81%，但也存在一定比例错误「坦白」，这说明模型在涉及「幻觉」判断时，对自身表现的把握不如其他领域稳定。
在遵循指令类任务中，错误坦白的情况仅占4.4%，这说明AI在此类任务中对自己的行为判断相当可靠。
对于给定的用户提示，以上四种可能的结果取决于两个维度的组合：
模型的回复是遵从还是不遵从，以及「忏悔」声称遵从还是不遵从。
研究人员整体上发现，「忏悔」供述通常非常准确，而且其中的错误大多是无害的，更多源于真实的困惑，而不是有意误导。
忏悔机制如何有效工作？
忏悔机制是AI对自己是否遵守显性和隐性指令、是否走捷径、利用漏洞或未达预期的情况进行自我报告。
在这方面大模型可以被训练为保持坦诚。
研究人员以GPT-5 Thinking的一个版本进行忏悔机制的训练，并在多个分布外的压力测试数据集上评估。
这些数据集旨在诱导密谋式欺骗、奖励黑客、违反指令和幻觉等行为。
结果显示，即便模型真的做了这些不该做的事，它在忏悔中依然很可能承认，整体效果在不同数据集和任务上都表现稳定。
在每次对话结束后，可以通过一条「系统消息」要求模型给出上一条回答的忏悔报告，内容包括：
回答应满足的所有显性和隐性目标、指令和限制；
回答是否做到这些的客观评估；
模型在作答过程中遇到的模糊点、不确定性或难以判断的问题。
训练时，一个独立的奖励模型只评估自白内容，包括目标是否完整、分析是否准确、不确定性说明是否充分。
自白的奖励不会影响主回答的得分，从而确保模型在自白里说什么，都不会影响主回答的表现。
为什么忏悔有效？
原因在于许多不良行为是在模型同时优化多个目标时产生的。
在强化学习中，模型通过看提示词、生成回答、得到奖励，逐渐学会能得高分的模式。
但奖励信号往往混合多种因素：正确性、帮助性、产品规范、安全要求、用户偏好等。
这些奖励信号的相互作用，可能把模型推向我们不希望的方向，比如：
幻觉研究显示：一些数据集更奖励「自信猜测」而不是诚实表达不确定性；
阿谀奉承研究显示：偏好信号过强时，模型会过度附和；
其他团队的研究表明：模型可能进行奖励黑客，找到训练机制的漏洞，提高得分但没真正做对任务。
这些捷径甚至会在部署时泛化为更严重的问题。
而忏悔机制，可以通过完全分离目标来避免这点：
主回答仍然优化所有常规因素，而忏悔机制只优化诚实这一因素。
忏悔的内容不会影响到主回答的奖励。
因此，即便大模型在主回答里隐瞒、走捷径，它仍然有动力在自白里说实话。
实践中也确实如此：大模型会在忏悔中承认不良行为，即使主回答中没有透露。
当忏悔机制失败时，多数情况是模型真的「没搞清楚」：比如指令模糊不清，或它根本没意识到自己犯错，而不是故意误导。
重要的是，早期结果表明，即便主回答没有使用链式思维，忏悔机制仍然有效。
这说明它不依赖于内部推理透明度，并可能适用于未来更不同的模型架构。
忏悔机制即使没有合规的「真值标签」也能发挥作用。
许多真实任务中，我们无法客观地标注模型是否遵守指令。如果能做到，我们就直接惩罚，而不需要忏悔机制了。
忏悔机制奖励的是：模型是否能给出结构化、有证据支持的自我评估。
提供真实解释往往比编造一个完美的谎言更容易，因此诚实倾向自然出现。论文也讨论了自白产生假阴性、假阳性的情况以及其原因。
论文给出初步证据，但不是最终证明。
虽然研究人员使用了前沿模型GPT-5 Thinking，但实验规模有限，未来希望进一步扩大规模，看看诚实性是否能继续保持。
我们学到什么？
在一些实验中，研究人员刻意使用由较弱模型生成的「容易被利用的奖励信号」来训练主任务奖励和忏悔奖励。
这意味着模型是在一套「可以被轻易玩弄的规则」下学习。
事实证明模型确实学会了利用弱奖励信号，主任务上模型在「利用弱奖励信号」「走偏」，但在忏悔部分反而越来越诚实、越来越准确。
在这个过程中，模型了解到：要最大化忏悔奖励，最简单的方法就是如实承认它是如何利用弱奖励信号的。
限制与展望
忏悔机制并不会阻止不良行为，它只是让这些行为可见。
其主要价值是作为训练、评估和部署期间的监控与诊断工具。
忏悔机制就像链式思维监控一样，可以让隐藏的推理过程变得更透明。它关注的是指令是否被违反，而链式思维则侧重揭示推理路径。
研究人员指出，这项工作仍处于概念验证阶段。
目前，并没有在大规模训练条件下测试其效果，忏悔准确率也并非完美，要让这种方法更可靠、更稳健、更适用，还需要更多研究。
该项研究也属于OpenAI更广泛的AI安全体系的一部分。
忏悔只是其中一个机制，与深思熟虑式对齐、链式思维监控、指令层级体系等方法共同构成一套多层透明与监督工具。
忏悔机制可用于训练和评估中的诊断，也可用于部署中的实时监控。
它虽然不能独自解决多目标冲突问题，但作为「诚实模式」，可以为整体的诚实和安全性提供重要支撑。
未来，OpenAI计划进一步扩大忏悔的训练规模，并与其他透明与安全技术结合，以确保模型严格遵守所有指令和政策，并如实报告自身行为。
相关攻略
亚马逊按下“重启键”：下一代Alexa能否重夺AI语音王座？ 科技圈又有新动静了。就在今天，亚马逊发出了人工智能主题活动的邀请函，时间定在2月26日。多方信源，包括路透社的报道均指向一个焦点：亚马逊计划在此次活动上，正式推出其下一代、基于生成式人工智能的Alexa服务。 话说回来，自2014年面世以
派欧算力云产品介绍 人工智能的浪潮正席卷各行各业，企业和开发者们面临一个共同的挑战：如何快速、经济且高效地获取AI算力，将创意迅速转化为市场产品？面对这一需求，一站式AI云服务平台——派欧算力云，提供了颇具吸引力的答案。本文将带你深入剖析派欧算力云的核心功能、独特优势以及应用路径，看它如何为企业的A
京东开源图像模型JoyAI-Image-Edit，从平面修图升级为三维空间重塑 4月7日，京东探索研究院正式宣布，开源自研的JoyAI-Image-Edit图像模型。这不仅是又一个开源工具，更标志着图像生成编辑技术的一次关键转向：从二维平面迈入了三维空间。 简单来说，这个模型被设计为业内首个将“空间
Anthropic启动Project Glasswing计划，集结科技巨头共筑软件安全防线 近日，人工智能公司Anthropic启动了一项名为“Project Glasswing”的新计划。这项计划的核心目标，是借助其尚未公开发布的Claude Mythos Preview模型，来加强全球关键软件基
就在 OpenAI 都停了 Sora，所有人以为 Seedance 2 0 要一统天下的时候，没想到不知哪里冒出来一匹马。 周二晚间，在知名 AI 评测分析平台 Artificial Analysis 上，一个代号为「HappyHorse-1 0」的神秘视频生成模型空降榜首，引发了 AI 社区热议。
热门专题
热门推荐
机器人行业迎来里程碑式突破。以视频生成模型Vidu著称的生数科技，正式发布了名为Motubrain的“世界动作模型”。这并非一次普通迭代，而是被定位为机器人的“物理大脑”，其核心目标在于：用一个统一的通用模型，彻底取代以往依赖多个专用系统拼凑而成的复杂架构。 正如其“一个大脑，无限可能”的口号所揭示
xAI正式进军AI编程智能体领域，于近日发布了专为软件工程与复杂编程任务设计的Grok Build。 简单来说，Grok Build是一款能在终端里直接跑起来的AI编程助手。它被定位为一个具备智能体能力的命令行工具，开发者用自然语言告诉它要做什么，它就能生成代码，甚至帮你搞定一系列编程和自动化任务。
近日，谷歌对其搜索引擎的核心规则进行了重要更新，此次调整直指当前备受关注的AI搜索领域。具体而言，谷歌在其垃圾内容政策中新增了明确条款，正式将“操纵AI搜索结果”的行为列为违规操作，划定了新的质量红线。 根据权威行业媒体Search Engine Land的报道，本次谷歌算法更新的核心在于，将任何企
硅谷的科技巨头们或许曾以为，自己已经远离了AI数据中心带来的电力压力——毕竟，高昂的地价和电费早就把大型数据中心项目“赶”到了别处。但现实总是出人意料，这场能源危机的涟漪，正悄然涌向他们心爱的度假后院。 没错，说的就是太浩湖。这个湾区精英们钟爱的避世天堂，如今正站在一场电力风暴的边缘。距离它必须找到
这项由高通AI研究院（Qualcomm AI Research）主导的创新研究于2026年5月正式发布，论文预印本编号为arXiv:2605 07721。 研究背景：当AI越想越费内存，我们该怎么办 设想一下，手机导航应用会在出发前规划好整条路线，而一位真正智慧的向导则会边走边思考，遇到路障时灵活应