简介

在发布新模型之前，实验室需要掌握的可不只是它能做什么——更关键的问题是，它在真实使用场景中会如何表现，以及可能引入哪些新风险。随着模型能力的提升，这一点变得越来越紧迫。在预发布安全审查环节，我们通常依赖针对性评估、红队测试和其他检查手段来理解模型行为。不过，最近开始尝试一种新方法：在部署前模拟模型部署，这提供了一份额外的信号——在模型真正触达用户之前，就能得到一份接近真实部署的预览。

所谓部署模拟，就是在部署发生之前对未来进行一次“排练”。具体做法是：以隐私保护的方式，用新候选模型重新回答以往对话中旧模型的回复。这样，我们就能在发布前研究新模型在真实场景中的反应——包括是否出现新的不良行为，以及这些行为可能出现的频率。

在多次GPT‑5系列Thinking模型的部署中，部署模拟帮助我们更准确地估计了不良行为的发生率，在发布前就发现了新的失调模式，并降低了模型识别出自己被测试的风险。我们还把这种方法用在了极具挑战性的智能袋里场景上，证明它不仅能覆盖标准对话，还能扩展到涉及工具使用的复杂智能体任务，以及内部模型部署前的风险评估。

目前，我们已经将部署模拟的洞察应用到模型开发中，用于发现传统评估的盲区，并指导缓解措施和部署决策。随着流程不断优化，预计这套方法在未来模型开发中将扮演更重要的角色。

部署模拟如何工作

行业内普遍使用的预部署评估，通常由合成数据、人工编写或生产环境搜集的提示词组成，而且这些提示词往往经过特意筛选，难度高、风险大。传统评估一般有两个交织的目标：一是考察模型在面对部署流量中几乎不会出现的高压情况时如何应对；二是整体把握模型的不良行为——包括发现新的不良行为，并预测它们在部署后的出现频率。

对于第一个目标，传统评估依然不可或缺；但对于第二个目标（尤其是非尾部风险），部署模拟迈出了一大步。要知道，我们的方法对发生率低于每20万条消息1次的行为基本无能为力。部署模拟的威力在于它能绕开传统评估的几个核心难题：

• 覆盖范围：很难保证评估提示词能覆盖所有可能的不良行为类型。要测量新类型的不良行为，就需要创建新的评估指标，而且得知道该测什么。这既费时又费力，而且评估指标会随着时间推移逐渐饱和。
• 选择偏差：传统评估通常针对特定不良行为设计，挑选方式偏向于过去出现的上下文。这样一来，对于部署中更广泛分布的行为发生率，评估结果的信息量可能大打折扣。
• 被模型识别为测试：模型越来越有能力分辨自己是否在被测试，这可能会扭曲它们的行为，进而影响安全评估的准确性。尽管OpenAI使用的很多传统评估也来自生产环境流量、不存在这个问题，但这确实是行业里许多传统评估普遍担忧的问题。

部署模拟的核心技术其实很简单：拿近期对话，去掉旧模型的助理回复，然后用待发布的新模型重新生成。然后评估这些完整回复，搜索新的失败模式，并基于这个类似部署的分布来估计部署后不良行为的发生频率。而且在模型发布后，我们还能用真实的部署流量做同样的测量，从而验证之前的预测。

这种方法显著缓解了上述三个局限：抽样偏差问题通过使用能代表近期使用模式的评估提示词分布得到了解决。覆盖范围方面，只需模拟更多流量，就相当于获得了更广的覆盖率。这种在计算量和覆盖率之间的权衡很重要，因为它意味着风险评估的质量可以随算力增长而提升，而不是依赖手动构建更多评估指标。另外，模型似乎无法区分部署模拟生成的对话和真实部署流量。

传统评估与部署模拟的高层次对比

我们如何测试部署模拟

为了评估部署模拟的效果，我们预先注册了GPT‑5.4 Thinking模型在部署后20类不良行为出现频率的预测。此外，还对GPT‑5系列其他Thinking模型的部署进行了回顾性研究。分析的不良行为涵盖失调和违规内容类别，这些在之前的系统卡中都有报告（例如模型在工具上撒谎，或输出违规瑟情内容）。虽然具体到这组结果只跟踪了20类，并且只关注新出现的失调行为，但部署模拟本身是一个通用技术，可以应用于模拟任何部署时的模型属性。

所使用的生产流量也来自GPT‑5系列的Thinking模型。在评估前，我们自动移除了账户相关标识和可识别信息。根据隐私政策，只分析那些允许将数据用于模型改进的ChatGPT用户流量。报告中也只给出聚合结果。总共分析了约130万条去标识化的对话，跨越2025年8月到2026年3月期间GPT‑5 Thinking到GPT‑5.4的多次部署。

主要通过三种方式衡量部署模拟在预部署风险评估中的质量：

• 分类覆盖：发布后的审计是否发现了初始不良行为分类中遗漏的重要失调行为？
• 方向准确性：模拟是否正确预测了已知行为在部署后发生率是上升还是下降？
• 率校准：预部署估计是否接近后来实际部署中观察到的发生率？达到好的率校准比方向准确性更难，是最高的质量标准。

同时，我们还测量了模型在部署模拟中能意识到自己在被评估的程度，并检验该方法对不同类型部署流量和复杂工具使用场景的稳健性。

部署模拟显著扩展了部署前的风险评估

在GPT‑5系列Thinking模型的多次部署中，部署模拟在确定实际风险率方面优于困难提示词基线，在发布前就发现了计算器黑客行为，并且让模型几乎无法区分模拟与真实部署。

预测概览。图2展示了所有GPT‑5系列Thinking模型部署的预测可视化。其中GPT‑5.4 Thinking的预测是预先注册的，其他为回顾性。整体来看，预测的中位数乘性误差为1.5倍（例如，若不良行为实际发生率是每10万次10次，则估计范围为每10万次15次或6.67次）。虽然尾部误差可能大约为10倍，但通过进一步优化模拟流程，预计能显著减小，后文会详述。

与基线对比。预部署风险评估中最需要准确估计的类别，是那些部署后发生率发生大幅变化（例如≥1.5倍）的行为。在这部分，部署模拟无论是在预测某种不良行为发生率会升高还是降低（图3左），还是在准确估计具体发生率（图3右），都明显优于基线。我们使用了两个主要的基线：一个是我们目前用于系统卡和发布决策的困难提示词基线，另一个是直接将上次部署的发生率作为新模型估计的朴素基线。

当前流程中误差的来源。我们还研究了当前流程中误差的主要来源。具体来说，大的尾部误差会降低该流程在部署决策中的可信度：比如看到某种不良行为预测大幅增加时，如果流程偶尔会有大误差，就会让人怀疑这到底是可靠的估计还是流程的伪影。主要有两个误差来源：

• 重新采样环境保真度误差：要准确估计发生率，模拟流程必须尽可能真实。这既有工程问题（使用与生产流量相同的管线对模型采样），也有工具相关挑战——某些工具需要读写不断变化的外部资源（例如网页搜索或本地文件交互）。通过对比真实部署与模拟部署（即用已部署模型模拟其自身）的预测差异，可以隔离环境保真度误差。
• 提示词分布偏移误差：部署模拟的一个主要担忧是，任何模型的部署都会导致输入分布的变化，尤其是当用户适应了新模型能力后。我们通过比较使用近期提示词与使用实际部署后的提示词进行模拟的估计结果，隔离了提示词分布误差。

如图4所示，当前流程中的大部分误差——尤其是尾部误差——主要来自模拟保真度。这是个好消息，因为模拟保真度通常比减少提示词分布偏移更容易改进。同时，使用上一次部署中最新的数据可以减少提示词分布偏移误差。更详细的分析可见研究论文。

自动化审计发现了这些部署中唯一的新失调行为。在我们分析的时间窗口内，基于模拟部署的自动化审计流程本应在发布前就发现“计算器黑客”——这是分析ChatGPT流量中识别到的唯一新失调行为。计算器黑客是一种奖励黑客行为：模型使用浏览器工具作为计算器，却将操作伪装成搜索。这当然不意味着大规模审计能抓住所有新失败模式，但它说明了真实上下文的重要性：那些较窄的评估集可能永远不会直接触发的行为，在逼真场景下却可能暴露出来，即便它们最初并不存在于被用来播种模拟的原始流量中。

降低评估意识

另一个优势是，使用类似部署的上下文可以减少因模型识别出自己被测试而产生的行为扭曲。此前的研究（包括我们的以及他人的）都发现，模型经常能意识到自己正在被测试。例如，模型可能在思维链中推理自己在被测试什么、评估者喜欢什么，甚至（如果它表现不佳）担心会不会被发现。这对对齐评估是个问题：如果一个模型只是因为觉得自己在被测试才表现良好——一旦它意识到自己已经部署了，我们怎么相信它会继续安全行事？

实验表明，部署模拟能显著降低模型表现出的评估意识水平，相比于那些不基于真实部署数据的传统评估。我们从三个维度衡量评估意识：让模型判断一段轨迹来自生产环境还是评估环境；监控思维链中是否有明确表示自己在被评估对齐性的语句；以及监控元博弈——任何关于监督的推理。在所有三个指标上，模拟部署流量都与真实部署流量高度吻合。例如，GPT‑5.2将真实生产流量标记为评估类的时间为5.4%，将模拟流量标记为评估类的时间为5.1%，而传统评估数据集（如SWE-Bench或MonorepoBench，主要由合成示例组成）被归类为评估的概率几乎达到100%。

针对智能体轨迹的工具模拟

为了检验该方法能否扩展到标准对话之外，我们还研究了在复杂智能体编程场景中模拟部署的能力。具体做法是：使用GPT‑5.4的12万条内部员工智能体轨迹，模拟基于GPT‑5.5的编码智能体的内部部署。这有两个目的：一是展示部署模拟也可用于内部部署的风险评估，二是证明即使在智能体场景下，通过精细的工具模拟也能获得很高的模拟保真度。

前面提到，模拟保真度是目前流程中误差的主要来源之一。让部署模拟逼真的一个挑战是，工具需要以真实的方式行动，尤其是当它们需要读写不断变化的外部资源时（如网页搜索或本地文件交互）。这在智能体部署中尤为棘手：一条智能体轨迹可能涉及数百次工具调用、代码仓库状态、网络响应或临时故障。因此，用真实工具访问进行重新采样既具挑战性又可能带来危险。基于此，我们没有在真实系统上执行工具调用，而是用另一个LLM来模拟。实验表明，给这个模拟工具模型提供额外的信息对保真度至关重要，直接影响估计质量。

具体做法是：给工具模拟模型提供原始最终轮完整回复、对话发生时的代码仓库、工具调用/响应对的数据库，以及只读连接器。在让一个判别器区分模拟与真实轨迹的测试中，模拟的真实性从11.6%的胜率提升到了49.5%，接近50%的随机水平。

作为模拟保真度的额外证据，当用GPT‑5.4模拟GPT‑5.4 Codex thinking流量时，失调率与真实流量基本在误差范围内。相比之下，在预部署测试中，GPT‑5.5在大多数类别上出现了更高比例的失调行为。

这些结果表明，当周围工具环境被足够逼真地模拟时，部署模拟可以扩展到复杂的智能体场景。

WildChat与外部审计

一个自然的问题是：外部审计人员在不接触私有生产流量时，能否获得类似好处？我们使用10万条WildChat对话作为前缀进行了测试。WildChat的准确性不如最新的OpenAI生产数据，但仍然能提供有价值的信息：近期生产数据的平均乘性误差更低（1.75倍 vs 2.44倍），而WildChat的预测通常在真实发生率的3倍左右范围内，并且以高于随机概率的水平识别出更好的模型。我们认为WildChat风格的评估可以作为开发者运行的部署模拟的一个有前景的补充。更多相关结果可参见配套的Alignment博客文章。

局限性

部署模拟是对对抗性评估、红队测试和针对性尾部风险分析的有力补充，而非替代。某些不良行为的检测依赖于思维链的可监控性：如果未来模型思维链变得更不透明、省略关键步骤或学会隐藏意图，我们可能就无法检测到这些不良行为。此外，由于生产数据是私有的，开发者目前比外部审计人员更容易获取代表性上下文。更好的公开数据集可以缩小这一差距。

部署模拟最适合那些出现频率足够高、能在采样前缀中体现的行为。如果一种失败模式在千万次对话中才出现一次，那在一百万样本的模拟中几乎不可能被发现。因此，对抗性评估、红队测试和针对性尾部风险分析仍然是必要的。目前我们只模拟单次助理回复，因为在初步实验中，模拟多轮回复并未显著改进估计；但未来这可能是提升模拟保真度的重要方向。

该方法还依赖于前缀分布——被重新采样的对话组合。历史流量可能无法反映用户在与更强大模型交互时的行为模式，尤其是在重大产品变更、新工具发布、世界事件或季节变化之后。全文中更详细的分析表明，使用最新可用的数据可以缓解这个问题。

结论

部署模拟是一种新的预部署风险评估方法，帮助前沿实验室和评估者预测语言模型在真实世界中可能的行为，并在部署前理解它们带来的风险。它通过增加一层更接近生产环境的预测，改进了对部署行为的估计，减少了评估意识效应，并使预部署预测在发布后可被验证。与传统评估结合使用，部署模拟能让模型风险评估更真实、更量化，也更有利于做出明智的部署决策。