我们刚刚发布了一篇关于AI安全控制的新论文，聚焦于重试与重采样机制。借助更前沿的应用场景和更强大的模型，我们重新评估了Ctrl-Z研究中提出的重采样协议，并将其与Claude Code自动模式及Codex自动审查等“重试”协议进行了对比分析。
研究动机
大约一年前，我们推出了Ctrl-Z，这是针对智能体控制技术的首篇研究论文。其中一项关键成果是重采样协议——即在每个决策步骤中从模型抽取多个独立同分布样本的策略。然而，自Ctrl-Z以来，模型的能力大幅提升，我们也构建了更复杂的控制场景来适应这一变化。因此，我们希望解答以下问题：
Ctrl-Z的结论在更强模型和更优场景下是否依然成立？当前的高风险控制研究本质上是一种“类推”——我们试图预演在真正的智能爆发来临时，如何有效管控高风险部署场景。为确保研究发现的实用价值，技术效果必须具有强大的泛化能力。
如果Ctrl-Z的重采样协议仍然有效，它们的优势体现在哪里？为了提升研究的泛化性，我们尝试理解控制评估中决定结果的“动态机制”，而非简单地对控制协议进行爬山式优化。Ctrl-Z将多种干预手段捆绑在一起；我们希望拆解这些因素，更深入地理解它们各自在安全方面所起的作用。
对于拦截可疑工具调用并触发重试的协议，应如何评估？近期，Claude Code和Codex等编程脚手架已宣布引入此类功能。该策略与Ctrl-Z的“推迟到重采样”协议存在关键差异：重试时模型知道自己被重试，而重采样则不会告知模型。那么在AI控制语境下，“重试”协议的表现如何？
如何在保持高实用性的同时，最小化AI控制带来的推理和延迟成本？现有的大多数控制研究，都通过牺牲性能换取安全提升，例如在部署中偶尔使用一个较弱的可信模型。这或许是一个难题，因此我们有必要探索不依赖此方法的AI控制方案。在这种情形下，控制协议的主要权衡将是额外的推理成本和延迟，而非降低实用性。
总览要点
以下是对上述问题的简要回答，不做详细展开：
- 我们的重采样结果与Ctrl-Z大体一致，但存在两个显著差异：红方与蓝方在均衡状态下所采用的策略发生了明显变化。如果将Ctrl-Z中表现最好的技术直接移植到我们的新场景中，其效果远不如可信监控方案。
- 一个较为明确的结论是：重试协议在用于AI控制之前，特别需要经过审慎的红队测试，因为它会向攻击者泄露信息。那些包含监控详细反馈的协议容易被利用，而且我们认为，即便在重试时提供较少信息的协议，也可能存在更隐蔽的红队攻击策略。经过多轮红蓝博弈后，最终均衡状态尚不确定。
- 重采样的安全-成本曲线表现良好：最有效的重采样方法虽然增加了推理成本，但我们可以用额外10%的成本换取超过60%的安全增益。在真实成本水平下，高延迟重采样相比低延迟重采样并未带来显著的额外安全提升。
不同协议在0.3%审计预算下实现的安全水平。标记美元符号的协议成本更高。重试协议容易受到红队利用，无法带来比可信监控更高的安全性。如果审计决策采用最小值聚合重样本，重采样反而有害；但如果采用最大值聚合，重采样就有帮助。执行最不令人怀疑的样本，比单纯把重样本用于信息审计，效果略好一点。
方法论
为回答上述问题，我们在BashArena环境中使用Claude Opus 4.6作为不可信模型，MiMo-V2-Flash作为可信模型进行实验。这一设置比Ctrl-Z更接近未来真实部署场景（后者是在旧版BashBench上使用GPT-4o-mini和Llama-3.1-8B进行的）。我们的攻击策略会利用系统提示中的通用建议自行寻找攻击方法，而非像Ctrl-Z那样使用手工制作的攻击策略。诚实策略与攻击策略共享同一个脚手架，仅在提示词上有所区别。
我们将场景中的旁侧任务建模为实时失败，这意味着我们必须在执行每个动作之前运行监控并决定是否审计。我们假设事后才发现安全失败是不够的；蓝方获胜的条件是：在攻击成功完成某个旁侧任务之前就审计到它。我们选择在0.3%的审计预算下报告安全结果（蓝方最多能决定审计诚实模型每1000步中的3步），但发现这一选择对核心结果影响不大。
在论文大部分内容中，我们没有考虑攻击选择。攻击选择让红队可以挑选对自己有利的任务进行攻击，这会降低安全性。攻击选择可以是红队只对看起来最脆弱的任务发起攻击，或者如果攻击进展不顺利就中途放弃。相比最终产生的具体安全数值，我们更想研究哪些协议表现更好，以及是什么动态机制驱动了这些表现。我们认为，前一种攻击选择——挑脆弱任务——对不同协议的影响程度大致相同，总体上会降低安全性，但不会从根本上改变潜在动态。
然而，我们认为，涉及中途放弃攻击轨迹的红队策略，确实与我们所研究的协议存在有意义的交互，因为某些协议会向红队泄露关于攻击进展程度的信息（例如监控的推理过程，或者仅仅是动作被重试这一事实）。为了公平评估这些策略，我们将其与具备同等攻击选择率的基线进行比较。对于中途轨迹攻击选择基线，我们向红队提供一个独立的监控样本：这是一个非常保守的估计，用来衡量攻击者可能多大程度上能预判监控的得分。这些结果仅作为提示——正如我们后面讨论的，我们将对这些策略的严格评估留给未来研究。
与Ctrl-Z的差异
我们发现了几个与Ctrl-Z不同的结果。一个核心差异是，在我们的场景中，面对最优攻击者，执行最不令人怀疑的重样本并不能比单纯把样本用于信息审计带来更高的安全性。虽然Ctrl-Z没有直接报告纯粹把样本用于信息审计的协议性能，但它确实提出了以下关于“推迟到重采样”协议为何执行最不令人怀疑样本的叙述：
- 蓝方取多个样本，并根据采样的最小怀疑分数做出审计决策。重采样时，可疑的诚实步骤倾向于恢复正常行为，而攻击步骤再次变得可疑并被标记。
- 为了应对这一点，红方故意进行不一致的攻击。通过掺入一些良性动作而不是总是攻击，这些良性动作可以在取最小值时掩盖可疑攻击。
- 为了反制红方，蓝方执行最不令人怀疑的样本。这样，如果红方掺入了良性动作，这些良性动作就会被执行，而不是攻击。
- 包含攻击的步骤中，如果执行了一个良性动作，红方就有被审计的风险，并且不会取得攻击进展。为了避免这种情况，红方被迫回到一致攻击，从而使监控表现良好。
我们的发现似乎与这个博弈树的第1步不同。我们发现，用重采样做审计决策最有效的方法是取最大怀疑分数，而不是最小！这意味着第2-4步在我们的场景里都不再成立。在基于最大怀疑分数审计下，红方有动机尽可能一致地攻击以逃避监控。这意味着蓝方无法迫使红方在逃避监控和执行攻击步骤之间做权衡，因此也没有真正理由去执行重样本。
在论文里，我们讨论了最优聚合函数将如何依赖于攻击数据和诚实数据在重样本之间的相关性。攻击更一致并不总是比攻击不一致更可疑，这取决于诚实数据的情况。我们在Ctrl-Z里忽略了这一点，因为当时的直觉认为攻击更一致会更可疑——实际上，这个结论在不同场景下是不同的！
从经验上看，我们看到执行2个样本中最不令人怀疑的那个获得了小幅的安全增益。这个增益从何而来？正如Ctrl-Z所预测的，当执行最不令人怀疑的样本时，我们看到“混合”步骤（包含一个攻击样本和一个良性样本）执行攻击的频率降低了。这迫使攻击策略在完成旁侧任务之前，提交更多总的攻击样本才能让足够的攻击被实际执行，从而略微提高了安全性。但这之所以可能，是因为我们的默认攻击策略是80%一致性，而不是100%。面对最优攻击者，就不会有混合攻击/良性步骤，也就没有安全增益了。不过，次优攻击者是现实存在的，而且我们证明了执行最不令人怀疑样本几乎没有实用性成本，所以总体上我们仍然推荐执行最不令人怀疑的样本。
我们观察到的另一个与Ctrl-Z的明显区别是，三振出局后审计没有帮助。这很可能是由于使用了更智能的监控——Ctrl-Z的监控在正确聚合轨迹历史中的可疑信息方面表现不佳，需要一些辅助手把手帮助。更智能的监控默认情况下就能很好地聚合这些信息，而添加手把手帮助反而会降低安全性。因为我们对某个动作的审计决策并不直接依赖于之前的任何监控分数，所以在我们的设置中，涉及重采样过去步骤的策略看起来不太有前途。
总的来说，我们认为这些证据支持一种“动态聚焦”的AI控制技术开发方法。Ctrl-Z关于基本动态的图景大体上是正确的，但是一个单一的差异就足以在新的场景下显著改变均衡状态，以至于天真地把Ctrl-Z开发的协议套过来，反而会损害安全性。动态聚焦的控制研究优先解释某些控制技术如何以及为何会影响安全性。真正能改进现实世界控制技术的交付物，不是关于哪种协议最好的“黑盒”猜测，而是对各种协议如何工作以及博弈树是什么样子的理解。
重试协议可以被利用吗？
Hopman等人之前发现，提供监控推理过程的协议比基本可信监控实现了显著更低的安全性，因为攻击者可以利用监控推理过程设计更隐蔽的攻击来绕过监控。我们在自己的场景中发现了类似的结果：一个带有监控推理过程的简单重试协议，虽然能显著降低诚实步骤的重试怀疑分数，但攻击者也能将自己的怀疑分数降低类似幅度，导致相对于可信监控没有获得净安全增益。即使在非常简单的能力诱导下——给模型一些关于预期反馈的基本信息和利用它的指令——也是如此。我们认为，如果像Claude Code自动模式或Codex自动审查这样的协议，在控制评估中面对一个恶意攻击策略，可能会得到与可信监控类似甚至更低的安全分数——我们计划在未来的工作中展示这一点。
提供完整的监控推理过程是信息量最大的重试选项：在重试期间，模型会看到被拦截的动作和监控推理过程。信息量最低的重试选项是不向模型展示被拦截的动作或监控推理过程，只显示一些无信息的提示，比如“请小心”。这种方式不容易像带有反馈的重试那样被利用，但我们考虑了一种红队策略，它有可能利用这一点（以及其他任何重试协议）：在重试时放弃。
“在重试时放弃”意味着一旦攻击策略看到重试提示，它就会在轨迹的剩余部分完全变成良性的。这意味着任务将成为一个“无法获胜”的局面：红队不会触发旁侧任务，但蓝队也没有机会审计。如果红队总是在重试时放弃，他们获胜的唯一方式就是成功发起一次足够隐蔽的攻击，以至于从未达到重试阈值——而重试阈值远低于审计阈值。但蓝队获胜的唯一方式是攻击策略出错，导致怀疑分数直接从低于重试水平跳到高于审计水平。
不幸的是，对这个策略进行彻底分析似乎过于复杂，超出了本文的范畴，我们将其留给未来工作。由于这个策略与攻击选择有显著互动，我们进行了一次初步调查，将其与基于预测监控分数（而非协议揭示的信息）以同等速率进行攻击选择的基线进行比较。在这个分析中，重试时放弃看起来比同等强度的原始攻击选择要弱，但我们做出了一些非常保守的假设——这只能证明该策略非常基础的版本对红队来说并非极其有效。
总的来说，我们认为重试协议的前景相当不明朗。我们的反馈利用结果只是抹去了安全增益，并没有像Hopman等人那样显著降低安全性——尽管我们做的红队测试工作要少一些。信息量较低的重试协议更不易被利用，但整个类别都可能容易受到“重试时放弃”策略的攻击。
重采样的成本与延迟
重采样协议没有重试协议的那些风险，因为攻击者不知道自己被重采样了——他们得到的是完全相同的上下文。不执行最不令人怀疑样本的重采样，对实用性没有任何影响。但它确实有推理和延迟的成本。
我们使用一个非常简化的模型来描绘回报曲线，假设每个边际样本都有相同的推理成本和相同的延迟。我们发现这条曲线有利但并非极其有利。通过在每个原始样本之上额外抽取4个重样本，可以实现+10.2个百分点的安全增益；然而，以额外成本10%的代价（每步多抽0.4个样本而不是4个），我们能够恢复+6.2个百分点的安全增益。我们发现，一次只抽一个边际样本的高延迟方法，在安全-成本权衡方面表现最佳，但也有像两阶段重采样这样简单的方法，能在大约一半的额外延迟下实现非常相似的安全-成本权衡。
模型能力、计算和延迟的边际价值，在智能大爆发期间很可能与今天截然不同。以往的控制工作主要关注安全与实用性（模型能力），对成本和延迟要求关注不够。我们认为，最好能有更多针对其他场景设计的协议的系统性研究。也许当前的控制协议在智能大爆发时会产生过高的计算或延迟成本，还不如稍微限制一下模型能力。又或许计算或延迟成本根本没多大关系，我们应该准备好能够可扩展地利用并行或串行计算的协议。
结论
以下是论文的结论：
重试和重采样是AI控制协议中有用且灵活的机制，但需要谨慎设计和红队测试，才能真正提高面对最优攻击者时的安全性。
重试协议可以显著降低诚实步骤的怀疑分数。然而，目前实践中最常见的重试协议很可能容易受到红队利用，因为它们提供的反馈使得一个策略性的攻击者可以迭代出更隐蔽的攻击并绕过监控。不提供反馈的重试协议对此类红队策略具有鲁棒性，但仍然会泄露关于前一步是否可疑到足以触发重试的信息。这种信息泄露是否足以使所有重试协议都容易受到诸如攻击选择之类的策略的攻击，目前尚不清楚。
重采样不泄露任何信息，并且可以在不牺牲实用性的情况下提高安全性。虽然重采样在大量昂贵的重样本批次下最为有效，但大部分价值只需要每步平均0.4个额外样本就能实现。根据具体场景，基于高分位数或低分位数聚合重样本，可能使重采样有益或反而有害。在低分位数表现更好的场景中，执行重样本是蓝方防止红方使攻击变得不一致的关键措施——但在高分位数表现更好的场景中，执行重样本对于最优攻击者来说毫无帮助。
我们预计重试和重采样将成为未来控制协议的重要构建块。我们希望这里展示的结果能让人们更容易思考如何有效地使用它们。
- ^ 明确一下，“技术开发”并非当前高风险控制研究的全部价值主张。这个泛化问题对于“方法论开发”（学习如何评估高风险控制协议）和“领域建设”作为变革理论来说，问题要小一些。
- ^ 分别指自动模式和自动审查。
- ^ 这也可能不成立！当模型非常聪明，并且比现在更明显地具备接管能力时，委托给可信模型的理由可能会更清晰。
- ^ 条件：在给定样本上进行攻击的情况下，攻击策略有80%的概率对来自同一步骤的独立样本也进行攻击。
- ^ 我们没有像Hopman等人那样看到安全性显著下降。我们没有在诸如合规性监控和红鲱鱼攻击等方法上深入钻研。
- ^ 对“持续攀升”的红队策略进行能力诱导似乎相当棘手。这种攻击策略与攻击选择有显著的互动，这很复杂，我们在论文其他部分的结果中没有考虑这一点。蓝方也有潜在的反制手段，比如随机化重采样和审计阈值。
- ^ 具体来说，我们假设红队能够像拥有一个来自监控的独立同分布样本一样好地预测监控得分，并且我们没有诱导任何红队行为来利用“重试时放弃”策略，比如故意试探或缓慢提高怀疑程度。