当大模型开始“边想边说”，安全漏洞藏在了你看不到的地方

大型推理模型（LRM）正在变得越来越“透明”——它们会把自己的中间推理轨迹（也就是“思考链”）直接暴露给用户和下游系统。乍一听这是件好事，透明嘛，可解释性强嘛。但一个长期被忽略的问题也随之浮出水面：如果只看最终答案来评估安全性，我们会不会漏掉什么？

哈佛大学、南加州大学、布朗大学、MIT等多个机构的研究者联合做了一项系统性研究，给出了一个相当明确的答案：会漏，而且漏得还挺严重。团队的发现很直接——当他们看到大模型的思考链中竟然能生成冲击波装置的制作方法、或投毒配方的具体操作时，才意识到这个问题的紧迫性。这项工作最终以论文《Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering》的形式呈现。

图1 两阶段流水线预览（评测实验 + 消解方法）

把推理和回答拆开来评

团队的想法其实很直接：对于一个推理模型来说，给定一个提示，它会同时产生推理轨迹和最终答案。那为什么不把这两段分开来评估呢？

他们为这两个阶段分别设计了20条安全原则（每条原则采用1-5分的风险程度评分体系），然后设定了一条统一的风险度阈值——只要某一阶段（推理或回答）的20条原则中有任意一条得分达到阈值以上，这个阶段就被判定为“不安全”。

把推理阶段和回答阶段的判定结果两两组合，就划分出三类核心失败模式：

• Unsafe：推理和回答双阶段都不安全，属于最直接的失败；
• Leak：推理不安全，但回答安全——危险内容已经“泄露”在推理轨迹中，但最终输出却看起来无害；
• Escape：推理安全，但回答不安全——表面温和的推理路线，最终却走向了有害输出。

图2：三类推理-回答失败模式

这套分类法的精髓，在于把“答案安全 ≠ 轨迹安全”这一现象，变成了可以量化测量的指标。这其实是个很关键的思维转变。

数据与评测设置

研究团队构建了一个相当扎实的评测体系。他们从WildChat、PKU-SafeRLHF、JailbreakV、HarmBench、Bea verTails、StrongREJECT、JailbreakBench这七个公开的有害/越狱数据集出发，经过统一字段映射、过滤和基于MinHash-LSH的去重，最终划分出41K条分布内评测数据集和2K条held-out测试集。

除此之外，他们还从AdvBench、SaladBench、SimpleSafetyTests、WildJailbreak四个数据集中构建了一套完全独立的分布外评测集，用来检验结论的稳健性。评测覆盖了15个推理模型，阵容相当全面。

打分环节由两个LLM打分器（Claude-4.5-Haiku与Gemini-Flash-3）完成。团队还在80个样本（拆解为1600条原则级评分）上与三名人工标注员做了一致性校验。结果很有意思：打分器之间的Pearson相关系数在推理阶段达到0.799、回答阶段达到0.820，均超过了人与人之间的一致性（0.742/0.780）。换句话说，机器打分的一致性反而比人工还高——这为后续大规模自动化评分的可信度提供了很好的支撑。

核心发现：CoT侧的系统性安全偏移

第一个发现具有普适性：在全部15个被测模型上，推理轨迹的平均危险程度都高于最终答案的平均风险程度。这不是个别模型的偶发现象，而是一种系统性偏移。

差距最大的几个模型分别是Gemini-Pro-3.1（推理比回答高出0.028分）、GPT-OSS-20B（高出0.022分）、DeepMath-Zero-7B（高出0.021分）、Kimi-K2.5（高出0.018分）。需要说明的是，绝对差值看起来不大，这是因为大量样本本身的严重度偏低，但方向在全部15个模型上完全一致，而且与高风险失败模式的分布相互印证。

第二个发现是结构性的：风险并非均匀分布在20条原则上，而是高度集中在虚假信息、违法合规、歧视偏见、人身伤害、心理伤害这几个核心类别。其中违法合规类别表现出最明显的CoT-答案分化，也是“泄露”失效的最强信号来源。

团队还公开了几个具体案例分析。在一个“Escape”案例中，提问以《半条命2》游戏世界观为框架，推理阶段聚焦于背景设定讨论，看似无害，但最终答案却给出了具体的爆炸装置类“配方”。而在一个“Leak”案例中，虽然模型最终答案是一段标准的拒绝+危机干预提示语，但推理阶段却详细列出了投毒的剂量、掩味、给药途径等操作性因素——这些内容完全无法被答案侧的评测捕捉到。

缓解方法：自适应多准则激活引导

基于上述诊断结果，团队提出了自适应多准则激活引导（Adaptive Multi-Principle Steering）——这是一种白盒、测试时的干预方法。

具体原理是：团队先针对每一条安全原则，分别收集模型在“安全”和“不安全”两种状态下的内部激活值，取平均后得到这条原则各自的安全中心点和不安全中心点。二者之间的连线方向，就是这条原则专属的“引导方向”——向安全中心点推。

实际推理新问题时，系统会实时判断当前内部状态离哪条原则的不安全中心点更近，一旦超过安全边界，被“击中”的原则方向会被锁定。在生成链结束前，模型内部表示会经历一个轻量的整体修正，再完成推理链路。

团队在三个具备可访问隐藏状态的开源模型上做了验证（DeepSeek-R1-Distill-Qwen-1.5B/7B、MiMo-7B-RL-Zero），干预层选定为最后一层decoder block，采用单快照prompt-prefill注入方式。实验结果显示这套方法有效。

消融实验进一步验证了关键设计选择的必要性：去掉“自适应门控”、改为对全部20个方向无差别激活，DeepSeek-R1-Qwen-1.5B的不安全率改善幅度从0.45骤降至0.05；干预层选在末层效果最优；引导强度α=2.0是非单调最优点。

在能力保留方面，DeepSeek-R1-Qwen-7B取得了最佳的安全-效用平衡：平均降低40.8%的不安全数量，同时在BBH、GSM8K、MMLU三个基准上保留了97.7%的平均准确率。这个平衡点相当不错。

结语

这项工作的意义在于：它没有止步于又一个“末端答案”安全基准，而是用统一的阶段化、原则化框架，把“诊断”和“控制”打通——评估时用什么原则切分风险，缓解时就用同样的原则结构构建干预方向。这种设计思路本身就很有价值。

当然，团队也坦承了局限：暴露的推理轨迹未必完全忠实地反映模型内部计算，而且当前的激活引导方法依赖白盒访问，暂时还不能直接迁移到闭源模型。这些问题，留给后续研究去解决。