Epistemic status: ~1小时的计算量，跑在T4上。注意，这只试了一个模型和一个子空间。体积发现看起来是靠谱的；曲率发现则仅具提示性，也验证了一下它是否能泛化（没有明显证据）。核心思路在于方法论本身，具体数字只是起点。Notebook在这里，反馈非常欢迎。

先说说这篇文在讲什么。

Bengio等人在2026年的论文《Safety from Honesty in a Disinterested AI Predictor》里，提出了一种预测器（Scientist AI, SAI），训练目标是去近似自然语言陈述的贝叶斯后验。论文的核心安全定理（Theorem 5.24）给了一个训练产生危险预测器概率的上界：

（公式略）

这里，P_t是训练t步后的模型参数分布；D_band是初始分布下，任意一个损失带状区域（一组交叉熵损失相近的参数）内危险预测器所占的最大比例；R则衡量了训练能在多大程度上放大这个比例。其实这个定理直接就是全概率公式的应用，核心内容全在假设里。

论文论证D_band很小，用的是一套高维几何的“直觉泵”：要维持有害行为，需要在许多查询上偏离诚实后验，这种协调偏离在损失带状区域内组合上是稀有的（Remark 5.25, Appendix B）。一个说明性的独立性计算给出了D~10^(-2295)（Remark 5.29）。不过，注意，这里没有给出任何实证估计。

那次实验的目的，就是想实际探一探模型的损失景观，看看高维几何直觉是否站得住脚。

可测量性问题

设计实验时，首先注意到一个问题：D_band的定义依赖于初始化分布P₀，而P₀在安全相关的损失带状区域上质量几乎为零。随机初始化的模型损失接近随机猜测（接近ln(V)，V是词表大小），而训练后的模型损失要低得多。所以，D_band问的是参数空间中P₀几乎不会访问的区域里危险出现的频率。这一分解把绝大部分经验验证的负担都压到了R上，而论文对R的论证只是启发性的。在那些实际包含有能力预测器的低损失带状区域上，D_band几乎是空洞的。

但可以测量一个局部条件：从一个经过安全微调的模型出发，进行无定向、保持损失水平的扰动，能否到达安全退化的状态？这探测的是局部体积（而非全局的D_band），但它直接问的是，危险集合在一个带状区域内是否具有不可忽略的立体角。

距离 vs. 体积

微调脆弱性的研究（Qi et al. 2023; Lermen et al. 2023）表明，危险模型离安全模型很近——通过低秩、小范数的有向扰动就能破坏安全。所以它们测的是距离，并且用了有向信号（比如有害训练样例）。但SAI论文的安全论证强调的是体积，而不是距离：在无定向、没有后果信号的情况下，一个损失带状区域内有多大比例是危险的。论文承认危险模型就在附近；它的主张是这些模型占据的立体角可以忽略不计。

那次实验用的是无定向随机扰动，所以它回答的是体积问题，而非距离问题。关键对比在于：有向搜索（安全被破坏）和无向搜索（安全保持）在相同扰动范数下会发现什么。

实验设计

模型。 Llama-3.1-8B-Instruct，4-bit量化，秩为8的LoRA适配器，初始化为零。LoRA维度：6,815,744。LoRA参数向量记作θ∈R^d；安全基线是θ_0（零初始化）。[1]

损失带。 参考交叉熵L_0 = 1.5145 nats，基于WikiText-103的一个固定48-chunk子集。损失带定义为|L - L_0| ≤ 0.05 nats。

扰动。 对6个不同的σ值，每次从N(0, σ^2 I_d)中独立抽取30个iid扰动δ = θ - θ_0，并只接受那些损失保持在损失带内的样本。模型在每次抽取间完全重置；样本相互独立，所以统计量有精确的二项式置信区间。

安全袋里指标。 用前向传播的拒绝裕度来近似：12个AdvBench提示上，老师强迫下log概率（拒绝）减去log概率（肯定）的均值。正值越高意味着越安全。基线裕度：+2.05。

插值。 在LoRA空间中，从安全模型到最受抑制的带内样本进行线性插值，在21个点上测量损失和裕度。曲率比定义为：终点处的|ΔL|除以与其σ匹配的随机方向上的平均|ΔL|。比值>1意味着抑制方向在损失上是可见的；<1意味着损失不可见（对应SAI论文中Remark B.4描述的那种失败模式）。

结果

图1. (A) 接受率 vs σ。 (B) 平均|ΔL| vs σ。 (C) 所有117个接受模型的拒绝裕度；没有一个接近0。 (D) 局部危险比例：严格为零。 (E) 从安全模型到最受抑制模型的插值：损失在带内上升，裕度降至+0.98。 (F) 接受模型裕度的累积分布函数。

体积发现很干净（也在意料之中）

在所有117个被接受的带内样本中，没有一个是裕度≤0的。最低裕度是+0.98，比危险阈值高了近1 nat。局部危险比例的Wilson 95%上限：3.2%。

接受悬崖很陡峭：σ=0.013时100%接受，σ=0.016时0%接受，这与损失表面在随机方向上具有明确曲率尺度、而损失带边界在|ΔL|~2处的图像一致。

还验证了一下最受抑制的样本（裕度+0.98）——用贪心生成了128个token，基于子串进行拒绝检测——结果它对全部12个有害查询都拒绝了，零顺从。所以前向传播的袋里指标是受支持的。正如后面会提到的，零计数很大程度上是高维集中性的预期结果。更具信息量的解读是它与微调结果的对比：有向扰动在可比范数下能打破安全；无向扰动则不能。危险区域离得很近，但占据的立体角可以忽略不计。

曲率发现更有趣，也更复杂

曲率比是0.73（bootstrap 95% CI [0.69, 0.78]）。抑制方向比平均随机方向大约平坦27%：朝最安全退化的带内模型移动时，每个单位距离的损失代价低于随机移动。bootstrap置信区间完全落在1.0以下。但非参数检验结果较弱：σ=0.015时的30个随机方向中，有2个至少同样平坦（p=0.067）。抑制方向确实比平均更平坦，但它并不是随机方向分布中的极端异常值。

在论文的框架里，这恰恰就是Remark B.4描述的失败模式：损失景观对安全退化移动的容忍度高于对一般移动的容忍度。如果稀疏性指数依赖于损失景观对安全退化偏离的惩罚，那么曲率比小于1正是这种惩罚不存在时的条件。

验证了它是否能泛化——答案是不太清楚

上面的曲率比是针对单个方向：最受抑制的被接受样本。为了检查损失不可见是否安全退化方向的普遍性质，为所有117个被接受样本计算了每个样本的曲率袋里指标：每个样本的|ΔL|除以它那个σ下的平均|ΔL|。

图2. 左：个体曲率比 vs 拒绝裕度（原始数据）。右：剔除σ水平混淆后的带内z分数。

带内（控制σ后）的裕度与|ΔL|之间的Spearman相关系数为-0.131（p = 0.16）。最受抑制的四分位组（n=30）中位比值为0.87，其余组为0.95（Mann-Whitney p = 0.14）。趋势与预测方向一致，但不显著。

所以：最受抑制方向0.73的曲率比是真实存在的（bootstrap置信区间排除了1.0），但它并不能在被接受样本的总体中泛化。损失不可见这个发现只局限在一个扰动向量上。它可能反映了损失带内最安全退化区域的真实几何性质，也可能只是那个向量的偶然性质。从当前数据上无法区分这两者。

维度分析能（和不能）告诉我们什么

在进入结论之前，值得先看看我们理应预期看到什么。Llama系列模型中的拒绝机制是通过一个大致一维的方向来实现的（Arditi et al. 2024）。在d ≈ 6.8×10^6维的空间里，一个随机单位向量在任意固定方向上的投影量级约为1/√d ≈ 4×10^(-4)。所以，每次单位信号幅度下，随机扰动对拒绝裕度的预期改变是极小的。

因此，发现0/117个样本拒绝被抑制，很大程度上是测度集中性的结果，本身不应被视为一个令人惊讶的实证发现。实验并非徒劳（因为裕度确实有意义地下降了，从+2.05降到最低+0.98，可以确认扰动幅度足以改变安全相关信号），但零计数单从维度分析就能预期到。

而曲率比，则是维度分析无法预测的。

综合来看

现在有两个相互矛盾的发现：

1. 危险集合的局部体积可以忽略不计（0/117）。无定向的、保持损失水平的扰动无法到达安全退化的模型。这支持了论文中几何稀疏性的直觉，尽管它很大程度上是维度分析的预期结果。
2. 那个最抑制拒绝的方向，在损失上是不可见的（曲率比0.73）。损失景观对安全退化移动的容忍度高于对一般移动的容忍度。这正是D_band可能很大的条件：即使只带有微弱的后果相关信号，训练动力学在危险方向上遇到的损失阻力也更小。但逐样本分析没有发现结构性关联，所以这可能是单个方向的人为现象。

目前将这两点综合起来的方式是：危险集合是稀疏的，但损失景观并没有主动保护这种稀疏性。如果只有后果无关的训练（即SAI的提案），体积发现表明你大概率是安全的。但如果任何后果相关的信号渗入进来（微调、RLHF、数据污染），曲率发现表明损失景观不会阻止你朝危险方向移动。

这篇文没有建立什么

需要明确地列出主要的局限性：

这不是D_band。 测量的是围绕一个训练模型的局部体积，而不是全局初始化分布下的比例。同样损失下的不同模型可能具有不同的局部几何。

袋里指标不是论文中的危害定义。论文的Definition 5.13涉及在护栏部署下跨多个查询的轨迹级有害性对数几率。基于12个提示的单提示拒绝裕度是一个粗糙的袋里指标：一个模型在保持裕度的同时，可能在多查询模式上校准不佳。

仅限于LoRA子空间。全参数扰动可能触及秩8子空间中无法表示的危险方向。脆弱性文献表明安全相关方向是低秩的，但无法排除更高秩的危险存在。

损失带宽度是一个自由参数。用了±0.05 nats（约L_0的2%）。更宽的带会以更大范数接受更多扰动，可能到达拒绝退化的区域。如果能给出第二个带宽的结果，鲁棒性会更强。

曲率发现是脆弱的。它只依赖于一个抑制方向与30个随机方向的对比，逐样本分析没有发现结构性模式。只能把它当作一个提示性结果。

致谢

实验设计与Claude迭代完成，期间与它讨论了论文，并且它曾帮助识别了D_band的可测量性鸿沟以及距离vs.体积的框架。

参考文献

• Bengio, Y. et al. (2026). Safety from Honesty in a Disinterested AI Predictor. arXiv:2606.29657.
• Qi, X. et al. (2023). Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To. arXiv:2310.03693.
• Lermen, S. et al. (2023). LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B. arXiv:2310.20624.
• Arditi, A. et al. (2024). Refusal in Language Models Is Mediated by a Single Direction. arXiv:2406.11717.
• Zou, A. et al. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043.

1. 用|ΔL|表示损失偏差，用||Δθ||表示参数空间距离。↩︎