A reproduction of Sarfati et al.’s “The Shape of Beliefs”

BlueDot Technical AI Safety Project (code)

“Nature, to be commanded, must be obeyed.”

— Francis Bacon, Novum Organum I.3 (1620)

Introduction

要想在中期和长期做好AI安全，一个关键前提是：深入理解AI系统内部究竟是怎么工作的。

道理很简单——要降低一个系统的风险，必须先搞懂它。[1]

基于这个信念，这次BlueDot技术AI安全项目选择聚焦于一个正在兴起的新范式：大语言模型中表征的内在几何结构。这属于机械可解释性的前沿方向，未来很可能越来越重要。

最终决定复现Goodfire团队的一篇相关论文——Sarfati等人2026年发表的《信念的形状：语言模型后验表征流形的几何、动力学与干预》。成果怎么样？基本成功复现了（只有一处小出入，详见附录）。

为什么这项工作值得关注？

尊重表征几何，实现更精准的引导

线性表征假说（LRH）认为，概念或特征是由激活空间中的线性方向表示的。基于这一假说，简单的线性探针就能发挥很大作用（Chen等，2025；Lindsey等，2026）。不过近年来，可解释性领域出现了一个所谓的“几何转向”，可以理解为对LRH的一种推广。

在新的几何范式下，研究者不再只关注表示特征的单一方向，而是研究激活的流形——嵌入在激活空间中的低维子空间，可能还带有非欧几里得几何（即曲率）。这方面可参考Engels等（2024）、Park等（2024）、Modell等（2025）、Gurnee等（2026）、Feucht等（2026）、Fel等（2026）、Wollschläger等（2026）、Bhalla等（2026）的工作。

有意思的是，这正好和计算神经科学的发展轨迹形成对照——过去二十年，神经科学也经历了类似的几何转向。随着技术升级，研究者得以记录越来越大规模的神经元群体活动，分析目标也从理解单神经元转向了理解神经群体的动力学（Churchland等，2012；Gallego等，2017；Chung等，2018；Allen等，2019；Gründemann等，2019；Stringer等，2019；Jazayeri & Ostojic，2021；Beshkov等，2024）。实际上，机械可解释性完全可以从神经科学中汲取不少经验——这一点后面还会结合作者自己利用高通量钙成像研究小鼠视觉皮层群体活动的工作来讨论（见“可解码性不等于功能”）。

几何方法的一个具体价值在于：如果能尊重模型表征的内在结构，激活引导就能做得更精准，副作用也更少。在AI控制中这自然有应用场景——比如沿着表示某个（某些）特征的流形进行引导，在去除不安全或不良倾向的同时保留能力。

信念的形状

Sarfati等人（2026）用一个精巧的玩具场景做了原理验证。他们发现了所谓的信念流形：模型关于输入属性（具体来说，是一系列整数的均值与方差）的上下文后验估计，在激活空间中呈现弯曲的子空间。这些表征又进一步影响和塑造模型对下一个token的预测。随后他们证明，如果使用“流形感知”的引导，可以操纵模型对均值的后验估计，同时基本不改变对方差的估计——在一定取值范围内成立。这初步表明了上述几何视角的实用前景。

复现结果总体是匹配的。除了一个例外（详见附录），所有主要结论都得到了验证。

在描述复现细节之后，本文将讨论论文中最有趣的一点：原始表征与对偶表征之间的区别——即激活的流形结构本身，与特征如何被“读出”之间的关系。这正好触及系统神经科学中一个长期争论的问题：“编码”这一隐喻是否适用于理解神经活动（Brette，2019；Buzsáki，2019；也可参见“可解码性不等于功能”）。最后会简要勾勒几个可能的拓展方向。最感兴趣的是能否用这种方法检测和引导评估意识，即模型关于自己是否正在被测试的信念——这在对齐研究中是一个重要关切（Laine等，2024；Nguyen等，2025；参见“可能的拓展”）。

更新： 最近Goodfire团队正在这个方向上加紧推进！[2] 在这个项目启动后不久，他们又发表了几项关于神经几何的新研究（Wurgaft等，2026；Geiger等，2026；Feucht等，2026）。看到这一方向进展如此之快，确实令人兴奋，期待整个领域能走多远。

第二次更新： 就在今天（2026年5月21日），Goodfire又发布了一项新研究，展示了SAE特征如何覆盖流形！（Bhalla等，2026）他们真的是火力全开