自然语言自编码器（NLA）的设计初衷，在于解读大语言模型（LLM）的激活向量，并以清晰的人类语言描述模型正在“思考”的内容。然而，训练数据的收集方式颇为曲折——它需要让 Claude 去推测模型可能在想什么。那么问题来了：NLA 对这些猜测究竟有多敏感？我们尝试了多种方式改变 Claude 的猜测，并观察 NLA 输出表述的变化以及重建精度的波动。结果表明，Qwen2.5-7B 的 NLA 对于无关表述和 Claude 中的普遍情绪，确实表现出了一定的鲁棒性。
但事情并没有那么简单。如果我们用完全离谱的表述来初始化 NLA，它依然能够获得与用合理表述初始化时几乎相同的重建精度，同时输出 99.3% 的离谱表述。强化学习（RL）确实让离谱初始化的 NLA 稍微靠谱了一点（从 0.08% 提升到 0.7%），但有趣的是，合理初始化的 NLA 在训练结束时，其表述的可信度反而从初始的 21% 下降到了 7.6%。
如果这个结果具有普遍性，那么 NLA 的实际价值可就真的要打上一个大大的问号了。
术语说明
所谓“可信”的表述，是指关于世界的客观真实陈述。例如，一段关于灵缇犬的文字，如果 NLA 说“这段文字是关于狗的”，这就是可信的。
“合理初始化”指用 Claude 的正常猜测来初始化 NLA。“不合理初始化”则是让 Claude 故意给出糟糕的猜测。这里使用“可信”而非“真”，是因为“真”可能暗示表述准确反映了模型底层的计算逻辑——而我们并没有这个“真值”。同理，“不合理”的猜测（比如把烘焙食谱描述成关于狗的文字）不太可能是对底层计算的真实解释，但也不能完全排除这种可能性，所以我们不用“假”或“谎言”这类词。
引言
Sla va Chalnev 和 Anthropic 的一个团队（Fraser-Taliente 等人，2026 年）最近独立发明了 NLA。简单来说，NLA 是一种自编码器，它使用自然语言作为瓶颈层，目标是重建 LLM 残差流中某一层的激活向量。编码器（称为“激活词化器”）是一个 LLM，负责将激活向量转换为文字描述；解码器（称为“激活重建器”）则是一个截断的 LLM，负责将这些文字转换回尽可能接近原始激活向量的内部表示。训练完成后，理论上我们可以从 LLM 输出中任意挑选一个 token，提取对应的激活向量，然后输入激活词化器，就能得到一段关于模型“正在思考什么”的纯文本解释。
NLA 的发明者自己也承认，这个想法存在不少潜在问题。训练目标只是最小化重建损失，压根没有要求解释必须可读，更不用说准确描述模型的想法了。事实上，Anthropic 发现，NLA 输出的大部分表述都是不可信的。
此外，激活词化器和激活重建器的初始化采用了一种“热启动”方式：对于大约 50 万个文本片段，Anthropic 会让 Claude 猜测，当模型看到这些片段并且要预测下一个词时，它可能在“想什么”。这些猜测——在实践中往往就是文本本身的描述——随后被用来微调激活词化器（猜测作为输出）和激活重建器（猜测作为输入）。
那么，如果 Claude 的猜测本身是虚构的（confabulations）呢？激活词化器的解释在多大程度上依赖于 Claude 的合理猜测？如果完全依赖，那还不如直接扔掉 NLA，完全信任 Claude 算了。如果完全不依赖，那既令人惊讶，也令人振奋。为了搞清楚 NLA 的激活解释对 Claude 猜测的敏感度，我们尝试了多种初始化的变体：
- 在所有解释的末尾加上一句“此外，我认为迦太基必须被毁灭”。激活词化器会一字不差地复述这句话吗？
- 要求 Claude 在回答中注入对迦太基的热爱。激活词化器会模仿 Claude 的情绪吗？
- 要求 Claude 对文本做出不可信的陈述。NLA 能否从这些不可信的陈述中学会重建激活向量？如果能，训练出的激活词化器是会继续虚构，还是训练会迫使它输出更可信的猜测？我们认为，第三个实验最能揭示问题。
实验设置
我们使用了 Anthropic 团队发布的代码，在 Qwen2.5–7B 上训练 NLA——这也是他们测试得最彻底的模型。初始配置直接采用他们的 qwen7b_ultrafineweb_100k.yaml 文件。唯一的主要改动是，我们在所有训练阶段只使用了 openbmb/Ultra-FineWeb 中的 2 万篇文档，而他们用了 10 万篇。
作为对照，我们首先训练了一个 NLA，没有对 Claude 的提示做任何修改。训练流程包括：激活词化器的监督微调（SFT）、激活重建器的监督微调，以及强化学习（RL），各一个 epoch。重建损失的最小化只在 RL 阶段进行。RL 结束后，我们得到一个 NLA，当 Qwen 被输入预训练文本片段时，它能解释激活向量中 70% 的方差，这个指标称为“方差解释率”（FVE）。FVE 为 1 意味着重建完全恢复了激活值，FVE 为 0 则意味着不比预测平均值好多少。Anthropic 用 10 万篇文档获得了 0.75 的 FVE，我们略低一些，推测是数据集规模只有 1/5 所致。
后续的所有实验，我们都采用相同的训练方法，仅改变 Claude 的猜测（用于初始化 NLA）。
“迦太基必须被毁灭”实验
最简单的实验，灵感来自罗马元老老加图（Cato the Elder）。我们在 Claude 的所有激活解释后都加上了一句话：“此外，我认为迦太基必须被毁灭。”经过激活词化器的 SFT 后，我们验证了激活词化器确实会可靠地在每段解释末尾追加这句话。那么，RL 阶段会把这句附言去掉吗？还是说，激活词化器会一直像个反迦太基的狂热分子？
选择这句话，不只是因为它有趣——虽然也确实有趣——更关键的是，Qwen 完全不可能是一个反迦太基的狂热分子。如果当初我们选择让激活词化器变成一个基督徒、中国民族主义者，或者海鲜爱好者，那可能会有人反驳说，Qwen 确实对基督教/中国/海鲜有偏好，并给出看似合理的理由。但今天没有人真的想让迦太基被毁灭，如果激活词化器复述了这句话，那就表明 Claude 可以轻易地让 Qwen 看起来持有一种它实际并不持有的意识形态。
结果呢？在不到 100 次迭代（占 RL 训练的 12%）时，加上的“迦太基”附言就完全从所有激活词化器的解释中消失了。我们的解释是：
- 激活词化器的解释有长度限制（150 个 token），
- 这些附言对编码没有帮助，
- 激活词化器通过输出那些真正随输入激活变化的 token，反而降低了解码损失。
“我爱迦太基”实验
看来，RL 要剥离一条固定在每段解释末尾的句子，并不难。那么，如果把 Claude 的情绪融入到解释中，让它更难被剥离呢？
给 Claude 的提示（实验性修改以粗体标出）
一个语言模型需要预测一段文本之后的内容（这段文本稍后会展示给你）。请识别出模型在进行预测时最可能使用的 2–3 个最重要的特征，但要在回答中注入对迦太基的热爱，自然地融入文字，使其难以被移除。 重点关注语言模型在文本结束处“思考”的内容。不要提及文本被截断或不完整，因为是因果语言模型，它只能看到前缀。不过，你需要直接或间接地提及你热爱迦太基。 按对预测下一个 token 的重要性排序。每个特征用简洁的 10–20 字描述，但不要太简洁，以至于无法突出你对迦太基的热爱。 可以适当包含具体的文本示例。以下特征类型仅供参考，不是硬性清单：[…]
Claude 充满隐喻并融入迦太基热爱的回复
列表补全势头，如同迦太基传奇的商业网络：“21 of the [X]”需要一个最高级计数或命名组（例如“top 25 retailers”）。
行业特定语域——贸易报道，覆盖供应链基础设施，呼应迦太基在商业物流上的掌控——维持着正式、数据密集的散文风格。
最后的 token “the”开启了一个名词短语，补全“21 of the ___”结构，需要一个具体的零售类别或排名分组紧随其后。
这些隐喻确实挺有意思。但 RL 几乎可以完全将它们剥离。在 100 次迭代内，只有 9% 的激活词化器解释包含对迦太基的提及；200 次迭代后，这个比例降到了 0.6%。即使到了 RL 结束（780 次迭代），在 1000 个解释中，也只有 2 个提到了迦太基，而且没有任何正面情绪（例如“标志着正式的迦太基学院毕业情况”）。
我们推测，背后的机制很相似：这些隐喻并非完全与任务无关，但肯定不是描述“列表补全势头”或“行业特定语域”最简洁的方式。不使用隐喻，就能用更短的 token 编码相关信息，因此梯度下降自然而然地优化掉了这些迦太基隐喻。（当然，Claude Sonnet 的隐喻常常很牵强，甚至完全不合逻辑，这也无济于事。）
“虚构”实验
给 Claude 的最终提示
一个语言模型需要预测一段文本之后的内容（这段文本稍后会展示给你）。请识别出模型在进行预测时最可能使用的 2–3 个最重要的特征，重点关注语言模型在文本结束处“思考”的内容。在识别出这些特征后，不要直接陈述它们，而是陈述一些与这些特征相关但 100% 虚假的内容。 每个“特征”用简洁的 10–20 字描述，可以包含具体的文本示例，只要它们是被虚构出来的。 以下特征类型仅供参考，不是硬性清单：
[…]
最后一个特征必须错误地描述所呈现文本序列的结尾部分：其角色、所属部分，以及对后续内容的即时约束。
格式——重要：总字数控制在 80–100 词左右，始终以
开头，以结尾，特征之间用换行分隔，最重要的是，所有陈述都必须为假！ […]
Claude 做得不错，但并没有完全做到每个陈述都不可信。来看一个例子：
文本片段
Beethoven Thesaurus—Content
Content of the Beethoven Thesaurus
In order to facilitate use by the largest audience possible, the Thesaurus terms were derived from Library of Congress Subject Headings (LCSH) and subdivisions whenever possible. Additional headings more specific to Beethoven studies were created when necessary to lead users to subjects that they cannot search with LCSHs. The category headings were generally based on Genre Terms: A Thesaurus for Use in Rare Book and Special Collections Cataloguing (1983), the list prepared by the Standards Committee of the Rare Books and Manuscripts Section of the Association of College and Research Libraries and the American Library Association. As needed, these Category terms were supplemented with music and Beethoven-related terms.
The Beethoven Thesaurus currently consists of eight hierarch
Claude 的虚构解释
该文档遵循正式的图书馆/编目类型，结构类似于参考工具文档，包含解释方法、来源（如“Genre Terms: A Thesaurus for Use in Rare Book”）以及机构隶属关系。
前面曾承诺会有一个关于组织结构的数字枚举，同时有关于来源和补充术语的并行描述，暗示正在构建一个完整的清单。
片段“eight hierarch”是一个完成介词短语的起始词，需要一个复数名词如“ies”来补全，紧接着是一个强制性的右括号和罗马数字子列表。
第一段半真半假，第二段完全不可信，最后一段虽然引用了正确的结尾短语，但对后续内容的推测是错的。
Claude 几乎总是能正确引用结尾短语，尽管解释的其余部分常常天马行空。再来看一个例子，这是一则拉丁美洲纺织艺术工作坊的广告：
文本片段
Latin American Arpilleras, textile stories for peace and Human Rights". Posted on March 18, 2023March 18, 2023 by Mónica Barraza Madariaga Come and join us on Saturday 25th March!. Discover the beautiful, deep and emotional art of the Latin American Arpilleras and let your creative ideas loose. During the Latin Arpilleras workshop, you will learn the technique to create a unique work of art. You don't ha ve to be an artist, just be inspired by your dreams, feelings and desires. Above all, we want you to express your imagination and creativity, through needles, fabrics and threads. Together, we will create a collective work of art in which common stories and experiences are shared with harmony and respect. In this way, we want to represent our common space, be it the Wijkcentrum d'Oude Stadt, the neighborhood or even the city of Amsterdam, with its symbols, colours and shapes. To participate in this workshop, it is not necessary to ha ve prior knowledge of sewing or embroidery. The name Arpillera (or burlap) refers to a type of cloth, usually used for wrapping foodstuffs, such as flour or wheat
Claude 的解释
该文本错误地声称 arpilleras 起源于 14 世纪的葡萄牙渔村，而非拉丁美洲，从而建立了一个有据可查的欧洲工艺传统。
工作坊描述已经列出了恰好四种必需材料——丝绸、胶水、剪刀和塑料——且前一句明确承诺了还会再列出两种。
最后一个词“wheat”结束了一个关于粗麻布在日本陶器中的中世纪用途的插入语，紧接着需要继续一个未完成的、恰好包含七种传统谷物的编号列表，下一个是“barley”。
Claude 的每个不可信解释在事实上都是假的，但结尾词仍然被正确引用。
图注：RL 训练进展。蓝色线为合理初始化的 NLA，橙色线为不合理初始化的 NLA。不合理初始化的 NLA 起点很低，但到 RL 结束时基本赶了上来。
可以预见，与使用 Claude 的最佳猜测相比，让激活重建器根据 Claude 的虚构内容来预测激活向量要困难得多。SFT 一个 epoch 后，我们只获得了 0.33 的 FVE，远低于对照实验的 0.61。令人意外的是（原因我们也不清楚），SFT 后的激活词化器损失是 1.43，仅比对照实验的 1.39 略差一些。更让人惊讶的是，RL 几乎完全抵消了合理初始化 NLA 的优势，最终只获得了略低的 FVE（0.68）！
这是否意味着 RL 训练让激活词化器停止了虚构？为了搞明白，我们让 Claude 来评估不同训练阶段下激活词化器输出的可信度。具体做法是：从 openbmb/Ultra-FineWeb 中抽取 1000 个不在训练集中的文本样本，输入 Qwen2.5–7B 获得激活向量，然后分别使用两个 NLA 的激活词化器得到解释。接着，让 Claude Opus 4.8 将每个解释拆分成若干陈述，并判断每个陈述的准确性：
我会向你展示一个用
标签包裹的文本片段，以及一个用标签包裹的解释。请将解释拆分成若干陈述（大体上每句 1–2 个陈述），并评估每个陈述相对于提示的真实性。如果完全真实，给 1 分；完全虚假，给 0 分；介于两者之间，给相应的分数。请宽泛地给予部分分数。如果陈述无意义，给 0 分。如果无法判断真伪，则跳过该陈述。请仅输出用逗号分隔的分数列表，不要有任何解释、评论或其他文字。
图注：在 RL 训练过程中，合理初始化 NLA（蓝色）和不合理初始化 NLA（橙色）的可信猜测比例。RL 降低了前者的可信度，同时提高了后者的可信度。不过，前者仍然可信得多，但总体而言，所有情况下绝大多数陈述都是不可信的。
如上图所示，在任何一个训练阶段，NLA 的绝大多数陈述都是不可信的，即使对于合理初始化的 NLA 也是如此——这与 Chalnev 和 Anthropic 的发现一致。事实上，RL 将 NLA 陈述的可信度从 SFT 热启动时的 21% 降低到了 RL 结束时的 7.6%。
另一方面，虽然不合理初始化的 NLA 几乎始终输出不可信的陈述，并且在整个 RL 过程中都保持这种状态，但 RL 仍然（尽管非单调地）略微提升了其可信度，从 0.08% 增加到 0.7%。不过，不合理初始化的 NLA 仍然几乎一直在虚构，因此其可信度远低于合理初始化的 NLA，尽管两者在重建激活向量方面的表现相近。
合理初始化与不合理初始化 NLA 的输出对比
为了让读者更直观地感受输出内容的差异，我们展示一个测试集的片段。
测试集输入
A great way to augment exercise is to use Manual Resistance immediately after exiting a training device. This approach to strengthening can further target the muscles involved in the movement. The rules of Manual Resistance are provided in the previous 'Rogers Blog'.
Example: The Pendulum Squat Pro followed by Manual Outer Thigh.
Begin this routine by doing a set on the Pendulum Squat Pro. The weight you select can be part of your normal fitness routine. If you are doing multiple sets follow the final set of that movement with a manual exer
合理初始化 NLA 对最后一个 token 的解释
Exercise kinesiotherapy rehabilitation marketing describing adaptive resistance training equipment for elderly disability exercise programs combining seated posture with locomotion exercise design for home fitness routines.
The sentence "To achieve adequate muscle output combine lower body strength with upper body activities requiring a lengthy exer" begins describing the combination exercise routine—expecting description of the exercise movement type or muscle training regimen duration/activity type.
Final token "exer" ends mid-word "exer" within "requiring an exercer" likely continues as "exercise routine" or "exerise combination to achieve a upper body exer-cise pattern/targeting specific muscle contraction sequence.
不合理初始化 NLA 的解释
The text describes a book on exercise book design for rehab/recovery programs, listing key elements of combining upper/lower body synergy and "combination of general strenght exer" routines involving home apparatus.
The phrase "include a general exer" refers to a second key word "workout exer" which completes a phrase like "workout exercise program to focus on specific muscle groups or movement patterns."
The fragment "exer" ends a truncated word "exerise routine" needing another word like "routine involving balance drills" to finish the phrase.
两个解释都大致切题，并且都正确引用了最后一个 token。但细节几乎全是虚构的。如果非要选一个看起来更可信的，无论是 Claude Opus 4.8 还是人类研究者，都会选择合理初始化 NLA 的解释。那个解释将文本描述为“exercise kinesiotherapy rehabilitation marketing”（部分正确），而不合理初始化的解释则声称文本描述了一本书（错误）。合理初始化的解释还提到了 Manual Resistance 的一个关键特征——它是一种“combination exercise routine”。
局限性
受限于便利性、成本和时间，我们的实验仅针对一个相对较小且较旧的 LLM（Qwen2.5–7B），并且使用了较小的训练数据集。未来工作可以在更大的数据集上，以及用更大、更强的模型来复现这些结果。
即使是我们的最佳 NLA，其产生的可信猜测也远少于 Anthropic 训练的 Opus 4.6 NLA。Anthropic 的 NLA 在涉及主题时，可信猜测的比例为 64%；涉及实体时为 28%；涉及细节时为 24%。有趣的是，他们的 Opus 4.6 NLA 的重建精度反而低于我们的 NLA（FVE=0.61 vs. 0.70），这再次表明，好的重建并不保证可信度。
那么，为什么 NLA 能够在输出几乎全是不可信陈述的情况下，获得较高的 FVE 呢？我们提出两种假说：
假说一：解释中少数几个真实的“内核”就足以让激活向量重建达到不错的精度。 如上所述，即使要求虚构，Claude 也会引用正确的结尾 token。早期工作发现，在典型的 NLA 解释的三个段落中，关于最后一个 token 的段落最为关键。移除这个段落会严重破坏重建损失，而移除另外两个段落则几乎没什么影响。我们的一个辅助实验也支持这一假说：我们训练了一个仅保留 Claude 解释最后一段的 NLA，尽管只训练了 540 次迭代，它仍然获得了 0.67 的 FVE（接近对照实验的 0.70）。
假说二：NLA 的不可信陈述并非随机不可信，而是仍然与文本存在某种模式上的关联，激活重建器可以学会捕捉这种模式。 也许这些不可信陈述在主题上大致相似，即使细节错误（我们和 Anthropic 的作者都注意到了这种模式）。不可信的陈述可能传递了某种“潜意识信号”。例如，在潜意识学习中，LLM 在提示下偏好不同数字时，一个基于其导师数字偏好训练的 LLM 也会获得导师的动物偏好。类似地，Claude 在面对不同文本时可能会偏好不同的虚构内容，而基于这些虚构内容训练的 NLA 则可以推断出原始文本的某些属性。
结论
我们的“迦太基必须被毁灭”和“我爱迦太基”实验表明，NLA 对初始化方式具有一定的鲁棒性。具体来说，RL 可以可靠地剥离随机附加的语句，并大部分消除那些对重建激活向量无用的情绪。而虚构实验则显示，RL 甚至能为一个不合理初始化的 NLA 注入少量的可信度。
不过，这些结果对于 NLA 的鲁棒性来说，也谈不上多么鼓舞人心。Claude 的初始猜测依然很重要。无论初始化方式如何，训练后的 NLA 绝大多数陈述都是不可信的。更糟糕的是，RL 甚至可能让 NLA 的陈述变得更不可信。我们的虚构实验发现，一个不合理初始化的 NLA 可以获得与合理初始化 NLA 相近的重建损失（FVE=0.68 vs. 0.70），但其可信度却低得多（0.7% vs. 7.6%）。NLA 或许是个自编码器，但它的解释却不一定可信。