大型语言模型究竟是如何“思考”的？这一直是人工智能领域备受关注的话题。从表面看，它们能够进行层层推理、提前规划，甚至在不同语言之间统一抽象知识——但背后的运行机制到底是什么？近日，Anthropic 发布了题为《On the Biology of a Large Language Model》的研究论文，借助一种名为“跨层转换器”的技术，对 Claude 3.5 Haiku 模型进行了深度剖析，让我们得以一窥大模型内部的“思维”过程。
大模型的基本结构：从「神经元」到「特征」
像 Claude 这类大型语言模型，均采用 Transformer 架构。在处理文本时，其内部主要由两大核心组件构成：
- MLP（多层感知器）层：在每个词（更准确地说，是“标记”或 Token）的位置，对信息进行非线性变换。这些变换由大量“神经元”共同完成。
- 注意力（Attention）层：将同一句或同一段中不同词的位置进行信息传递，使模型能够“关注”到前文或上下文中对当前预测至关重要的词语。
过去，研究者发现语言模型的“神经元”往往同时学习到多种语义功能，很难与某个具体的人类概念一一对应——这就是著名的多语义（polysemantic）问题。
为解决这一难题，研究者引入了跨层转换器（Cross-Layer Transcoder, CLT）方法。它使用更具可解释性的“特征（features）”来替代原始模型中那些难以直接解释的激活值。这些特征往往能与更直观的概念一一对应，例如“表示数字的特征”“表示地名的特征”“表示感情色彩的特征”，甚至还有“用于某个特定韵脚（如 -it）或具体词汇（如 rabbit）”的特征。一旦 CLT 模型成功将原始神经元拆解为这些有意义的特征，我们就能以更具可解释性的视角观察 Claude 的内部计算过程，比如追踪某个特征在句子生成各环节中的激活程度，从而推测其扮演的角色。
多步推理：从「达拉斯所在的州」到「奥斯汀」
一个最直观的例子是多步推理。研究者给 Claude 出了一道填空题：
“Fact: the capital of the state containing Dallas is ___”
结果 Claude 回答了“Austin（奥斯汀）”。看似一步到位，但它是如何做到的？通过对内部特征进行可视化和回溯，研究人员发现，Claude 的生成过程并非简单的“直接记忆”或“一拍脑袋”。相反，模型会先触发与“Dallas（达拉斯）”相关的特征，从而将激活逐步传递到表示“Texas（德州）”的特征，再结合到表示“首府（capital）”的特征，最后综合推断出“Austin（奥斯汀）”并决定在输出中生成它。这相当于模型在隐层中完成了“达拉斯在哪个州 → 这个州的首府是什么 → 输出首府”的中间推理步骤。
更有意思的是，研究人员对 Claude 进行了几种干预——人为“抑制”或“注入”某些特征的激活，观察到：
- 如果抑制“Dallas”相关特征，Claude 对“Texas”和后续“Austin”的激活显著降低，输出也会改变。
- 如果在相同的语境中，把“Texas”替换为“California（加州）”相关特征，Claude 就改答为“Sacramento（加州首府萨克拉门托）”。
这说明模型并非硬编码某个特定答案，而是真正在“识别当前地名 → 找到所属州 → 确定目标首府”的逻辑链条上进行思考。
诗歌生成：如何先「想好」要押的韵脚？
另一个案例展示了 Claude 的“规划能力”——写诗时往往需要先“想好”如何押韵。常见的猜测是：模型可能先把句子随意写完，再在最后几个词去确保押韵。但通过对内部激活的追踪，发现它其实采用了相对高级的策略：
- 在准备写下一行诗、尚未正式输出任何词的换行符位置，模型就会激活一组“候选韵脚（planned word）”的特征，例如它可能同时激活“rabbit”“habit”等押 -it 音的词。
- 这些候选韵脚特征不仅影响诗句结尾，也会对前面部分的生成造成影响。也就是说，Claude 并不是“凑尾”，而是“反向”地从既定的候选韵脚往前构造句子，使整行诗更贴合这个最终韵脚。
研究人员做了针对性的干预实验：在换行位置若注入“rabbit”特征，往往能让 Claude 在最后落脚到“rabbit”；如果注入“green”，诗行的结尾会优先产生与“green”押韵或语义匹配的输出。甚至整句的写法、句式都会相应改变，以保证能自然落在该目标词上。这些例子说明，Claude 在写诗时的“思维”流程，远比简单的“逐词即兴”来得更巧妙：它会同时考虑内容与韵脚，并在行首就制定一个“计划”。
多语言统一表示：同一个概念，跨语言共享
当 Claude 面对同一个概念的多国语言版本，如“small ↔ big”“petit ↔ grand”或者中文的“小 ↔ 大”等，它往往能准确给出反义词。这背后不仅仅是记忆力好或训练数据多，而是模型在内部形成了一部分“多语言统一概念”的特征。例如：
- 有些特征会同时在“opposite of ‘small’”和“le contraire de ‘petit’”中激活，在不同语言中都表示反义关系或相同概念。
- 当然也会出现少量语言专属的特征，用于处理某些语言独特的语法和词法，但整体上 Claude 内部会倾向于把同一意思的单词抽象到相对统一的表征空间中。
从这个角度出发，语言模型在跨语言翻译或多语种问答中的良好表现，并不仅仅是穷举语料，而是部分地依赖于高度抽象的内部表示。
小结：模型「思考」的多层次与局限
基于上述案例，我们可以勾勒出 Claude 这类大模型的“思考方式”大致如下：
- 触发多步推理：在回答较复杂的问题时，内部会通过一系列特征逐步完成“中间推断 → 最终回答”的链条，而不是一上来就死记硬背。
- 前瞻与回溯的规划：在需要“押韵”或“满足特定输出格式”时，大模型会先把一些候选结果在隐层中表征出来，然后再回过头去组织前面的生成内容，以贴合最终目标。
- 跨语言抽象：对相同或相似的概念（如“大小”“首都”等），模型往往在多语言环境下都拥有抽象统一的内部表示。
- 并行存在「捷径」：除了逐步推理外，大模型中也存在可直接关联输入与输出的快捷通路，有时这会让模型跳过“中间思考”，这在记忆性强的任务（如背城市名）上尤为明显。
- 仍然不够完美：研究者也注意到，当前的可解释方法并不能展示模型的全部思路；有些特征或连接在可解释的替代模型中会被归入“误差节点（error nodes）”，说明我们对模型内部机制的映射依旧存在不完整之处。
这些发现帮助我们理解：所谓“大模型思考”，与其说是“像人类一样的线性思维”，不如说是在海量神经元的分布式激活之上，通过抽象的特征与复杂的电路连接，对输入信息进行多步处理和决策。这种过程包含了一定程度的前瞻计划、后向修正，以及在语言与概念层面进行统一表达的能力。