大语言模型的「母语」究竟是什么呢？

许多人第一反应可能是：英语。

然而，事实真的如此简单吗？尤其是对于那些能说会道、精通多种语言的大语言模型来说，这个问题远没有表面上那么直观。

最近，EPFL（洛桑联邦理工学院）的研究团队发表了一篇论文，专门深入探讨了这一话题。他们以Llama-2为研究对象，试图揭开一个秘密：具备多语言能力的Transformer，究竟是如何「思考」问题的。

论文地址：https://arxiv.org/pdf/2402.10588
项目地址：https://github.com/epfl-dlab/llm-latent-language

简单来说，就是想搞清楚：像「羊驼」这种在英语数据环境下训练出来的模型，它的多语言能力到底是与生俱来的，还是仅仅套了一层翻译的外壳？

这个问题，直接关系到我们对大语言模型运行机制的理解深度。

探索大模型的「内心世界」

听起来很玄妙，实际操作起来也确实不简单。研究人员采用了一种巧妙的方法：用特定提示保证输出的唯一性，然后一口气将Llama-2-7B全部32层的输出都提取出来——一层一层地剖析它的「内心」。

从上图可以清晰地看到，当模型收到中文翻译任务（输出「花」）时，完整的推理路径是这样的：Transformer将输入的token经过逐层映射，最终预测出下一个token。中间那些看起来似懂非懂的字符串，就是LLM所使用的「内部语言」。

有意思的地方在于：在中间层的「思考」环节，羊驼使用的是一种偏向英语的神秘符号。这里需要特别说明——这是模型的自发行为，因为提示中并没有出现任何英文。

比如这个实验：构建了从法语翻译成中文的提示，并且答案只限制成一个token（花）。统计结果显示，在Llama-2的大部分前向传播过程中，正确的中文token（蓝色）概率远远低于英文翻译（橙色）。中文只在最后两层才占据主导地位。

可视化路径也很有说服力：作者将高维空间（实际上是8192维）中的嵌入路径投影到2D展示。从输入到输出，轨迹以红色开始，以紫色结束。可以看到，这些路径几乎都要先绕道英语区域，然后才折返回正确的中文区域。

这是否意味着Llama-2真的先用英文推理，再翻译成中文？作者给出的结论比这个更微妙——那些看起来像英文的中间嵌入，实际上对应的是抽象概念，而非具体的英文token。

所以，一方面，Llama-2内部的「通用语」不是英语，而是概念；另一方面，这些神秘字符又明显偏向于英语的概念。从语义层面（而非词汇层面）来看，英语确实可以视作羊驼的「母语」。

网友：我早就发现了

有网友直言：不光是羊驼系列，几乎所有LLM都是这样。「对于以英语为母语的人来说，这可能会让人惊讶，但对于其他人来说，这种倾向性一直都存在，只不过有的模型明显一些，有的弱一些。」

「有时候我会想LLM为什么要这样回答，然后突然意识到，这个答案在英语语境里才说得通。」

「这一点在诗歌创作上尤其明显。LLM写诗挺漂亮，但通常不押韵——如果你把它的诗歌翻译成英语，嘿，押韵了。」

另一位网友则提醒要注意大模型带来的偏见：「英语和中文最终会成为LLM提示和输出的最佳语言，而随着LLM应用越来越广泛，世界上的其他语言将进一步边缘化。」

模型表达空间的探索

当嵌入在逐层转换时，会经历三个清晰的阶段：

1. 输入空间：模型消除分词器带来的干扰。
2. 概念空间：嵌入进入一个抽象的概念空间。
3. 输出空间：概念被映射回原本的表达形式。

模型选择

实验聚焦于Llama-2系列，这些模型在多语言语料库上训练，但语料库主要由英语主导（占比89.70%）。不过考虑到总训练数据量达到2万亿个token，即便非英语数据占比很小，绝对值依然可观——德语占0.17%（约34亿token），中文占0.13%（约26亿token）。

Llama-2有三个规格：7B/13B/70B，层数分别为32/40/80，嵌入维度d=4096/5120/8192，词汇表包含32,000个token。实验使用8位量化对这三种模型进行探究。

实验设计

目标是探索Llama-2的内部状态是否与特定的自然语言对应。这需要从token分布映射到语言，但很多token在语言归属上是模棱两可的。研究团队构造了特殊的提示，限制token输出的唯一性，并能明确归因于某一种语言。

翻译任务：将非英语单词（如法语）翻译成中文。展示四个带正确翻译的单词，然后给出第五个未翻译的单词，让模型预测下一个token。

重复任务：要求模型简单地重复最后一个单词。

完形填空任务：作为难度稍高的任务，模型需要预测句子中缺失的单词。先给定一个目标单词，通过GPT-4构建一个以该单词开头的英语句子，屏蔽目标单词，再将该句子翻译成其他语言。

单词选择：为了实现明确的语言归属，研究人员为每种语言构建了一组封闭的单词。扫描Llama-2的词汇表，寻找那些单token英文翻译对应的单token中文单词（主要是名词）。这样一来，模型预测下一个中文单词的正确概率可以直接从下一个token概率中读出。

为了确保结论的稳健性，作者还在德语、法语和俄语上进行了相同实验，总共测试了139个中文、104个德语、56个法语和115个俄语单词。

上图展示了Llama-2前向传递中每一层输出是英语还是中文的概率，三个任务分别是：（a）从德语/法语/俄语到中文的翻译任务，（b）中文重复任务，（c）中文完形填空任务。误差线显示输入文本的95%高斯置信区间。

8192维空间的「漫游」

自回归Transformer是以增量方式求解的——每一层通过添加残差来修改前一层产生的潜在向量。这个过程在几何上可以描述为一条穿过d维欧几里得空间的路径。

为了建立直觉，先考虑一个极端假设：token位于整个d维空间的某个子空间里。如果潜在嵌入（h）具有与token子空间正交的分量，那就说明预测中包含与h无关的信息。

研究人员采用h和token嵌入之间的均方余弦，来表示h的能量有多少转化为logit分数。为了可解释性，通过token嵌入本身的均方余弦进行归一化，得到h的平方token能量。

在上面的球形示意图中，所有嵌入都位于原点周围的球体上。token嵌入位于赤道附近，主要沿x轴分布——x轴捕获语言（左侧英文，右侧中文），y轴捕捉概念，z轴提供额外自由度用于存储上下文、语言等信息。Transformer的前向传递沿着球体表面移动。

阶段1：潜在嵌入从北极出发，与输出token和概念嵌入正交。
阶段2：旋转到概念空间，英语token占据主导。
阶段3：最后沿着赤道旋转到目标语言的半球，产生输出token。