Transformer 的极限到底在哪？这个问题，从 2024 年 ChatGPT 面世开始，就一直被反复讨论。

最近一两个月，答案似乎逐渐浮出水面。前 OpenAI 推理负责人 Jerry Tworek 和 Google Gemini 预训练负责人 Rohan Anil 都公开表示，Transformer 已经走到尽头，甚至成了迈向 AGI 的最大障碍之一[1]。

国内一些头部基础大模型公司，也在积极尝试改进版的 Transformer 架构。不过，其中一部分改进其实是出于算力瓶颈的考虑，并不完全是为了提升架构本身的能力上限。比如，通过稀疏或线性注意力来降低复杂度，这些方案确实大幅提升了训练和推理效率，在资源受限的情况下实现了更大的参数规模，让模型能力逐渐逼近国外闭源模型。但问题是，半年后，这些复杂度更低的架构会不会同样碰壁？这还得打个问号。

那么，如果 Transformer 的上限真的触顶了，AI 的下一代模型架构应该具备哪些特质？上海人工智能实验室的书生 Mobius 团队，给出了一条可能的路径——知识推理分离，来探索在持续学习、组合泛化等方向上能力上限更高的架构，并顺带用更高的能力上限倒逼训练和推理效率的提升。

沿着这个思路，团队提出的 Mobius 系列架构，有望在未来赋能商用落地、持续自进化、科学发现等多个关键领域。

论文标题：Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning

Transformer 的"三宗罪"

自 Transformer 诞生以来，工业界通过持续扩大数据量和参数量，以一种非常高效的方式，获得了令人瞩目的强大模型。这些模型在自然语言、代码、数学、视频等任务上，展现出了前所未有的能力。

然而，就在模型越来越大、能力越来越强的同时，Transformer 始终存在的"三宗罪"却被忽略了，一直没有得到有效解决。这"三宗罪"分别是：

（1）学过的，不能快速回想起来；
（2）新学的，想要记好，成本太高；
（3）没学的，难以通过联想构建。

先说（1）。从现有模型的端到端推理效率，就能看出端倪。初代 ChatGPT 的数学和代码能力并不强。直到 OpenAI O1 发布，超长思维链（CoT）和配套的强化学习算法才进入公众视野。

在深度思考模式下，模型通过不断输出 Token，可以持续进行试错、验证和纠错，从而大幅提高答对复杂问题的概率。这说明，模型并不是不会解决这些问题，而是需要恰当的手段来激发内在潜力。

但问题是，极致的"啰唆"意味着极致的不聪明和反应慢。长 CoT 本质上是一种比较低效的智能激发方式。而且，这种超长 CoT 还会让模型在完成任务时，耗费大量算力和时间。因为推理长度就摆在那里，单靠优化 Attention 或底层设施，很难带来质的飞跃。

至于（2），这其实是 AI 领域一个老问题——持续学习，狭义上就是学会新知识的同时不遗忘旧知识。这倒不是 Transformer 独有的"锅"。反而随着 Transformer 规模不断变大，人们发现它原生具备 few-shot 和 in-context 学习能力。

所以，在回答模型没学过的问题时，只要通过 RAG 构造出足够充分的上下文，模型就有不小的机会答对。但人类的欲望是无限的，而 Transformer 的注意力是有限的。随着解决问题所需的知识越来越多，RAG 返回的长上下文，往往信息密度很低，反而成了模型回答问题的瓶颈。这就好比开卷考试，但如果给你几百页从来没读过的书，还不划重点，你也很难找到答案。可见，高密度的记忆，才是真正高效的持续学习。

不过，对于 Transformer 来说，最高效的高密度记忆方式就是大规模预训练。如果想加入一个新领域的知识，最稳妥的做法是把核心旧数据和新数据混在一起，把模型续训甚至重训一遍。这成本太高，也违背了持续学习的初衷。

最后是（3），这更是一个困扰 AI 领域多年的组合泛化问题，狭义上就是通过已有的知识，自动学会没见过的知识。同样，这也不是 Transformer 独有的。而且，随着 Transformer 规模扩大，人们发现它确实能 zero-shot 完成一些从未见过的任务。

但问题是，目前 Transformer 能 zero-shot 解决的问题，更多是流程性的、有明确逻辑链条的。在一些强调直觉和联想的领域，比如科学发现，Transformer 能产生重大泛化的例子少之又少。

爱因斯坦提出"广义相对论"，不仅因为他同时熟悉"狭义相对论"和"黎曼几何"，更因为这两条知识在某个瞬间被同时激活，这就是我们常说的"灵感迸发"。经过大规模训练的 Transformer 架构，足以让两条知识同时存在于一个模型里。但在单次推理中，如何提高不同知识被同时激活的概率，才是增加组合泛化机会的关键。

"三宗罪"的共同根源

先给结论：上面提到的"三宗罪"，其实都可以归结到一点——分层的内存与推理。

按学术界的主流理解，Transformer 中的全连接层（FFN）负责记忆存储，注意力层（Attn）负责组合推理。不同层的 FFN 存储不同的记忆，同一个 Token 在不同层可以激活不同的知识；不同层的 Attn 完成不同形式的组合，同样的知识输入在不同层会产生不同的推理结果。

而且，由于层间存在递归特性，当前层的 Attn 主要处理上一层 FFN 中取出的知识。当然，因为层间有 Residual Connection，Attn 也可以处理一部分来自更早层的知识。

根据这种分层记忆和推理机制，我们可以发现：

（1）推理时，如果想完整回顾学过的所有知识，必须经过所有层。一旦错过关键知识，只能强行"挤"出一句废话来争取时间，然后重新回到第一层，再取一次知识；
（2）知识在不同层的存储管理很混乱，既有重叠，又有耦合。学习新知识时，模型无法判断该插到哪一层，只能暴力地同时更新所有知识；
（3）不同层之间的知识和推理，主要通过 Residual Connection 这条狭窄的通道连接。即使关键知识都被激活了，等它们"见面"时，靠前层的知识已经被稀释得差不多了。

可见，分层的内存和推理，既限制了知识读取的效率，也限制了知识存储的便利性，更限制了不同知识之间产生组合泛化的概率。如何构建更好的记忆和推理机制，可能是提升 AI 模型能力上限的关键。

一箭"三"雕的 Mobius

假如把不同层中记忆和推理的耦合关系拆解开，把每层的记忆全部取出，存成一个共享池，让每一层的 Attn 都能访问这些知识，那么上面三个问题就有机会一起解决：

（1）假设推理层数相同，共享记忆后的模型可以更多次地遍历这些知识，有更大机会取出关键知识，也就更容易输出有用的内容；
（2）所有知识扁平化存储后，新知识可以"一览无余"地看到自己该去哪个位置，不用担心牵一发而动全身；
（3）每次经过共享记忆库时，所有知识都有机会被同时激活，大大增加了不同知识直接"见面"的机会，从而带来更好的组合泛化。

架构示意图

正是基于这个思路，Mobius 架构应运而生。目前的实验已经证明，Mobius 对（1）有直接帮助：在端到端推理效率上，Mobius 比 Transformer 提升了近 4 倍，同时下游任务准确率并没有下降。

而且，Mobius 对（2）和（3）也展现出了间接帮助。比如，Mobius 只需要 60% 的数据，就能达到与 Transformer 相近的 MMLU 分数，数据压缩率更高；在一些知识组合泛化任务中，Mobius 相比 Transformer 也提升了 2 倍。

7B 从头预训练的 MMLU 得分

35B 续训练的下游任务得分

35B 续训练的推理速度

35B 续训练的 CoT 长度

Toy Model 的组合泛化验证

其实，从 Transformer 到 Mobius 的改进，与当年从 RNN 到 Transformer 的改进，有异曲同工之妙：

（A）从 RNN 到 Transformer，是把 Token 之间"Recurrent + Residual Connection 的组合"变成了 Full-Connection；
（B）从 Transformer 到 Mobius，是把知识之间"Recurrent + Residual Connection 的组合"变成了 Full-Connection。

上一次改造完成后，Transformer 大幅提升了基座模型的能力上限。这一次改造会不会产生类似的效果？我们拭目以待。

RNN、Transformer、Mobius 的对比

站在学术热点视角理解 Mobius

最近，关于 Residual Connection 和 Latent Reasoning 的改进很火。如果从这两个角度来想，你可能会发现，Mobius 原生支持 Backward Residual Connection 和 Dynamic Latent Reasoning。

无论是早期的 ResNet，还是最近出现的 Hyper-Connection、Attention-Residual，它们的共同功能都是"在前向传播时，把浅层的信息传到深层；在反向传播时则相反"。正如上面分析的，这种单向传播有个问题：一旦有些关键知识被错过，或者某些深层知识反而是浅层知识的读取前提，模型就只能输出一些"废话"，然后重新循环一次。

Mobius 的做法，是把不同层的知识存到一起；但从思想上看，它相当于引入了一种反向的 Residual Connection。这种残差连接能让信息传递更灵活，从而提高知识压缩率和推理效率。

相比逐 Token 的推理方式，Latent Reasoning 使用连续的 Embedding 连接两次循环，也起到了某种残差连接的作用。不过，传统的 Latent Reasoning 效率不高。

首先，Latent Reasoning 要求模型每次循环都经过所有层，不管某些层的知识是否已经没必要了。另外，多次迭代的 Latent Reasoning，通常只是为了迭代一个 Token 的表征。相比之下，Mobius 原生支持一种更动态的 Latent Reasoning 机制。

一方面，Mobius 在每一层都有机会访问所有知识，并且没有限制这一层必须激活哪些知识。所以，Mobius 每经过一层，不仅能看作一次 Latent Reasoning，还能进行更灵活的激活选择，减少冗余计算。

另一方面，Mobius 在每一层迭代的不只是一个 Token 的表征，因此，经过各层时，它具备更高的迭代效率和更连续可微的优化路径。

Mobius 的下一步：递归自进化、AI 辅助科学发现、世界模型与软硬协同设计

递归自进化、AI 辅助科学发现和世界模型，正成为最重要、也最亟待解决的前沿应用。

现阶段的递归自进化工作，有迭代数据的，有迭代参数的，也有迭代架构的……不过，无论哪种自进化方式，都需要构建一种高密度、高灵活性的记忆存储与拓展机制，来支持模型的可持续生长。

编码基本是流程性问题的完备解，但研究是流程、直觉与知识组合泛化的联合体。要实现科学发现，就必须让那些能发掘出"未知的已知"的关键知识，既同时存储在模型中，又能在某次推理中被同时激活。

语言模型建模的是离散的 Token，世界模型建模的是连续的物理世界。这个世界不仅色彩丰富，而且波段丰富、模态丰富。相比语言模型，世界模型对连续可微的理解和推理方式有着更迫切的需求。

不难发现，Mobius 知识与推理分离的设计，恰好呼应了递归自进化和科学发现的两个核心需求，在这两个方向上，它有机会成为比 Transformer 更具潜力的模型。Mobius 原生支持的 Latent Reasoning，则有机会为世界模型带来帮助。

不过，如果想在更大程度上帮助世界模型，对 Attn 机制的改变可能更重要，这些变化也会在未来版本的 Mobius 中体现出来。

现阶段的 Mobius 虽然带来了端到端推理速度的提升，但这部分提升主要源于 Mobius 更高效的推理路径，带来了更短的 CoT。在比较单个 Token 的推理效率时，Mobius 相比 Transformer 还有一点差距。

这个差距主要源于 Mobius 算法上知识与推理分离，天然带来了硬件上的存算分离特性。这种特性面临的访存墙、通信墙，是阻碍 Mobius 进一步提高推理效率的根本原因。

Mobius 提供了更高的能力上限，但如何设计更适合 Mobius 的存取策略、并行策略，甚至更合适的硬件架构，才是决定 Mobius 能否达到自身能力上限的关键。

[1] https://www.youtube.com/watch?v=2RJiaf0SY8s