都说苹果在AI领域慢半拍，但最新研究直接在Transformer架构上动了真格，令人意想不到。（狗头）

这款“Mamba+工具”组合，在处理多步骤任务时表现尤为出色！

根据最新发表的论文《To Infinity and Beyond》，研究团队发现：

在面对需要长期记忆与多轮交互的智能体任务时，基于状态空间模型（SSM）架构的模型，比如Mamba，在效率和泛化能力方面展现出超越Transformer的潜力。

Mamba的研究团队进一步指出：

究竟如何实现超越Transformer？我们来具体看看。

Transformer面临的长序列处理瓶颈

首先谈谈Transformer的“富贵病”。

Transformer确实很聪明，它依赖自注意力机制能够同时关注输入序列中所有词语之间的关联，例如在阅读文章时可以快速建立首尾关键信息的联系。

但实现这种能力需要较高的计算成本——随着输入序列长度的增加，其计算量会呈平方级增长。

举例来说，处理1000个词时需要计算1000×1000=100万次词对关系；

如果要处理包含上万个词的长文档，计算量更是达到亿级，这对普通GPU来说是不小的负担。

这种高计算成本还会引发连锁反应：

首先是响应延迟显著增加。在长序列任务中，模型的反应速度会大幅下降；

其次是在智能体任务中表现不佳。这类任务通常需要动态决策与迭代优化的能力，而Transformer在每一步操作中都需要重新计算全局注意力，导致整体效率偏低，难以满足实时性和灵活性的要求。

“Mamba+工具”实现更高效率

相比之下，Mamba采用了更轻量化的设计思路。

作为状态空间模型（SSM）的一种，Mamba不依赖全局注意力机制，而是通过持续更新的内部状态来理解输入信息。

有点像我们平时记流水账，只关注最近的进展，不回头翻旧账。

这种机制带来了三项显著优势：

计算量随序列长度呈线性增长

例如处理1000个词仅需对应数量级的计算，远低于Transformer的消耗；

支持流式处理

能够边接收输入边进行计算，无需等待完整序列加载完毕；

内存占用保持稳定

不会随着序列长度增加而显著上升，在效率方面表现突出。

不过，Mamba也有其明显局限：内部状态的存储容量有限，在处理超长序列任务时，早期信息容易被后续输入覆盖，导致模型对前文关键信息的保留能力较弱。

针对这一问题，苹果团队提出了新的解决方案——通过引入外部工具来扩展模型的信息处理能力。

比如做数学题时使用草稿纸记录数字、进位；调试代码时用文件查看工具反复阅读代码、用运行工具检测报错……

这些工具可以在任务执行过程中提供辅助，相当于为模型提供了可动态调用的外部存储和交互接口。

这样做的结果是，配备工具后的Mamba性能得到显著提升：

在多位数加法任务中，配备草稿纸工具的Mamba展现出良好的泛化能力，经过5位数加法训练后，能够稳定处理1000位数的计算，准确率接近100%，而Transformer在处理20位数时已出现明显误差；

在代码调试任务中，让Mamba模拟交互式调试流程（查看文件、局部修改、执行验证的迭代方式），面对复杂度高于训练集的代码库，其正确率显著高于Transformer；

在逻辑推理及汉诺塔等需要分步规划的任务中，结合工具的Mamba能够应对更复杂的问题场景，Transformer则要么算得慢，要么直接卡住……

可以看出，Transformer聪明但稍慢，做事讲究从头到尾一步到位，遇上需要反复调整的智能体任务时，就显得又贵又笨重；

Mamba反应快但记性差，装上外置工具弥补记忆短板后，效率大幅提升。

这么看来，“Mamba+工具”的组合很可能在智能体场景下抢走Transformer的风头。

论文地址

https://arxiv.org/pdf/2510.14826

参考链接

https://x.com/_albertgu/status/1980287154883358864