华为新架构重构Transformer：任意模型推理性能大幅提升
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
是时候给Transformer的大动脉动刀子了。
因为即便它享有当下AI世界基石的地位，但自身问题也是非常明显：
一旦遇到复杂的数学题或者需要多步逻辑推理的时候，就开始一本正经地胡说八道了……
问题究竟出在了哪里？
答案就藏在Transformer的核心机制里——Attention。
传统Attention机制本质上像是一种配对比较：每个词只和另一个词直接发生关系，生成一个注意力权重。
这种架构虽然擅长捕捉长距离依赖，但在建模复杂、多跳、多点之间的逻辑关系时却显得力不从心了。
例如它能轻松理解“A认识B”，但如果要它理解“张三通过李四认识了王五”，即多跳、多点之间的复杂、间接关系，它的脑回路就显得不够深，推理能力的天花板瞬间触顶。
现在，这个天花板，被华为诺亚方舟实验室捅破了！
因为就在最近，团队祭出了一种全新架构，叫做Nexus，即高阶注意力机制（Higher-Order Attention Mechanism）。
它可以说是直接狙击了Attention机制的核心痛点，使用更高阶注意力，就能有效地建模多跳、多点之间的复杂关联。
并且从实验结果来看，效果也是有点惊艳在身上的。
只要换上Nexus这个新架构，模型在数学和科学等复杂推理任务上的能力，都能立马实现大幅飙升，而且还是参数零增的那种。
妙哉，着实妙哉。
接下来，就让我们一同来深入了解一下Nexus的精妙一刀。
高阶注意力机制砍出的精妙一刀
要理解高阶的意义，我们必须先回顾传统自注意力机制的根本缺陷。
标准的自注意力机制本质上是将输入序列X分别通过三个线性变换WQ，WK，WV生成Query（Q）、Key（K）、Value（V），再通过softmax计算注意力权重：
但这里就出现了一个关键的问题：Q和K都是静态的、与上下文无关的线性投影。
也就是说，某个token的Query向量仅由它自己决定，无法感知其他token的存在；这导致注意力权重只能反映两两之间的直接关系。
精妙第一刀：Q和K的革新
华为诺亚方舟实验室的第一个刀法，就精妙地砍在了这里：Nexus让Q和K的生成过程本身也变成一个注意力操作。
换句话说，token在计算最终的Q和K之前，会先进行一次“预推理”；这个过程，其实就是一个嵌套的自注意力机制。
Token首先通过这个内部循环，从全局上下文中聚合信息，形成一个更加精炼、更具上下文感知能力的表示，然后再用这个表示去计算最终的Q和K。
这就好比，在你问我答（Q和K计算Attention）之前，每个token都先在内部进行了深思熟虑，充分吸收了它在整个序列中的环境信息。
这样生成的Q和K，自然就摆脱了线性投影的僵硬，具备了捕捉复杂关系的动态性。
精妙第二刀：巧用递归框架
Nexus架构最精妙之处，还在于它的递归框架（Recursive Framework）。
这个内部注意力循环可以被递归地来嵌套。
如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。
在Nexus中，这种递归嵌套被巧妙地集成在一个单层结构中，形成了一个层次化的推理链。
论文进一步将上述过程递归化，定义第m阶注意力为：
其中，m=1就是标准注意力；m=2表示Q和K由一次内层注意力生成；m=3表示Q和K由二阶注意力生成，相当于“注意力的注意力的注意力”。
这种结构天然支持多跳推理链，就像人在解一道数学题时，先理解题干中的关键变量（第1层），再思考它们之间的公式关系（第2层），最后验证整体逻辑是否自洽（第3层）。
精妙第三刀：不增参数
复杂架构往往意味着更高的计算开销和更多的参数量，但Nexus通过精巧的设计，完全规避了这些问题——权重共享策略。
具体来说，无论是内层还是外层的注意力模块，都复用同一组投影权重WQ，WK，WV。
这意味着，尽管计算路径更复杂，但模型参数量和原始Transformer完全一致。
这种设计背后有一个关键假设：无论处于递归的哪一层，将token投影为Query或Key的语义变换方式是相似的。
团队通过实验证明，这一假设是成立的。
在Pythia-70M的消融实验中，使用权重共享的Nexus-QK-Shared版本，平均准确率仍比基线高出近1个百分点，而参数量毫无增加。
这就让Nexus成为了一种极其高效的表达密度提升器——用相同的参数，实现更强的推理能力。
只要换上Nexus，推理效果立竿见影
那么Nexus的效果到底如何？
论文在两个维度做了验证：从零训练的小模型，以及对已有大模型的架构改造。
小模型全面领先
研究团队在 Pythia 系列（70M 到 1B）上从头训练 Nexus，并在六个标准推理数据集上评估：ARC-C、ARC-E、HellaSwag、LogiQA、PiQA和SciQ。
结果非常一致：Nexus 在所有规模上都优于原始Transformer。
尤其在需要多步推理或科学常识的任务中提升显著。例如：
在SciQ（科学问答）上，70M模型准确率从61.5%提升至68.5%，提升7个百分点；在PiQA（物理常识推理）上，1B模型从62.5%提升至63.6%。
这说明Nexus特别擅长处理那些不能靠表面模式匹配解决的问题，是真的有在做推理。
大模型改装即用
面对规模更大的模型，Nexus还体现出了即插即用的能力。
团队将Qwen2.5的1.5B和7B版本的标准注意力层直接替换为Nexus结构，仅在SFT（监督微调）阶段进行训练，未改动预训练权重。
结果表明，在三个高难度数学推理基准上（MATH-500、AIME24、GPQA-Diamond），Nexus 均带来稳定提升：
Qwen2.5-1.5B在MATH-500上准确率从78.6% → 80.1%；Qwen2.5-7B在AIME24上从 45.2% → 47.5%。
尤其值得注意的是AIME24的提升，因为这类题目要求严格的多步逻辑推导，错误一步就全盘皆输。Nexus 的改进说明，它确实在内部构建了更连贯的推理链。
从这一层面来看，Nexus不仅是一个新训练范式，还是一套架构升级套件。你不用重新训练一个千亿模型，只需在微调阶段替换注意力层，就能解锁更强的推理能力。
推理能力可内生于架构
虽然Nexus目前聚焦于语言模型，但其思想具有普适性。
高阶关系建模在视觉、图神经网络、多模态任务中同样关键；例如，在视频理解中，“A看到B打了C” 就是一个典型的三元关系，传统Attention难以直接捕捉。
华为诺亚团队表示，下一步将探索Nexus在视觉Transformer和多模态大模型中的应用，并优化其计算效率。
Transformer 的智商天花板，或许从来不在参数量，而在其注意力机制的表达能力。华为诺亚的 Nexus，用一种优雅而高效的方式，为这一核心模块注入了高阶推理能力。
它不靠堆料，不靠提示工程，而是从架构底层重构了模型的思考方式。
因此，Nexus也提醒了我们：有时候，聪明的架构比规模的大小更重要。
声明：包含AI生成内容相关攻略
新智元报道编辑：Aeneas【新智元导读】大模型能否预测未来？UniPat AI构建了一套完整的预测智能基础设施，Echo，包含动态评测引擎、面向未来事件的训练范式和预测专用模型EchoZ-1 0。
IT之家 3 月 28 日消息，当地时间 3 月 27 日，据《福布斯》报道，美国宾夕法尼亚大学沃顿商学院最新研究显示，使用 AI 规划旅行、咨询医疗建议或撰写求职信，看似只是节省时间，实际上可能正
来源：人民日报客户端走红的“龙虾”（OpenClaw）打开了智能体的想象空间；巨量的词元（Token）反映着AI产业规模快速扩张……3月27日，在2026中关村论坛人工智能主题日，月之暗面创始人杨植
出品｜虎嗅科技组作者｜宋思杭编辑｜苗正卿头图｜中关村论坛现场上一次智谱AI与月之暗面同台，还是在1月10日。那天是智谱通过港交所聆讯后的第三天，一个周六，在中关村国际创新中心举行了一场名为AGI-N
AI正在走向“为了采取正确行动而思考”。编译整理｜莘歆来源 | 盒饭财经（ID：daxiongfan）头图及封面来源 | 网络及即梦制作在X（推特）上宣布离职后的22天，林俊旸发了一篇长文。3月2
热门专题
热门推荐
3月30日消息，今晚除了手机之外，vivo还发布了全新的旗舰平板——vivo Pad6 Pro。行业首发13 2英寸4K原彩屏，分辨率3840×2160，347PPI，支持1-144Hz LTPS自
WPS表格中提取括号内容有四种方法：一、单对英文小括号用FIND+MID；二、中英文括号通用需SUBSTITUTE预处理；三、多对括号取最后一对需REVERSESTRING反向查找
3月30日，南京新街口核心商圈，苏豪大厦一楼广场上机器人迎宾起舞，充满科技感。由苏豪资产运营集团与南京新街口金融商务区管理委员会（以下简称“新街口管委会”）共同打造的“数智苏豪”新街口OPC社区揭牌
电 动 知 家消 息，近日，据外媒报道，据福特汽车日前发布的一份文件，该公司首席执行 官吉姆·法利2025年的总薪酬大幅增长了11%，达到约2752万美元（约1 9亿元人民币），这是其自2020年末
白宫里，一台人形机器人缓步走入东厅，与美国“第一夫人”并肩亮相，动作仍带着明显的机械感；仅仅一天后，国会山上，这种“会走路的机器”却被划为潜在安全威胁，写进立法提案。这是上周美国上演的荒诞一幕。两党