张祥雨：Transformer架构如何助力AI智能体发展
“Transformer架构已经无法承载我们走向下一步，尤其是在迈向Agent时代的关键阶段。”12月18日，90后AI领域顶尖学者、阶跃星辰首席科学家张翔雨公开了他最新的研究观点，直言当前AI领域的核心架构Transformer正面临技术瓶颈。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
Transformer架构是当前人工智能，特别是生成式AI与大语言模型的基石。它于2017年由谷歌团队在论文《Attention Is All You Need》中提出，其核心创新在于“自注意力机制”，有效突破了传统循环神经网络（RNN）在处理长序列时的局限。可以说，没有Transformer，就没有今天ChatGPT、Gemini等标志性模型的出现。
张翔雨是深度学习领域的知名学者，以在残差网络（ResNet）方面的开创性工作而闻名。此前他与合作者完成的论文《Deep Residual Learning for Image Recognition》曾获CVPR最佳论文奖，引用次数已超20万次，是计算机视觉与模式识别领域被引用最多的论文之一。
张翔雨首先承认，当前大模型行业看似进入了一个“稳态”时期，各类创新的模型架构最终都收敛到以Transformer为核心的各种变体上。针对长上下文处理效率的瓶颈，业界通过如线性注意力、稀疏注意力等技术手段进行“小修小补”，但这并未改变Transformer本质的建模能力局限。
“但是我们很快发现了一个巨大的副作用。”张翔雨表示，真正的难点在于模型的智商会随着文本长度快速增加而急剧下降。“今天的Transformer，无论宣称支持多少Token，基本上超过8千个就不可用了。”
这个问题指向了Transformer的一个根本缺陷，即其单向信息流的设计。无论输入序列多长，模型的有效“思考深度”只能从浅层向深层单向传递，缺乏从深层向浅层的反馈与压缩机制，这与人类大脑“无限流”的记忆机制存在本质差异。
“我今天讲过的每一句话，都是历史上我见过的所有信息的函数。”张翔雨用比喻阐明，“这个函数能用层数固定的网络来表示吗？肯定不可以。”他说人类大脑能够对从小到大的海量经历进行动态压缩和选择性回溯，而当前Transformer结构无法实现这种类似“无限流”世界的智能处理需求，这制约了AI向具备高度自主性、能长期持续学习的通用Agent演进。
事实上，当前已经开始有研究者探讨Transformer是否存在根本局限性。就在今年10月，Transformer架构的共同创造者Llion Jones在TED AI大会上表示自己已经受够了Transformer，并开始寻找下一次重大突破。他直言尽管现在AI领域投入了前所未有资金与人才，但研究者却变得越来越狭隘，他们更倾向于利用现有架构而非探索新路径，“错过下一个重大突破的风险正在加剧。”
挑战已经出现。Mamba、TTT等新型架构正吸引越来越多目光。英伟达、Meta、腾讯等巨头已在探索将Mamba与Transformer融合；中国科学院自动化所与沐曦合作研发的类脑脉冲大模型“瞬时1.0”，则展示了构建非Transformer架构生态的可行性。
张翔雨透露，阶跃星辰团队已经在探索新的架构方向，一些小规模实验已取得积极结论。他认为，未来的架构是基于非线性递归网络的全新设计。但他也坦言，这种架构革新将给系统效率和可并行度带来巨大挑战，需要软硬件协同设计才能落地。
相关攻略
这项由香港科技大学、京东探索研究院和香港大学联合开展的研究发表于2026年3月，论文编号为arXiv:2603 17051v1。有兴趣深入了解的读者可以通过该编号在学术数据库中查询完整论文。制作一段
机器之心编辑部2025 年 4 月，Sand ai 开源了 MagiAttention v1 0 0，定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕，今天Sand ai
3月25日，鸿蒙智行最新发布了问界M6第一期答网友问，透露了问界M5系列的后续计划。鸿蒙智行最新表示，问界M6上市后，问界M5将持续在问界家族产品序列中稳定运营。该产品已收获了超15万用户青睐，将
编辑｜杜伟过去两天，全球爆火的 Agent 私人助手 OpenClaw，接连更新了两个版本，让人直呼「开发团队是不睡觉了吗？」之所以如此爆火，很大程度上归功于 OpenClaw 的长期记忆能力，它能
来源：科技日报科技日报记者 张梦然国际顶级学术期刊《自然》近期正式发表了一项汇聚人工智能（AI）与生命科学顶尖智慧的里程碑式成果。由美国Arc研究所、英伟达公司，联合斯坦福大学、加州大学伯克利分校及
热门专题
热门推荐
《全面战争：中世纪3》：经典延续，如何平衡怀旧与创新？ 近期，《全面战争：中世纪3》的项目负责人帕维尔·沃伊斯坦然指出，要打造一款真正优秀的续作，绝不能仅仅依赖对前作模式的简单复刻。这一观点引人深思——尽管《中世纪2：全面战争》至今仍在策略游戏爱好者心中占据着经典地位，但开发团队此次显然决心跳出“照
雷鸟X3 Pro斩获AWE艾普兰创新大奖，开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会（AWE）上，前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新，以其里程碑式的表现，定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战
借力AWE2026“一展双区”，MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会（AWE），于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式，主会场位于上海新国际博览中心，分会场则设于上海东方枢纽国际商务合作区，两大展区高效联动
冰结师技能全解析 踏入2026年，《地下城与勇士》中的冰结师职业，其技能体系已构建得更为成熟与强大。无论是在副本中高效清理海量怪物，还是在决斗场与高手玩家周旋，这个职业都能凭借其独特的冰霜艺术掌控战局。刷图时，酷寒的范围法术可瞬间清屏；而在PVP竞技中，一套将冻结控制与瞬间爆发完美衔接的连招，往往让
iPhone 18 Pro系列模具不变，屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案，预计将被推迟至后续迭代机型中正式应用。 近期，关于iPhone 18 Pro系列的技术传闻持续引发行业关注，尤其在显示与解锁设计领域传言甚多。多方消