游乐游手机版
首页/AI热点日报/热点详情

蚂蚁集团周俊谈万亿参数模型:从追求数量转向深耕密度

类型:热点整理2026-07-11
万亿参数模型运行15分钟的算力成本相当于一辆特斯拉。蚂蚁集团提出从堆叠Token数量转向提升Token密度,采用线性注意力架构将长上下文计算复杂度降至近似线性,结合Kpop算法等优化,Token用量下降4倍且模型能力不降,千亿参数模型在多项Agent评测中实现越级表现。

在AICon大会上,蚂蚁集团副总裁周俊的发言引发广泛关注。他算了一笔令人印象深刻的账:一个典型的万亿参数大模型,仅运行15分钟所消耗的算力成本,就相当于一辆特斯拉汽车的市场售价。这一直观对比揭示了前沿AI模型惊人的“烧钱”速度——当模型尚未真正落地,训练与推理的能耗便已吞噬大量预算,“提效降本”不再是锦上添花的优化课题,而是智能体时代必须直面的生存挑战。

面对这一困境,周俊团队提出了一项根本性的思路转变:与其持续堆叠Token数量,不如将重心转向提升“Token密度”。换言之,就是让每个Token产生更大价值,而非依赖数量取胜。这一新范式的技术基础是一条融合创新的线性注意力架构——他们将7份Lightning Attention与1份MLA组合。该方案的核心优势在于:处理256K长度的上下文时,计算复杂度从传统方案那种指数级陡峭攀升的曲线被压缩为近似线性增长。这一突破意味着算力不再大量浪费在无意义的计算膨胀上,而是更集约地用于真实的推理与决策环节。

仅有架构还不够,团队还集成了Kpop算法。该算法能精准区分工具调用指令与自然语言语义Token之间的差异——听起来简单,但在混合任务场景中价值极高。配合思维链剪枝、自蒸馏等一系列协同优化手段,实测结果相当亮眼:在不牺牲模型能力的前提下,整体Token输出量下降了约4倍。更值得关注的是,在LongBench、BFCL等权威Agent专项评测中,蚂蚁的千亿参数模型已能超越不少参数规模更大的竞品。而在实际交互场景中,小型化模型的flash吞吐率提升2.4倍,完成五轮多步对话所需的算力投入更是降低了超过10倍。

这不是靠堆料硬扛,而是通过架构层面的重构,让每一份算力都用在刀刃上。从行业视角来看,周俊的分享不仅为大模型工程化落地提供了一套可复用的方法论,更重要的是为下一代智能体的轻量化、高响应、低成本演进指明了方向。当算力瓶颈日益成为制约AI深度渗透各行各业的那道真实门槛,蚂蚁体系内推动的这一系列效率革命,正在悄然点亮行业前行的一盏新灯。

以下关键信息值得反复咀嚼:万亿模型15分钟运行成本≈一辆特斯拉,效率跃升已然迫在眉睫;范式从“更多Token”向“更高Token密度”迁移,混合注意力架构让长上下文的成本变得线性可控;Kpop算法加上多项优化技术的结果,是Token用量削减4倍、能力不降反升,千亿模型在多个Agent基准测试中达成了越级表现。

来源:https://www.php.cn/faq/2805513.html?uid=1246273

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。