在追求大模型推理效率的竞争中，注意力机制的优化已成为重要突破口。近日，腾讯混元团队公布了一项关键技术成果，其提出的Stem稀疏注意力算法成功被机器学习顶级会议ICML-26收录。该技术致力于解决长上下文场景下模型推理延迟过高的问题，通过算法与算子的协同优化，实现了性能的大幅提升。

该方案的核心在于算法与硬件层面的双重革新。在算法层面，Stem稀疏注意力算法创新性地引入了Token位置衰减（TPD）和输出感知度量（OAM）两项核心技术。据团队透露，该方法能够在仅使用25%的计算预算下，实现接近无损的模型精度，这为高效推理提供了坚实的理论基础。

全栈加速方案赋能硬件级性能提升

仅有高效的算法远远不够，如何将算法优势转化为实际的硬件加速效果是另一项关键挑战。为此，腾讯混元团队同步开发了HPC（高性能计算）开源的Stem+BSA算子。这套算子专为Stem算法量身优化，能够将稀疏计算带来的理论收益，高效地转化为实际的硬件执行能力。

最终的测试结果充分验证了全栈方案的有效性。在长达128K的上下文长度场景下，该方案将模型生成的首字延迟降低了3.7倍。首字延迟是衡量大模型交互响应速度的核心指标，这一显著降低意味着用户等待模型首次响应的时间大幅缩短，对提升聊天机器人、代码生成等实时应用的用户体验至关重要。这一进展也体现了行业在优化大模型推理效率、降低部署成本方面的持续深入探索。