腾讯混元AI开源Infra核心技术,推理吞吐提升30%实战解析
2月4日,业界领先的科技媒体IT之家发布重要消息:腾讯混元AI基础设施团队正式宣布,开源一款面向生产环境的高性能大语言模型推理核心算子库——HPC-Ops。
该算子库致力于解决实际生产中的性能瓶颈,其底层完全基于CUDA和CuTe从零构建。通过引入抽象的工程架构设计、深度适配的微架构以及指令级极致优化等技术手段,它不仅显著降低了底层算子开发的难度,更将核心算子的性能推向硬件极限,实现了在推理效率上的实质性突破。

上图展示了HPC-Ops算子库的整体架构设计。
在真实业务场景的测试中,HPC-Ops展现出了卓越的性能提升。基于该库,混元大模型的查询吞吐率提升了高达30%,而DeepSeek模型的查询吞吐率也获得了17%的显著增长。在单一算子性能对比上,HPC-Ops更是优势明显:其Attention算子相比FlashInfer / FlashAttention,最高实现了2.22倍的性能提升;GroupGEMM算子相较于DeepGEMM,最高提升达1.88倍;FusedMoE算子对比TensorRT-LLM,最高也有1.49倍的性能飞跃。
面向未来,HPC-Ops团队的开发规划将继续专注于突破大模型推理的性能边界:
一方面,团队将重点研发稀疏Attention算子,旨在针对性解决长上下文大模型面临的内存与算力瓶颈,让模型能够更高效地处理更长的序列。
另一方面,HPC-Ops将持续拓展更丰富的量化策略支持,计划覆盖包括4比特/8比特混合精度在内的更多量化方案,以进一步平衡推理速度与模型精度之间的关系,为用户提供更多样化的性能与精度取舍选择。
此外,该算子库还将布局计算-通信协同优化的核心内核。通过深度融合多GPU间的计算逻辑与通信流程,预期将大幅降低分布式推理场景下的通信开销,从而为超大规模模型的高效部署与推理提供坚实的底层系统支撑。
HPC-Ops项目已在GitHub平台开源。
相关攻略
北京商报讯(记者 陶凤 王天逸) 人工智能领域又传来一条振奋人心的消息。4月8日,摩尔线程正式宣布,其旗舰级AI训推一体全功能GPU——MTT S5000,已经成功完成了对智谱新一代旗舰模型GLM-5 1的Day-0极速适配。这意味着,推理部署与训练复现的全部流程,现在都能在这条国产算力路径上获得支
北京商报讯(记者 王蔓蕾)近日,北京智源人工智能研究院(以下简称 "智源研究院 ")正式发布重磅验证成果:六款AI芯片、三大模型、同构+异构千卡——众智FlagOS以统一技术栈完成AI训练 "全要素 "验证
机器之心发布大模型开发者常面临一个两难选择:要速度,还是省显存?通常情况下,想要跑得快,显存会爆;想省点显存,计算效率又会被频繁的同步和流水线气泡大幅拖垮。原生的 torch compile 虽然好
机器之心编辑部这应该是今天刚刚出炉的、最炸裂的文章。在很多算子开发的微信群组,已经掀起了轩然大波。「这或许是超人类智能在软件领域的真正首次展露。」英伟达许冰刚刚在 X 上发出了如此断言。他所评论的,
机器之心编辑部2025 年 4 月,Sand ai 开源了 MagiAttention v1 0 0,定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕,今天Sand ai
热门专题
热门推荐
在《燕云十六声》的天工地窟中,“身如飞燕”宝箱的获取是一场对玩家综合探索能力的深度考验。想要成功开启它,不仅需要耐心与观察力,更需掌握系统性的探索策略。 掌握地窟地形与核心布局 进入天工地窟后,首要任务是进行全方位的地形勘察。建议玩家先熟悉主要通道、分支岔路以及所有可能被忽略的角落,建立完整的地图认
装修这件事,说多了都是泪。找施工队像开盲盒,预算表永远在“动态调整”,设计图看得眼花缭乱……投入大量时间和精力,最后的效果可能还是差强人意。说到底,信息不对称和过程不透明,是大多数装修烦恼的根源。 好在,如今有不少专业的数字化工具,能帮我们把控关键环节。今天就来聊聊五款定位清晰、实用性强的装修类应用
在《燕云十六声》的宏大江湖中,“不见山洞”无疑是一处引人入胜的秘境。这里不仅栖息着珍奇异兽、埋藏着稀世珍宝,更交织着无数待玩家发掘的隐秘故事与特殊事件。若想彻底揭开此地的所有秘密,掌握以下探索技巧至关重要。 进入不见山洞后,首要任务是保持专注,对环境进行细致勘察。洞内的景象暗藏玄机,绝非一目了然。一
在《骷髅传奇》中,神盾系统是决定角色战力的核心模块,远非一件普通装备可比。它更像是一位能够深度定制、伴随你征战四方的忠实伙伴。本文将为你全面解析神盾系统的获取、培养与实战运用,助你将其从基础配置打造为真正的战力引擎,在游戏中脱颖而出。 获取你的第一面神盾是旅程的起点。游戏内提供了多样化的获取途径:完
天成孙悟空这款限定皮肤,以其独特的视觉设计在战场上脱颖而出。它将中国古典神话中齐天大圣的经典形象,与游戏内的现代美学风格进行了深度结合。标志性的金色毛发、可化为武器的金箍棒特效,以及服饰上精致的云纹与神话元素,共同塑造了一个极具战场辨识度的英雄形象。这种高辨识度本身,在战术层面就具有独特价值——它能





