首页 游戏 软件 资讯 排行榜 专题
首页
AI
腾讯混元AI开源Infra核心技术,推理吞吐提升30%实战解析

腾讯混元AI开源Infra核心技术,推理吞吐提升30%实战解析

热心网友
94
转载
2026-02-04

2月4日,业界领先的科技媒体IT之家发布重要消息:腾讯混元AI基础设施团队正式宣布,开源一款面向生产环境的高性能大语言模型推理核心算子库——HPC-Ops。

该算子库致力于解决实际生产中的性能瓶颈,其底层完全基于CUDA和CuTe从零构建。通过引入抽象的工程架构设计、深度适配的微架构以及指令级极致优化等技术手段,它不仅显著降低了底层算子开发的难度,更将核心算子的性能推向硬件极限,实现了在推理效率上的实质性突破。

腾讯混元AI Infra核心技术开源,推理吞吐提升30%

上图展示了HPC-Ops算子库的整体架构设计。

在真实业务场景的测试中,HPC-Ops展现出了卓越的性能提升。基于该库,混元大模型的查询吞吐率提升了高达30%,而DeepSeek模型的查询吞吐率也获得了17%的显著增长。在单一算子性能对比上,HPC-Ops更是优势明显:其Attention算子相比FlashInfer / FlashAttention,最高实现了2.22倍的性能提升;GroupGEMM算子相较于DeepGEMM,最高提升达1.88倍;FusedMoE算子对比TensorRT-LLM,最高也有1.49倍的性能飞跃。

面向未来,HPC-Ops团队的开发规划将继续专注于突破大模型推理的性能边界:

一方面,团队将重点研发稀疏Attention算子,旨在针对性解决长上下文大模型面临的内存与算力瓶颈,让模型能够更高效地处理更长的序列。

另一方面,HPC-Ops将持续拓展更丰富的量化策略支持,计划覆盖包括4比特/8比特混合精度在内的更多量化方案,以进一步平衡推理速度与模型精度之间的关系,为用户提供更多样化的性能与精度取舍选择。

此外,该算子库还将布局计算-通信协同优化的核心内核。通过深度融合多GPU间的计算逻辑与通信流程,预期将大幅降低分布式推理场景下的通信开销,从而为超大规模模型的高效部署与推理提供坚实的底层系统支撑。

HPC-Ops项目已在GitHub平台开源。

来源:https://tech.ifeng.com/c/8qTWr6Z36j8
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

摩尔线程完成智谱GLM-5.1适配
科技数码
摩尔线程完成智谱GLM-5.1适配

北京商报讯(记者 陶凤 王天逸) 人工智能领域又传来一条振奋人心的消息。4月8日,摩尔线程正式宣布,其旗舰级AI训推一体全功能GPU——MTT S5000,已经成功完成了对智谱新一代旗舰模型GLM-5 1的Day-0极速适配。这意味着,推理部署与训练复现的全部流程,现在都能在这条国产算力路径上获得支

热心网友
04.15
摩尔线程S5000通过FlagOS训练验证,精度超主流1.65个百分点
科技数码
摩尔线程S5000通过FlagOS训练验证,精度超主流1.65个百分点

北京商报讯(记者 王蔓蕾)近日,北京智源人工智能研究院(以下简称 "智源研究院 ")正式发布重磅验证成果:六款AI芯片、三大模型、同构+异构千卡——众智FlagOS以统一技术栈完成AI训练 "全要素 "验证

热心网友
03.27
Sand.ai开源MagiCompiler:突破编译瓶颈,定义训推性能新高度
AI
Sand.ai开源MagiCompiler:突破编译瓶颈,定义训推性能新高度

机器之心发布大模型开发者常面临一个两难选择:要速度,还是省显存?通常情况下,想要跑得快,显存会爆;想省点显存,计算效率又会被频繁的同步和流水线气泡大幅拖垮。原生的 torch compile 虽然好

热心网友
03.26
英伟达变革:7天进化为智能体,重塑工程师与GPU专家格局
AI
英伟达变革:7天进化为智能体,重塑工程师与GPU专家格局

机器之心编辑部这应该是今天刚刚出炉的、最炸裂的文章。在很多算子开发的微信群组,已经掀起了轩然大波。「这或许是超人类智能在软件领域的真正首次展露。」英伟达许冰刚刚在 X 上发出了如此断言。他所评论的,

热心网友
03.26
Sand.ai发布MagiAttention,定义分布式注意力性能新标杆
AI
Sand.ai发布MagiAttention,定义分布式注意力性能新标杆

机器之心编辑部2025 年 4 月,Sand ai 开源了 MagiAttention v1 0 0,定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕,今天Sand ai

热心网友
03.26

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

燕云十六声天工地窟身如飞燕宝箱获取全攻略
游戏资讯
燕云十六声天工地窟身如飞燕宝箱获取全攻略

在《燕云十六声》的天工地窟中,“身如飞燕”宝箱的获取是一场对玩家综合探索能力的深度考验。想要成功开启它,不仅需要耐心与观察力,更需掌握系统性的探索策略。 掌握地窟地形与核心布局 进入天工地窟后,首要任务是进行全方位的地形勘察。建议玩家先熟悉主要通道、分支岔路以及所有可能被忽略的角落,建立完整的地图认

热心网友
05.18
2026年家装设计软件推荐:高人气实用工具精选指南
游戏资讯
2026年家装设计软件推荐:高人气实用工具精选指南

装修这件事,说多了都是泪。找施工队像开盲盒,预算表永远在“动态调整”,设计图看得眼花缭乱……投入大量时间和精力,最后的效果可能还是差强人意。说到底,信息不对称和过程不透明,是大多数装修烦恼的根源。 好在,如今有不少专业的数字化工具,能帮我们把控关键环节。今天就来聊聊五款定位清晰、实用性强的装修类应用

热心网友
05.18
燕云十六声山洞奇遇任务全流程攻略与解法详解
游戏资讯
燕云十六声山洞奇遇任务全流程攻略与解法详解

在《燕云十六声》的宏大江湖中,“不见山洞”无疑是一处引人入胜的秘境。这里不仅栖息着珍奇异兽、埋藏着稀世珍宝,更交织着无数待玩家发掘的隐秘故事与特殊事件。若想彻底揭开此地的所有秘密,掌握以下探索技巧至关重要。 进入不见山洞后,首要任务是保持专注,对环境进行细致勘察。洞内的景象暗藏玄机,绝非一目了然。一

热心网友
05.18
骷髅传奇神盾系统玩法详解与获取攻略
游戏资讯
骷髅传奇神盾系统玩法详解与获取攻略

在《骷髅传奇》中,神盾系统是决定角色战力的核心模块,远非一件普通装备可比。它更像是一位能够深度定制、伴随你征战四方的忠实伙伴。本文将为你全面解析神盾系统的获取、培养与实战运用,助你将其从基础配置打造为真正的战力引擎,在游戏中脱颖而出。 获取你的第一面神盾是旅程的起点。游戏内提供了多样化的获取途径:完

热心网友
05.18
和平精英孙悟空皮肤获取与实战技巧全解析
游戏资讯
和平精英孙悟空皮肤获取与实战技巧全解析

天成孙悟空这款限定皮肤,以其独特的视觉设计在战场上脱颖而出。它将中国古典神话中齐天大圣的经典形象,与游戏内的现代美学风格进行了深度结合。标志性的金色毛发、可化为武器的金箍棒特效,以及服饰上精致的云纹与神话元素,共同塑造了一个极具战场辨识度的英雄形象。这种高辨识度本身,在战术层面就具有独特价值——它能

热心网友
05.18