游乐游手机版
首页/科技数码/文章详情

Omni-Infer v0.8.0发布 超大规模MoE模型推理加速技术性能升级

时间：2026-06-28 11:29
近日，Omni-Infer 迎来了 0 8 0 版本的正式上线。本次更新的核心亮点是针对超大规模 MoE 架构模型提供了高效的推理优化能力——对于正在处理庞杂 MoE 模型的团队而言，这无疑是一项值得关注的重大进展。 v0 8 0 版本概览 核心优化亮点 ✓ 新增对 Pangu72B 大模型的强化学

近日，Omni-Infer 迎来了 0.8.0 版本的正式上线。本次更新的核心亮点是针对超大规模 MoE 架构模型提供了高效的推理优化能力——对于正在处理庞杂 MoE 模型的团队而言，这无疑是一项值得关注的重大进展。

v0.8.0 版本概览

核心优化亮点

✓ 新增对 Pangu72B 大模型的强化学习（RL）训练支持

已验证支持模型清单

模型名称 硬件平台 量化格式 部署架构
openPangu-Ultra-MoE-718B A3 INT8 PD分离部署
openPangu-Ultra-MoE-718B A2 INT8 PD分离部署
openPangu-72B A3 INT8 PD分离部署
openPangu-38B A3 INT8 混合部署
openPangu-38B A2 INT8 混合部署
openPangu-7B A3 BF16 混合部署
openPangu-7B A2 BF16 混合部署
openPangu-7BVL A3 BF16 混合部署
DeepSeek-R1 A3 INT8 PD分离部署
DeepSeek-R1 A3 W4A8C16 PD分离部署
DeepSeek-R1 A3 BF16 PD分离部署
DeepSeek-R1 A2 INT8 PD分离部署
DeepSeek-V3.1 A3 INT8 PD分离部署
DeepSeek-V3.2 A3 INT8 PD分离部署
DeepSeek-OCR A2 BF16 混合部署
Qwen2.5-7B A3 INT8 混合部署（TP≥1, DP=1）
Qwen2.5-7B A2 INT8 混合部署（TP≥1, DP=1）
QwQ A3 BF16 PD分离部署
QwQ A2 BF16 PD分离部署
Qwen3-235B A3 INT8 PD分离部署
Qwen3-235B A2 BF16 PD分离部署
Qwen3-32B A3 BF16 PD分离部署
Qwen3-32B A3 INT8 PD分离部署
Qwen3-30B A3 BF16 PD分离部署
Kimi-K2 A3 W4A8C16 PD分离部署
Kimi-K2 Thinking A3 W4A8C16 PD分离部署
Longcat-flash A3 BF16 PD分离部署
Ling-1T A3 BF16 PD分离部署
GPT-OSS120B A3 INT8 PD分离部署
GPT-OSS120B A2 INT8 PD分离部署
GPT-OSS20B A3 INT8 PD分离部署
GPT-OSS20B A2 INT8 PD分离部署

安装资源获取

硬件类型 CPU架构 Docker镜像地址 Tar包文件名
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm omni_infer-a3-arm:v0.8.0_vllm
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm omni_infer-a3-x86:v0.8.0_vllm
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm omni_infer-a2-arm:v0.8.0_vllm
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm omni_infer-a2-x86:v0.8.0_vllm

源码及安装包下载：立即获取 v0.8.0 版本

来源：https://www.php.cn/faq/2010204.html?uid=1246273
其他
上一篇全国铁路前5月发送旅客达19.69亿人次 下一篇索尼LYTIA L910搭载LOFIC技术 三星新机曝光
本站内容用于信息整理与展示，如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容，方便继续浏览更多相关内容。

年国家能源局充换电服务业用电量增速48.8% 三峡枢纽北斗高精度监测系统试运行，实现毫米级感知 游客临门一脚放弃下单的犹豫因素 A股PCB概念股集体下跌 矩子科技东材科技跌超5% 顾二叔手作酸奶26城同启 开业销售额破1100万 十款纯驼乳粉客观测评，日常补充蛋白质优选榜单 理湃光晶获B+++轮融资加速建百万套AR光学组件基地 融一平台二进制指令转译开启第三次解耦与生态融合新时代

同类最新

继续查看同栏目最近更新的文章。

更多
年国家能源局充换电服务业用电量增速48.8%
科技数码 · 2026-06-29

年国家能源局充换电服务业用电量增速48.8%

2025年全社会用电量达103682亿千瓦时，同比增长5 0%。充换电服务业用电增速高达48 8%，信息传输与软件服务业增速17 0%。第三产业和居民用电对增长贡献率合计占一半。中国成为全球首个年度用电量超10 4万亿千瓦时的国家。

 追风者 GLACIER ONE 360 S25 液冷散热器新品上市 联体风扇售价429元
科技数码 · 2026-06-29

追风者 GLACIER ONE 360 S25 液冷散热器新品上市 联体风扇售价429元

追风者冰川360S25液冷散热器售价429元，三联一体风扇便捷安装，冷头小体积纯铜底座噪音18dB，风扇转速300-2000RPM、风量75CFM、静压2 96mmAq，五年质保漏液包赔。

 三星Galaxy Watch8用户反馈谷歌后台组件异常
科技数码 · 2026-06-29

三星Galaxy Watch8用户反馈谷歌后台组件异常

三星GalaxyWatch8、Watch5Pro、Watch6及Watch7用户反映，GooglePlayServices后台耗电异常，电量占比最高达99 97%，远超正常水平，严重影响续航。目前故障原因不明，谷歌尚未发布官方声明。

 罗永浩批苹果iOS 27创新不足 盼新CEO改进
科技数码 · 2026-06-29

罗永浩批苹果iOS 27创新不足 盼新CEO改进

罗永浩批评苹果iOS27创新不足，称仅有双iPhone同号、音量分离等数十项细节改进，认为库克时代缺乏突破性创新，股市虽好但消费者只能被迫接受挤牙膏式升级。

 年国产车出口710万辆，两家车企销量破百万
科技数码 · 2026-06-29

年国产车出口710万辆，两家车企销量破百万

2025年国产汽车出口总量达710万辆，同比增长21%。奇瑞以134万辆居首，比亚迪105万辆次之，上汽乘用车出口占比60%最高，长城出口51万辆。吉利、长安等主流品牌同步增长，小鹏、零跑等新兴品牌海外拓展加速。