华为盘古Ultra-MoE-718B V1.1开源:模型权重与技术细节公开下载
10月16日最新消息显示,今年9月,华为盘古718B大模型凭借其不堆数据、专注深度思考的训练策略,在SuperCLUE榜单上一路跃升至开源模型第三位,成为业界广泛关注的焦点。
华为方面近期正式宣布,openPangu-Ultra-MoE-718B-V1.1 模型已在GitCode平台全面开源,相关模型权重与技术细节悉数公开。
硬件部署要求为:Atlas 800T A2(64GB,≥32卡),支持裸机或Docker两种部署方式。
该模型的特色功能之一是支持通过 /no_think 标记在快慢思考模式间自由切换,并能高效支持多轮工具调用。
据华为官方介绍,openPangu-Ultra-MoE-718B-V1.1 是基于昇腾NPU训练的大规模混合专家(MoE)语言模型,总参数量达到718B,激活参数量为39B。该架构创新性地融合了“快思考”与“慢思考”两种能力模式,从而实现更高效、更智能的推理与决策过程。
在9月最新发布的SuperCLUE榜单中,openPangu-718B 稳居开源模型总榜第三位,在数学推理、科学推理、代码生成六大核心维度均取得了优异成绩。特别值得关注的是,其在幻觉控制项上得分高达81.28,甚至超越了部分闭源头部模型,展现出其在输出可靠性方面的技术优势。
与上一版本 openPangu-Ultra-MoE-718B-V1.0 相比,V1.1在Agent工具调用能力方面有了显著提升,幻觉率进一步降低,模型的整体表现与稳定性也得到了全面提升。
华为此次采用了业界领先的Multi-head Latent Attention(MLA)、Multi-Token Prediction (MTP) 以及高稀疏比混合专家架构,并在此基础上引入多项创新设计,以实现更优的性能与训练效率:
Depth-Scaled Sandwich-Norm 与 TinyInit:通过改进层归一化结构和参数初始化方式,显著提升了模型训练的稳定性与收敛速度。
基于EP-Group的负载均衡策略:优化负载均衡损失函数,有效增强专家路由的分布平衡性,提升专家专业化与协同能力。
本次开源的V1.1版本在多个关键维度上实现了显著提升:
综合能力优化:在MMLU-Pro、GPQA等高难度测评中,快慢思考双模式成绩全面超越V1.0;
幻觉率大幅降低:通过“批判内化”机制,幻觉率从V1.0的10.11%降至3.85%(快思考模式);
工具调用能力增强:升级ToolACE框架,在Tau-Bench等多工具协同任务中表现亮眼;
推荐Int8量化版本:显存占用减少约一半,吞吐提升达20%,精度损失不足1%。
附最新地址:
模型地址:
https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1
Int8量化版本:
https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8
相关攻略

10月18日消息,乘联会秘书长崔东树最新撰文称,中国新能源汽车均价跌破16万元!最新数据显示,我国新能源汽车9月均价较去年同期的17 2万元下降超8%。这一价格门槛的降低,让新能源汽车进一步走进大众

10月19日消息,Gamers Nexus通过特殊渠道拿到了一块华为的Atlas 300I DUO AI推理加速卡,特殊的双芯设计,搭载了两颗GPU,同时单插槽设计,身材轻盈。该卡没有公开售价,外媒

10 月 16 日,华为终端最新释放了一则华为 nova 系列新品玩机秀预热海报,海报中我们可以看到 nova 14 活力版的视觉图以及相关的直播亮相信息,也就是说,全新 nova 14 活力版将在

10月18日消息,根据多方爆料,华为Mate 80系列将在11月发布,时间已经越来越近。博主数码闲聊站刚刚爆料了华为Mate 80 Pro系列备案信息,已经揭晓新机颜色。AL00——黑色、白色、金色

10 月 16 日消息,今年 9 月,华为盘古 718B 大模型凭借不堆数据、专注思考的训练哲学,在 SuperCLUE 榜单中一举冲至开源模型第三,成为业界焦点。华为最新昨日宣布,openPan
热门专题


热门推荐

水母在海洋中优雅地游动,其独特的外形和灵动的姿态吸引着水母鱼。许多水母以浮游生物为食,它们在水中滤食时,会将周围的小型生物一同捕获。水母鱼敏锐地察觉到这一点,追随水母游动,就能在水

10月18日,Meta近期为社交平台推出一项基于人工智能的图片编辑新功能。启用该功能后,系统将自动扫描用户设备中的照片与视频内容,并上传至云端服务器,利用AI技术生成风格多样的拼贴作品与创意影像编辑

在人类对宇宙的认知中,木星常被误解为一颗由氢气和氦气构成的“气球行星”,似乎只要有小行星撞击,就会像针刺气球般轻易穿透。然而,现实中的木星远非如此脆弱。大多数小行星在撞击木星时,甚至连其浓厚的大气层

10月17日,有消息显示,Osmo Mobile 8手机稳定器的实物图与包装信息已对外曝光。从分享的图片可见,新品在外观设计上未延续前代OM7及OM SE所采用的米色或灰色配色方案,而是改为全黑风格

在使用驱动精灵时,有时我们可能需要设置代理来访问网络,以满足特定的网络环境需求。下面就详细介绍一下驱动精灵设置代理的方法。首先,打开驱动精灵软件。进入主界面后,找到软件的设置选项。