首页 游戏 软件 资讯 排行榜 专题
首页
AI
阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

热心网友
96
转载
2025-09-13

9 月 12 日消息,阿里云通义团队今日宣布推出其下一代基础模型架构 Qwen3-Next,并开源了基于该架构的 Qwen3-Next-80B-A3B 系列模型(Instruct 与 Thinking)。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

通义团队表示,Context Length Scaling 和 Total Parameter Scaling 是未来大模型发展的两大趋势,为了进一步提升模型在长上下文和大规模总参数下的训练和推理效率,他们设计了全新的 Qwen3-Next 的模型结构。

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

该结构相比 Qwen3 的 MoE 模型结构,进行了以下核心改进:混合注意力机制、高稀疏度 MoE 结构、一系列训练稳定友好的优化,以及提升推理效率的多 token 预测机制。

基于 Qwen3-Next 的模型结构,通义团队训练了 Qwen3-Next-80B-A3B-Base 模型,该模型拥有 800 亿参数(仅激活 30 亿参数)、3B 激活的超稀疏 MoE 架构(512 专家,路由 10 个 + 1 共享),结合 Hybrid Attention(Gated DeltaNet + Gated Attention)与多 Token 预测(MTP)。

从最新获悉,该 Base 模型实现了与 Qwen3-32B dense 模型相近甚至略好的性能,而它的训练成本仅为 Qwen3-32B 的十分之一不到,在 32k 以上的上下文下的推理吞吐则是 Qwen3-32B 的十倍以上,实现了极致的训练和推理性价比。

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

该模型原生支持 262K 上下文,最新称可外推至约 101 万 tokens。据介绍,Instruct 版在若干评测中接近 Qwen3-235B,Thinking 版在部分推理任务上超过 Gemini-2.5-Flash-Thinking。

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

据介绍,其突破点在于同时实现了大规模参数容量、低激活开销、长上下文处理与并行推理加速,在同类架构中具有一定代表性。

阿里云发布通义 Qwen3-Next 基础模型架构并开源 80B-A3B 系列:改进混合注意力机制、高稀疏度 MoE 结构

模型权重已在 Hugging Face 以 Apache-2.0 许可发布,并可通过 Transformers、SGLang、vLLM 等框架部署;第三方平台 OpenRouter 亦已上线。

来源:https://www.ithome.com/0/882/311.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

OpenClaw是什么?OpenClaw怎么样?OpenClaw 2026年最新部署方法整理
AI
OpenClaw是什么?OpenClaw怎么样?OpenClaw 2026年最新部署方法整理

OpenClaw是什么?2026年最新一键部署方法与实战指南 如果您正在寻找一款功能强大、完全开源的AI智能体框架,那么OpenClaw(曾用名Clawdbot或Moltbot)无疑是当前的优选。它凭借卓越的任务自动化能力与丰富的工具集成生态,已成为个人开发者与企业构建智能助理的首选平台。然而,对于

热心网友
04.02
OpenClaw 赋能 UI自动化
AI
OpenClaw 赋能 UI自动化

目录 一、OpenClaw到底是什么? 二、搭建OpenClaw需要准备什么环境? 三、如何开通阿里云百炼Coding Plan套餐? 1、访问Coding Plan购买页面 2、选择Lite基础套餐(7 9元 月) 3、获取并保管好API Key 四、购买一台阿里云服务器 五、快速部署OpenCl

热心网友
04.01
白嫖阿里云百炼大模型后OpenClaw如何添加更多模型
AI
白嫖阿里云百炼大模型后OpenClaw如何添加更多模型

角色与核心任务 我们共同面对一个极具价值的议题:如何将一段由人工智能生成的文字,打磨成一篇风格鲜明、具有人性温度的专业文稿?这绝不是机械的同义词替换,而是一场关于表达质感与思想深度的全面升级。 任务的目标清晰而坚定:文章的全部事实论据、核心观点、逻辑框架,乃至每一个章节标题和插图嵌入点,都必须保持原

热心网友
04.01
周红伟:随着OpenClaw的爆火,阿里云上线了OpenClaw云端极简部署及全套
AI
周红伟:随着OpenClaw的爆火,阿里云上线了OpenClaw云端极简部署及全套

近日,备受瞩目的开源个人AI助手正式完成第三次品牌升级,最终定名为OpenClaw。在此之前,项目曾历经Clawdbot与Moltbot两个发展阶段。伴随着OpenClaw的迅速走红,阿里云已同步上线云端极简部署方案及全套配套服务,用户无需进行繁琐的本地环境配置,即可快速拥有一个功能强大的专属AI智

热心网友
04.01
阿里集团战略投资高瓴,详解合作动向与深层考量
科技数码
阿里集团战略投资高瓴,详解合作动向与深层考量

【导读】易普集相继完成两轮亿级美元融资,阿里云、高瓴创投押注中国基金报记者 邱德坤3月31日,全球预制化模块数据中心基础设施服务商易普集宣布,已完成逾1亿美元B+轮融资,由Decarbonizat

热心网友
04.01

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

美国SEC主席Paul Atkins证实:加密货币安全港提案已送交白宫审查
web3.0
美国SEC主席Paul Atkins证实:加密货币安全港提案已送交白宫审查

加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这

热心网友
04.08
微策略Strategy报告:第一季录得144.6亿美元浮亏 再斥资约3.3亿美元买进4871枚比特币
web3.0
微策略Strategy报告:第一季录得144.6亿美元浮亏 再斥资约3.3亿美元买进4871枚比特币

微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿

热心网友
04.08
稳定币发行商Tether再扩Web3版图!Paolo Ardoino:正开发去中心化搜索引擎Hypersearch
web3.0
稳定币发行商Tether再扩Web3版图!Paolo Ardoino:正开发去中心化搜索引擎Hypersearch

稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D

热心网友
04.08
Base链首个原生DeFi借贷协议Seamless Protocol倒闭 将于2026年6月30日下线
web3.0
Base链首个原生DeFi借贷协议Seamless Protocol倒闭 将于2026年6月30日下线

基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一

热心网友
04.08
PAAL代币如何参与治理?社区投票能决定哪些事项?
web3.0
PAAL代币如何参与治理?社区投票能决定哪些事项?

PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票

热心网友
04.08