挑战主流认知!蚂蚁、人大发布行业首个原生MoE扩散语言模型 将于近期开源
9月12日消息,9月11日,在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。
中国人民大学高瓴人工智能学院副教授李崇轩,蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人蓝振忠参与了发布仪式。
据介绍,这款新模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。
实现数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型 Qwen2.5-3B-Instruct,仅激活 1.4B 参数即可实现等效3B稠密模型的性能。
值得一提的是,据蓝振忠介绍,除模型权重外,蚂蚁还将同步开源针对 dLLM 并行特性深度优化的推理引擎。
相比 NVIDIA 最新 fast-dLLM,该引擎实现了显著加速。相关代码与技术报告将于近期在 GitHub 及 Hugging Face 社区同步发布。
据介绍,蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性;
效果超过此前发布稠密扩散语言模型LLaDA1.0/1.5和Dream-7B,比肩等效自回归模型,并保有数倍的推理速度优势。
模型将在近期完全开源,以推动全球AI社区在dLLM上的技术发展。
相关攻略

9月30日消息,今日凌晨,蚂蚁集团开源了自研的首个万亿参数大模型Ring-1T-preview。该模型是一款自然语言推理大模型,也是全球首个开源的万亿参数推理大模型。据百灵大模型最新信息,此次发布的

9月12日消息,9月11日,在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。中国人民大学高瓴人工智能学

“同种繁殖”,也就是个体只会繁殖出同一物种的后代,这是根深蒂固的生物学认知!然而,最近的一项研究刷新了人们对生物繁殖的刻板印象,欧洲一种常见的蚂蚁,其蚁后实际上可以产下完全不同物种的两种雄性后代。△

6 月 1 日消息,有用户发现,支付宝开始邀请部分用户抢先体验全新的“余额青春模式”,提供多种主题皮肤可选。从支付宝最新获悉,支付宝余额青春模式是对用户提供的全新余额产品模式,提供了更加炫彩、年轻
热门专题


热门推荐

荒原曙光怎么寻找安德烈?荒原曙光中不仅有着精彩的游戏玩法模式,还有着一些支线剧情等待着玩家们探索,本期小编带来的是荒原曙光寻找安德烈攻略,安德烈是众多任务中的其中一个角色,但是很多

Bitfinex App:随时随地掌控您的数字资产 对于数字货币交易者来说,拥有一个安全、便捷、功能强大的移动交易平台至关重要。Bitfinex 作

汽车10月15日消息,10月14日,阿维塔科技与京东零售在北京签署合作协议,双方将围绕汽车全渠道营销、售后服务、采购供应链及海外业务等领域展开全面合作,这是阿维塔完善用户生态、加速渠道布局的重要里程

10月15日,乐道汽车最新宣布,第10万台量产车型正式下线,本周末将达成累计交付10万台的重要节点。现场图片显示,此次下线的车辆为乐道L90车型。数据显示,该品牌自去年11月实现首月交付破万辆以来,

京东11 11已正式盛大开启!此次京东11 11打造八大惊喜日,以圈层化趣味内容为不同消费者打造专属购物氛围。八大惊喜日首日——电玩惊喜日将于10月16日率先登场,京东新锐代言人11 11惊喜大使刘