首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
挑战主流认知!蚂蚁、人大发布行业首个原生MoE扩散语言模型 将于近期开源

挑战主流认知!蚂蚁、人大发布行业首个原生MoE扩散语言模型 将于近期开源

热心网友
70
转载
2025-09-13

9月12日消息,9月11日,在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

挑战主流认知!蚂蚁、人大发布行业首个原生MoE扩散语言模型 将于近期开源

中国人民大学高瓴人工智能学院副教授李崇轩,蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人蓝振忠参与了发布仪式。

据介绍,这款新模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。

实现数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型 Qwen2.5-3B-Instruct,仅激活 1.4B 参数即可实现等效3B稠密模型的性能。

值得一提的是,据蓝振忠介绍,除模型权重外,蚂蚁还将同步开源针对 dLLM 并行特性深度优化的推理引擎。

相比 NVIDIA 最新 fast-dLLM,该引擎实现了显著加速。相关代码与技术报告将于近期在 GitHub 及 Hugging Face 社区同步发布。

据介绍,蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性;

效果超过此前发布稠密扩散语言模型LLaDA1.0/1.5和Dream-7B,比肩等效自回归模型,并保有数倍的推理速度优势。

模型将在近期完全开源,以推动全球AI社区在dLLM上的技术发展。

来源:https://news.mydrivers.com/1/1074/1074145.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

比亚迪车身硬扛导弹仅轻伤;马云与阿里蚂蚁谈AI;OpenAI携手美军惹争议,ChatGPT卸载量飙升295%
科技数码
比亚迪车身硬扛导弹仅轻伤;马云与阿里蚂蚁谈AI;OpenAI携手美军惹争议,ChatGPT卸载量飙升295%

要闻提示1 OpenAI 与美国防部合作惹众怒:ChatGPT 卸载量大增 295%,一星评价暴涨 775%2 比亚迪车在以色列扛住了一枚导弹!车身完好没起火,乘客仅轻伤3 马云与阿里、蚂蚁核心管理

热心网友
03.04
2025年国内AI应用排行:豆包、DeepSeek与元宝位居前三
AI
2025年国内AI应用排行:豆包、DeepSeek与元宝位居前三

3月3日,市场调研机构Quest Mobile发布《2025年AI应用层发展核心报告》。数据显示,截止到2025年12月,移动端AI应用月活跃用户规模达到7 22亿。具体到12月的应用榜单上看,豆

热心网友
03.03
毛毛虫敲击节拍与蚂蚁“交流”的奥秘
科技数码
毛毛虫敲击节拍与蚂蚁“交流”的奥秘

来源:科技日报科技日报记者 刘霞一条胖乎乎的毛毛虫,居然能通过敲击节拍的方式,和蚂蚁“聊天”?甚至还说服蚂蚁把自己带回巢穴、当宝贝一样供养起来?这可不是童话故事,而是科学家刚刚发现的有趣真相。有些蝴

热心网友
03.03
年轻人春节当“云孝子”:阿福红包成新趋势
科技数码
年轻人春节当“云孝子”:阿福红包成新趋势

大年廿六,广东某县城的乡村。老赵拨了个视频电话给女儿小赵,他一上来就和女儿抱怨:“我不知道是胃还是肝,又疼起来了。”今年小赵没回老家,和妈妈留在深圳过年。老赵一个人待在乡下。老赵平时爱喝酒,胃不舒服

热心网友
02.27
蚂蚁跃出:春节AI战场的3大核心战略解析
科技数码
蚂蚁跃出:春节AI战场的3大核心战略解析

一个巨头们掀起“AI大战”的特殊春节档正在过去,各家AI应用的花式推广玩法、最新一代大模型轮番登场,在这一场关乎“下一个入口”的交锋炮火过后,一个重要的问题是,2026年的春节留下了什么?2月23日

热心网友
02.23

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

《全面战争:中世纪3》:只怀旧做不成好游戏经典需要现代化
游戏资讯
《全面战争:中世纪3》:只怀旧做不成好游戏经典需要现代化

《全面战争:中世纪3》:经典延续,如何平衡怀旧与创新? 近期,《全面战争:中世纪3》的项目负责人帕维尔·沃伊斯坦然指出,要打造一款真正优秀的续作,绝不能仅仅依赖对前作模式的简单复刻。这一观点引人深思——尽管《中世纪2:全面战争》至今仍在策略游戏爱好者心中占据着经典地位,但开发团队此次显然决心跳出“照

热心网友
04.02
雷鸟创新AWE斩获艾普兰创新奖 蝙蝠侠限定款国内首秀
科技数码
雷鸟创新AWE斩获艾普兰创新奖 蝙蝠侠限定款国内首秀

雷鸟X3 Pro斩获AWE艾普兰创新大奖,开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会(AWE)上,前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新,以其里程碑式的表现,定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战

热心网友
04.02
AWE探展MOVA:31款创新产品集中亮相 重新定义智慧生活新体验
科技数码
AWE探展MOVA:31款创新产品集中亮相 重新定义智慧生活新体验

借力AWE2026“一展双区”,MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会(AWE),于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式,主会场位于上海新国际博览中心,分会场则设于上海东方枢纽国际商务合作区,两大展区高效联动

热心网友
04.02
DNF2026冰结技能数据是怎样的-2026DNF冰结技能数据详情
游戏攻略
DNF2026冰结技能数据是怎样的-2026DNF冰结技能数据详情

冰结师技能全解析 踏入2026年,《地下城与勇士》中的冰结师职业,其技能体系已构建得更为成熟与强大。无论是在副本中高效清理海量怪物,还是在决斗场与高手玩家周旋,这个职业都能凭借其独特的冰霜艺术掌控战局。刷图时,酷寒的范围法术可瞬间清屏;而在PVP竞技中,一套将冻结控制与瞬间爆发完美衔接的连招,往往让

热心网友
04.02
iPhone 18 Pro设计挤牙膏了 继续用前代模具
科技数码
iPhone 18 Pro设计挤牙膏了 继续用前代模具

iPhone 18 Pro系列模具不变,屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案,预计将被推迟至后续迭代机型中正式应用。 近期,关于iPhone 18 Pro系列的技术传闻持续引发行业关注,尤其在显示与解锁设计领域传言甚多。多方消

热心网友
04.02