首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
摩尔线程发布大模型训练仿真工具SimuMax v1.0:显存误差仅1%

摩尔线程发布大模型训练仿真工具SimuMax v1.0:显存误差仅1%

热心网友
38
转载
2025-09-14

9月11日消息,摩尔线程正式发布并开源大模型分布式训练仿真工具SimuMax v1.0,在显存和性能仿真精度上实现了突破性提升,同时引入多项关键功能,进一步增强了模型兼容性、灵活性。

SimuMax是一款专为大语言模型(LLM)分布式训练负载设计的仿真模拟工具,可为从单卡到万卡集群提供仿真支持。

它无需实际执行完整训练过程,即可高精度模拟训练中的显存使用和性能表现,帮助用户提前了解训练效率,优化计算效能。

基于静态分析模型,摩尔线程自研的SimuMax通过结合成本模型、内存模型和屋顶模型,实现对训练过程的精准仿真。

摩尔线程发布大模型训练仿真工具SimuMax v1.0:精度显著提升 显存误差仅1%

该工具支持多种主流分布式并行策略与优化技术,适用于以下多种应用场景:

1、并行策略:

数据并行(DP)、张量并行(TP)、序列并行(SP)、流水线并行(PP)、专家并行(EP)

2、优化技术:

ZeRO-1、完整重计算、选择性重计算、融合内核等。

3、适用对象:

希望寻找最优训练策略以提升效率的用户;

从事框架或大模型算法开发的工程师,用于优化与调试;

芯片制造商,用于性能预测与硬件设计辅助。

SimuMax 1.0最显著的更新在于其仿真精度的大幅提升,为用户提供更可靠的分析结果。

针对Dense和MoE(混合专家)模型,显存估计误差稳定控制在1%以内。

经测试,在多个主流GPU上,目前最优性能估计误差持续低于4%。

摩尔线程发布大模型训练仿真工具SimuMax v1.0:精度显著提升 显存误差仅1%

此外,SimuMax 1.0还引入了多项新特性,支持更广泛的模型结构和高效率训练需求:

MLA支持:

新增对MLA模型架构的支持;

流水线并行(PP)增强:

支持对首阶段和末阶段层的细粒度控制,优化模型分片策略;

MoE灵活性提升:

在混合专家(MoE)模型中支持自定义Dense层,为模型设计提供了更大的灵活性。

Megatron兼容:

提供简化的模型迁移流程,可轻松转换和分析基于Megatron框架的模型,提升与现有生态的互操作性。

重计算策略优化:

实现更细粒度的选择性重计算,支持更精准的内存和计算资源权衡。

全面的效率分析:

新增对不同张量形状与内存布局下计算效率与利用率的评估功能。

来源:https://news.mydrivers.com/1/1074/1074024.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

摩尔线程新品发布会前瞻 家庭AI产品亮点解析
AI
摩尔线程新品发布会前瞻 家庭AI产品亮点解析

摩尔线程正式宣布,其2026产品发布会定于5月18日19:00举行。本次发布会的最大看点可能并非传统显卡,而是预热视频中暗示的面向家庭场景的AI硬件产品。据悉,新品可能采用NAS或迷你主机的形态,旨在成为家庭本地的AI计算与数据中枢。这一动向表明,摩尔线程正依托其GPU与AI计算技术,探索消费级智能

热心网友
05.17
摩尔线程与光轮智能合作推出高精度仿真数据合成方案
科技数码
摩尔线程与光轮智能合作推出高精度仿真数据合成方案

近日,摩尔线程与光轮智能正式达成深度战略合作。根据双方公布的合作框架,未来将深度融合摩尔线程的全功能GPU产品矩阵及其夸娥(KUAE)智算集群解决方案,与光轮智能自主研发的“求解—测量—生成”一体化仿真平台,共同打造一套高置信度、可规模化的仿真数据合成系统。该合作的核心目标,在于通过国产自主算力与前

热心网友
05.17
摩尔线程携手光轮智能达成战略合作共同发展
科技数码
摩尔线程携手光轮智能达成战略合作共同发展

5月11日晚间,摩尔线程与光轮智能共同宣布达成战略合作,这一举措标志着国产算力与前沿人工智能技术的深度融合迈出了关键一步。双方将携手打造一套高置信度的仿真数据合成解决方案,旨在突破AI训练中的数据瓶颈。 此次合作的核心,是基于摩尔线程的全功能GPU与夸娥(KUAE)智算集群,深度融合光轮智能自主研发

热心网友
05.17
摩尔线程携手光轮智能达成战略合作共促AI发展
AI
摩尔线程携手光轮智能达成战略合作共促AI发展

近日,国产全功能GPU领域的领军企业摩尔线程,与全球领先的物理AI数据与仿真基础设施企业光轮智能,正式宣布达成战略合作。双方将依托摩尔线程的全功能GPU与夸娥(KUAE)智算集群,结合光轮智能“求解—测量—生成”三位一体的全栈自研仿真平台,共同打造高置信度的仿真数据合成方案。这标志着国产算力与仿真算

热心网友
05.15
中国移动与摩尔线程合作 全功能GPU加速智能经济
业界动态
中国移动与摩尔线程合作 全功能GPU加速智能经济

2026年五月,苏州迎来了一场聚焦未来计算产业的重量级盛会——移动云大会。本届大会的核心议题紧密围绕算网融合、人工智能、通证经济应用与产业实践展开,汇聚了政府、产业界、学术界、研究机构及最终用户的广泛关注。作为国产GPU领域的领军企业,摩尔线程以中国移动核心生态合作伙伴的身份,携其覆盖云、边、端的全

热心网友
05.14

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

警惕人工智能依赖 避免大脑能力退化
业界动态
警惕人工智能依赖 避免大脑能力退化

科学家警告,过度依赖人工智能可能削弱创造力与批判性思维,类似GPS损害方向感。研究显示,AI替代需“认知摩擦”的思考过程,或导致认知能力衰退。专家建议应有意识使用AI,使其成为思维“扩音器”而非替代品,例如先自主判断、加深信息处理、主动创意构思,以保护并锻炼大脑独特能力。

热心网友
05.18
谷歌阿里微软云端AI决战 云电脑迎来行业新机遇
业界动态
谷歌阿里微软云端AI决战 云电脑迎来行业新机遇

谷歌推出云端AI驱动的安卓电脑,重塑PC形态。当前AIPC多依赖云端算力,本地硬件价值受质疑。云电脑与AI结合成为新方向,对网络延迟更宽容。谷歌联合硬件伙伴推进该方案,阿里等云服务商也已布局。传统芯片、终端厂商及微软、苹果正以不同策略应对AIPC趋势。未来竞争将聚焦云端能力、系统重构与生态协。

热心网友
05.18
企业数字化转型全流程解析:从战略规划到AI智能体落地
业界动态
企业数字化转型全流程解析:从战略规划到AI智能体落地

结论先行:在2026年的商业环境中,企业数字化转型方法的核心不再是单纯的IT系统堆砌,而是“业务流程自动化”与“AI智能化”的深度融合。成功的数字化转型方法论应遵循“小步快跑、场景切入、数据驱动”的原则,利用AI Agent(智能体)技术打通烟囱式系统,实现平滑升级,而非推倒重来。 一、 拒绝假大空

热心网友
05.18
产品设计软件推荐与选择指南
业界动态
产品设计软件推荐与选择指南

面对琳琅满目的产品设计软件,许多设计师和团队都在追问:究竟哪一款才是最好的选择?然而,真正的答案并非一个简单的软件名称,而是一套基于您具体工作流程的适配逻辑。本文将为您系统解析,如何跳出“最好”的迷思,找到最“对”的那款工具,从而最大化团队效率与产出价值。 核心决策逻辑 首先,我们必须确立一个核心原

热心网友
05.18
跨境电商售后难题的智能客服解决方案
业界动态
跨境电商售后难题的智能客服解决方案

跨境电商的售后环节,本质上是客户信任的二次考验。当问题出现时,初次交易建立的信任已然动摇,若处理不当,将直接导致客户永久流失。因此,构建一套真正高效的售后体系,必须实现三大核心目标:响应速度需如本地支付般即时;处理规则需预先设定,实现小额纠纷的自动化化解;最终,所有流程数据必须形成闭环,驱动供应链的

热心网友
05.18