摩尔线程SimuMax v1.0发布：大模型训练显存误差低至1%

9月11日，摩尔线程正式推出开源的大模型分布式训练仿真工具SimuMax v1.0版本。这款创新工具在显存占用和性能仿真精度方面取得重大突破，同时加入多项核心功能，显著提升了工具对不同模型的适配能力。

作为专为大语言模型（LLM）分布式训练场景打造的仿真工具，SimuMax可支持从单张显卡到超大规模集群的仿真需求。

不同于实际训练过程，该工具通过高保真模拟训练时的显存消耗和性能表现，让开发者能够预先评估训练效率，有效规划计算资源。

SimuMax创新性地采用静态分析模型，结合摩尔线程自主研发的成本模型、内存模型和屋顶模型，实现了训练过程的全方位精准模拟。

该工具具备对主流分布式训练方案和优化技术的全面支持，适用于三大典型使用场景：

1、并行训练策略：

支持数据并行（DP）、张量并行（TP）、序列并行（SP）、流水线并行（PP）及专家并行（EP）

2、性能优化技术：

涵盖ZeRO-1、完整/选择性重计算、内核融合等高级优化手段

3、典型用户群体：

需要寻找最优训练策略的研究人员、从事框架开发的技术工程师、进行芯片研发的硬件厂商

SimuMax 1.0版本最突出的改进在于仿真精度的显著提高，使分析结果更具参考价值。

无论是常规Dense模型还是MoE（混合专家）架构，其显存估算误差均能控制在1%以内。

性能测试显示，在当前主流GPU平台上，该工具的性能预测误差始终保持在4%以下。

新版工具还引入多项创新功能，以支持更丰富的模型结构和高效训练需求：

MLA架构支持：新增对MLA模型的全方位适配

流水线并行优化：强化对模型首尾层的细粒度调度，提升分片效率

MoE可定制化：混合专家模型支持自定义Dense层结构

Megatron适配：简化模型迁移流程，实现与Megatron框架的无缝衔接

智能重计算：提供更细致的重计算策略选项，优化资源调配

效率评估系统：新增对不同张量形态和内存布局的运算效率分析功能