DeepSeek-V3：671B参数的MoE语言模型，激活37B，训练成本仅557.6万美元
先来看几个关键数据：DeepSeek-V3的总参数量高达671B，采用了MoE（混合专家）架构，每个token仅激活其中的37B参数。这意味着它在保持强大性能的同时，推理效率非常出色。为了实现高效推理与成本可控的训练，DeepSeek-V3延续了DeepSeek-V2中已验证的两项核心架构——多头潜在注意力（MLA）和DeepSeekMoE。不仅如此，它还引入了两项关键创新：一是无辅助损失的负载均衡策略，二是多token预测训练目标。这两项创新在实际效果中表现亮眼。
训练流程
整个训练过程分为三个阶段，逻辑清晰且极其稳定——从头到尾没有出现任何不可恢复的损失峰值，也无需回滚操作。
第一阶段：预训练。我们使用了14.8万亿个高质量且多样化的token进行训练。需注意，这14.8万亿token并非随意收集，而是经过严格筛选与配比的优质数据。整个预训练在不到两个月内完成，成本仅为266.4万GPU小时。
第二阶段：上下文扩展。分两步进行：首先将最大上下文长度扩展至32K，随后进一步扩展至128K。此阶段花费了11.9万GPU小时。
第三阶段：后训练。包括监督微调（SFT）和强化学习（RL），目标是让模型对齐人类偏好并释放更多潜力。特别值得一提的是，我们从DeepSeek-R1系列模型中蒸馏了推理能力，同时精细地保持了准确性与生成长度之间的平衡。后训练阶段仅用了5000 GPU小时（加上上下文扩展共约10万GPU小时）。
训练成本
综合评估显示，DeepSeek-V3的性能已超越所有开源模型，甚至可以与顶尖的闭源模型一较高下。但最令人惊叹的是它的训练成本：完整训练仅需278.8万H800 GPU小时。具体来看：
- 预训练阶段：使用2048块H800 GPU的集群，每训练一万亿token只需18万GPU小时（约3.7天）。整个预训练在不到2个月内完成，成本为266.4万GPU小时。
- 上下文扩展：11.9万GPU小时。
- 后训练：5000 GPU小时。
算一笔账：如果H800 GPU的租用价格按每GPU小时2美元计算，DeepSeek-V3的完整训练成本仅为557.6万美元。这个数字仅涵盖正式训练，不包括前期架构探索、算法验证或数据消融实验的成本。
模型架构与系统优化
为什么能如此节省成本？答案在于算法、框架和硬件的协同优化。
架构层面，DeepSeek-V3仍然以MLA为核心实现高效推理，以DeepSeekMoE实现成本可控的训练。这两种架构在DeepSeek-V2中已得到验证。但这次还加入了两项新策略：
- 无辅助损失的负载均衡策略：传统方法为了确保专家负载均衡，会引入辅助损失函数，但往往对模型性能产生负面影响。DeepSeek-V3首创了无辅助损失的方法，在实现负载均衡的同时将性能损失降至最低。
- 多token预测训练目标：训练时让模型同时预测多个未来token，这一策略在多个评估基准上带来了整体性能提升。
系统优化层面，我们做了三项关键工作：
- FP8混合精度训练：这是首次在超大规模模型上验证FP8训练的可行性。通过FP8计算和存储，提升了训练速度，降低了GPU内存占用。
- DualPipe流水线并行算法：设计了一种全新的流水线并行方案，减少了流水线气泡（bubble），并通过计算-通信重叠隐藏了大部分通信开销。只要计算-通信比例保持恒定，模型规模进一步扩展时，跨节点细粒度专家通信的开销几乎可以忽略。
- 高效跨节点全互联通信内核：充分利用InfiniBand和NVLink带宽，进一步压榨硬件性能。同时通过精细的内存优化，避免了对昂贵的张量并行（tensor parallelism）的依赖。
核心贡献
架构：创新的负载均衡策略和训练目标
- 在DeepSeek-V2的高效架构基础上，首创无辅助损失的负载均衡策略，将负载均衡导致的性能下降降至最低。
- 提出多token预测目标，不仅提升基准性能，还可用于推理解码中的推测解码，加速推理过程。
预训练：迈向极致的训练效率
- 首次在超大规模模型上验证FP8混合精度训练的可行性和有效性。
- 通过算法、框架和硬件的协同设计，克服了跨节点MoE训练中的通信瓶颈，实现接近完全的计算-通信重叠。这显著提升了训练效率、降低了成本，且不影响模型扩展。
- 仅以266.4万H800 GPU小时的经济成本，在14.8万亿token上完成预训练，产出了目前最强大的开源基础模型。后训练阶段仅需10万GPU小时。
后训练：来自DeepSeek-R1的知识蒸馏
- 创新性地将长链式思维（CoT）模型的推理能力蒸馏到标准LLM（DeepSeek-V3）中。巧妙地将R1的验证和反思模式融入V3，显著提升推理性能，同时保持对输出风格和长度的控制。
表1直观对比了DeepSeek-V3与其他模型的训练成本与性能——毫不夸张地说，这可能是目前性价比最高的开源大语言模型。