DeepSeek系列模型在基础架构到推理效率方面实现了哪些突破？本教程将全面解析其技术演进与核心创新，梳理从DeepSeek LLM到DeepSeek-R1蒸馏模型的关键论文与突破性设计，帮助您深入理解大模型技术发展脉络。

1. DeepSeek LLM

原文：Scaling Open-Source Language Models with Longtermism（2024年1月）

作为DeepSeek系列的首个基础模型，DeepSeek LLM基于Transformer架构，针对推理效率与训练调度进行了专项优化：

• 引入分组查询注意力（GQA），有效降低推理时的显存与计算成本；
• 支持多步学习率调度器，显著提升大规模预训练效率；
• 在预训练与对齐阶段采用创新方法，为后续模型奠定了坚实基础。

核心解读：GQA（Grouped Query Attention）是标准多头注意力与多查询注意力之间的折中方案，通过将查询头分组并共享键值头，在保持模型质量的同时显著减小KV缓存大小，从而降低推理时的显存占用。

常见问题：

• 问：DeepSeek LLM为何引入多步学习率调度器？
  答：传统单步调度器在超长预训练中容易陷入局部最优或收敛缓慢。多步学习率调度器通过多个预热-衰减阶段，使模型在不同训练阶段获得更合适的步长，从而提升整体训练效率与最终性能。
• 问：GQA相比标准多头注意力，具体能节省多少推理成本？
  答：经验数据显示，采用GQA后KV缓存可减少约50%~70%（取决于分组数），同时保持模型困惑度几乎不变，在长序列生成场景中效果尤为明显。

2. DeepSeekMoE

原文：Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models（2024年1月）

DeepSeekMoE聚焦于混合专家（MoE）结构的高效利用，提出两大关键策略：

• 细粒度专家分割（Fine-Grained Expert Segmentation）：提升专家模块的可组合性与灵活性；
• 共享专家隔离（Shared Expert Isolation）：增强专家之间的独立性，避免特征干扰；

在不增加计算开销的前提下，实现了更灵活、高性能的专家调用方式，进一步优化了大模型推理效率。

核心解读：传统MoE中每个token通常只激活少数几个专家，但专家之间可能存在冗余。细粒度专家分割将每个专家切分为更小的子专家，增加了组合的灵活性；共享专家隔离则强制保留一组始终激活的共享专家，用于捕获通用知识，从而让其他专家更专注于领域特定任务。

常见问题：

• 问：共享专家隔离具体如何提升专家独立性？
  答：通过设置固定数量的共享专家（如总专家数的10%），这些专家对每个token都参与计算，负责基础语言能力。其余路由专家则专门处理特定模式，减少了不同专家之间因学习通用特征而产生的干扰，使路由专家更加专业化。
• 问：细粒度专家分割是否增加通信开销？
  答：虽然专家数量增多，但由于每个专家参数量变小，且总激活参数不变，实际通信量并未显著增加。设计上通过分组路由和优化调度，保持了与标准MoE接近的通信效率。

3. DeepSeek-V2

原文：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model（2024年5月）

DeepSeek-V2在DeepSeekMoE基础上进一步优化性能与成本：

• 创新引入多头潜在注意力（MLA），大幅减少推理过程中的KV缓存；
• 延续MoE架构优势，在推理效率显著提升的同时，降低整体训练成本。

核心解读：MLA（Multi-head Latent Attention）通过将键和值压缩到低维潜在空间中，使KV缓存大小降低约80%~90%，同时保持长上下文建模能力。这是DeepSeek-V2实现高吞吐、低延迟推理的关键技术之一。

常见问题：

• 问：MLA与GQA相比哪个更优？
  答：两者优化方向不同。GQA通过共享键值头减少缓存，MLA通过低维压缩减少缓存。在DeepSeek-V2中，MLA取得了比GQA更激进的缓存压缩比（约8~10倍），同时模型质量基本持平，是当前更先进的缓存优化方案。
• 问：DeepSeek-V2的训练成本具体降低了多少？
  答：据原论文报告，相比同等规模的稠密模型，DeepSeek-V2在训练时仅需约42.5%的FLOPs，并且通过MoE和MLA的联合优化，总训练成本降低了约50%以上。

4. DeepSeek-V3

原文：DeepSeek-V3 Technical Report（2024年12月）

DeepSeek-V3是目前该系列中规模最大、性能最强的模型：

• 总参数量达671B，每个token激活37B参数；
• 采用无辅助损失的负载均衡策略和多令牌预测（MTP）训练目标；
• 支持FP8混合精度训练，在保证性能的同时大幅降低训练资源消耗。

核心解读：“无辅助损失”指在MoE路由训练时，不再使用额外的负载均衡辅助损失函数（如重要的负载均衡损失），而是通过动态调整路由策略自动平衡专家利用率，简化训练流程并减少超参数调优。多令牌预测（MTP）让模型同时预测多个未来token，加速训练收敛并提升长文本生成质量。

常见问题：

• 问：FP8混合精度训练如何保证模型精度？
  答：DeepSeek-V3在关键计算节点（如注意力、FFN）使用FP8存储和计算，但在梯度更新和损失计算等环节保持FP16/FP32精度。通过精心设计的缩放因子和溢出保护机制，训练损失曲线与FP16训练几乎一致，而显存占用减少约30%~40%。
• 问：无辅助损失策略是否会导致专家负载严重不均衡？
  答：实验表明，即使不添加显式的辅助损失，通过适当的路由初始化以及动态调节机制（如异步专家负载调整），最终专家利用率偏差可以控制在5%以内，效果与传统辅助损失方法相当甚至更好。

5. DeepSeek-R1

原文：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（2025年1月）

DeepSeek-R1旨在进一步提升模型的推理能力，核心策略包括：

• 基于DeepSeek-V3-Base进行强化学习优化；
• 引入冷启动数据集和多阶段训练流程；
• 显著提升模型在复杂任务中的可读性与逻辑性。

核心解读：冷启动数据集指在强化学习开始前，先用少量高质量、带详细推理步骤的示例对模型进行监督微调，避免强化学习初期策略探索的盲目性。多阶段训练则依次进行推理能力强化、安全对齐、泛化能力增强等步骤，使得最终模型既强又安全。

常见问题：

• 问：DeepSeek-R1与DeepSeek-V3在推理能力上差距有多大？
  答：在数学推理、编程竞赛等基准测试中，DeepSeek-R1相比V3有10%~20%的准确率提升，特别是在需要多步推理和逻辑链的任务上，R1的答案可读性和正确率明显更高。
• 问：冷启动数据集的大小和来源是什么？
  答：冷启动数据集约包含数万条人工标注的、带有详细思维链的样本，覆盖数学、科学、逻辑推理等领域。这些数据由专家团队编写并校验，确保每一步推理合理且语言简洁。

6. DeepSeek-R1的蒸馏模型

原文：Distilling Reasoning Capabilities from DeepSeek-R1 to Smaller Models（2025年1月）

为降低大模型使用门槛，团队发布了基于DeepSeek-R1的蒸馏模型：

• 推理能力被成功迁移至更小模型，如Qwen、LLaMA等；
• 蒸馏后的模型在多个评测任务中超越同类开源模型，在保持轻量的同时具备强大推理性能。

核心解读：知识蒸馏的核心思想：用大模型（教师模型）生成的推理轨迹训练小模型（学生模型），学生模型不仅学习最终答案，还学习中间的推理步骤。DeepSeek-R1的蒸馏过程使用了大量教师模型生成的推理链数据，并配合逻辑一致性过滤，确保蒸馏质量。

常见问题：

• 问：蒸馏后的小模型参数量范围是多少？
  答：目前发布的蒸馏模型从1.5B到32B不等（例如DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-LLaMA-8B等），它们能在单GPU甚至CPU上运行，同时保留了R1 80%以上的推理性能。
• 问：蒸馏模型与直接训练小模型相比有什么优势？
  答：直接训练小规模模型很难在复杂推理任务上取得好效果。通过蒸馏，小模型可以直接继承大模型学到的复杂推理模式，避免了从零训练的高昂成本和数据要求，通常只需1%~10%的训练数据即可达到接近大模型的水平。

结语

DeepSeek系列不仅在大模型架构上持续创新，还在高效推理、专家分配、推理能力增强等方面提出了系统性的解决方案。从基础模型到混合专家，再到强化学习与知识蒸馏，展现了一个完整的大模型演进路径，为开源社区带来了极具参考价值的技术成果。希望本教程能帮你更清晰地理解DeepSeek的技术脉络，并激发你在实际应用中探索这些创新的兴趣。