深入解读DeepSeek R1模型及其背后的知识蒸馏技术。近期这个系列模型引发了广泛关注，其技术路线确实值得系统梳理。
先给出两个核心判断：R1系列在推理能力上已达到业界领先水平，而真正值得深入挖掘的，是论文中着墨有限的知识蒸馏技术——尤其是在硬件资源受限的场景下，这一路径可能比预想的更具实用性。
DeepSeek-R1与DeepSeek-R1-Zero均来自深度求索，这两款模型在技术路线上走出了不同方向，适用场景也各有侧重。
DeepSeek-R1
先看R1。其训练方法包含三大亮点：
- 冷启动数据引入：该设计有效解决了纯RL模型常见的可读性差与语言混杂问题。通过引入数千条高质量冷启动数据进行初始微调，模型输出质量显著提升，多语言处理能力也迈上新台阶。
- 两阶段强化学习：并非仅执行一轮RL，而是分两轮逐步优化推理模式，同时兼顾人类偏好对齐。这使得模型在多任务场景中的通用性显著提升。
- 增强型监督微调：在RL接近收敛阶段，通过拒绝采样结合多领域数据集，进一步强化写作、问答、角色扮演等非纯推理能力。
实际表现如何？来看几项硬性指标：
- AIME2024达到79.8%，略高于OpenAI-o1-1217
- MATH-500实现97.3%，与OpenAI-o1-1217持平
- 代码竞赛任务展现专家级水准，工程类任务上甚至略有优势
更关键的是，R1支持模型蒸馏，且蒸馏效果超出预期。基于Qwen和Llama蒸馏出的32B与70B模型，多项能力直接对标OpenAI o1-mini。R1本身采用MIT License开源，支持商业使用与模型修改，为科研和企业智能化升级提供了高度灵活性。
DeepSeek-R1-Zero
R1-Zero选择了更为极致的路线——它是首个完全基于强化学习的推理模型，直接跳过监督微调阶段，在基础模型上直接运行RL。奖励机制主要分为两类：一类是结果导向奖励，例如数学题验证答案正确性，编程题检查测试用例通过率；另一类是格式奖励，要求模型将思考内容放入CoT标签内，避免思路与输出混淆。
效果如何？在AIME2024上，Pass@1分数从最初的15.6%一路攀升至71.0%，直接逼近OpenAI-o1-0912水平。更令人惊讶的是其自我进化能力——训练过程中，模型会自然涌现出反思、重新评估推理步骤等复杂行为，甚至会主动探索解决问题的替代方案。这种涌现现象，比单纯的分数提升更具研究价值。
简单梳理一下两者的定位：
- R1-Zero：更适合研究场景，用于验证纯RL训练的潜力，但大规模实际应用受限
- R1：适用于高精度推理需求，例如编程辅助、科学问题解答、教育工具等领域
知识蒸馏：更值得关注的细节
相比R1本身的性能，知识蒸馏技术更值得深入探讨。直接使用R1生成的long CoT数据进行SFT，效果对比如下：
- R1蒸馏的Qwen-32B性能大幅超越QwQ
- R1蒸馏的Qwen-14B同样超过QwQ-32B
- 基于Qwen-32b-base进行蒸馏，效果明显优于Qwen-32B + RL
- Qwen-32B的RL效果提升远不及DeepSeek-V3-base
由此引出两个关键结论：
- 小模型进行大规模RL，效果往往不如直接蒸馏
- 但要突破模型能力上限，最终仍需强基础模型配合大规模RL训练
从实践角度看，蒸馏路线更为务实——在一定的GPU/NPU限制内，使用CoT格式数据进行SFT，最终效果往往优于同等规模下基于RL训练的模型。R1官方论文对蒸馏细节着墨不多，这恰好成为许多人关注的盲区。核心问题其实只有两个：
- 基于R1生成的long CoT数据具体如何生成？结构是怎样的？
- 蒸馏方式究竟是什么？是否直接通过KL散度处理输出的logits？
查阅了大量资料，也在官方issue上看到许多类似提问，均未获得明确答案。不过有个issue下有人从浅层角度说明了一种数据生成思路——通过prompt来控制。此外还专门开设分支解释了prompt的逻辑，虽然只是大致框架，具体落地仍需验证，但至少指明了方向。
小结
与多数讨论DeepSeek的文章不同，本文更聚焦知识蒸馏这一维度。官方论文中这部分内容占比极小，仅描述了过程和效果，但实际可挖掘的空间非常大。尤其在显存等硬件受限的场景下，通过API调用R1生成数据，再结合自定义CoT数据训练小模型，完全有可能取得超出预期的效果。遗憾的是官方尚未公开这些细节，但从issue的活跃程度来看，关注这一问题的人不在少数。