在AI圈，推理能力正成为衡量大模型实力的硬指标。而最近发布的DeepSeek-R1系列模型，可以说是把这条标准线直接拉高了一大截。毫不夸张地讲，这可能是目前市面上关于推理模型最值得细读的解读。
这次推出的并非单一模型，而是两个版本：DeepSeek-R1-Zero和DeepSeek-R1。它们在强化学习（RL）与传统监督微调（SFT）之间找到了新的平衡点，展现出了相当惊艳的推理能力。更值得关注的是，DeepSeek-R1-Zero摒弃了传统的SFT步骤，直接通过大规模强化学习进行训练。这种“暴力直接”的方式让模型在推理任务上表现抢眼，但也引来了麻烦：语言混乱、无休止的重复等问题接踵而至。
于是，DeepSeek-R1在优化中引入了冷启动数据，巧妙化解了这些难题，最终在数学、代码和推理任务上，与OpenAI-o1站在了同一水平线。此外，整个模型系列还全面开源，特别是基于Llama和Qwen蒸馏而来的六个紧凑型模型。其中，DeepSeek-R1-Distill-Qwen-32B在多个基准测试中甚至超越了OpenAI-o1-mini，直接刷新了最先进成果。
.01 概述
随着AI技术战线的持续拉长，推理能力已成为衡量大语言模型（LLMs）成败的关键指标。DeepSeek-R1系列正是在这样的时代背景下诞生的，它的出现，就是冲着挑战推理能力极限去的。
这一系列包含两大版本：DeepSeek-R1-Zero & DeepSeek-R1。前者在训练中大胆突破，完全跳过监督微调（SFT），直接依靠强化学习（RL）进行训练。这种方式让它能自主探索复杂的推理链条（Cot），并展现出诸如自我验证、反思、生成长推理链条等惊人才华，堪称一次里程碑式的验证——第一次纯粹用RL验证了大规模语言模型的推理能力，完全不需要任何SFT环节。
不过，创新背后总藏着代价。这种直接RL训练也暴露了诸如语言混合、重复产出等问题。DeepSeek-R1的诞生正是在此基础上进行纠偏，通过引入冷启动数据，重新优化了训练管线，使得模型推理能力不仅更强，而且更贴合人类交互习惯。
.02 模型介绍：碘伏传统的训练方式
后训练：RL直接驱动
传统玩法里，大模型通常依赖SFT做基础训练，再用微调补救推理能力。但DeepSeek团队的做法截然不同：他们选择直接对基础模型进行大规模强化学习训练，彻底跳过SFT的铺垫环节。模型相当于被放养到一个“自学”环境中，独立自我探索复杂推理链条。结果出乎意料：它不仅掌握了推理，还发展出自我验证、反思等高阶行为。
这才是真正的难点所在——纯RL验证大规模语言模型推理能力，这在以往研究中几乎是空白。这次突破无疑为后续研究铺了一条新路。
DeepSeek-R1的双阶段强化学习
DeepSeek-R1的开发则是一条更复杂的管线。他们设计了一个双阶段强化学习流程，结合两阶段SFT，最终目标是用更精准的方式挖掘推理模式，同时对齐人类偏好。这条路不仅让模型更强，或许还能启发AI行业探索下一代推理模型的新思路。
.03 蒸馏：小模型也能扛大旗
一个有趣的发现是：将大模型中的推理模式蒸馏到小模型中，效果甚至比直接在小模型上用RL训练更好。具体操作是——用DeepSeek-R1生成的推理数据去微调小型模型，随后竟让参数较少的小模型在多项推理测试中表现出色。这意味着，即便你手里的算力有限，也未必不能拥有强劲的推理引擎。
更令开发者和研究员兴奋的是，DeepSeek团队一口气开源了6款蒸馏模型：包括1.5B、7B、8B、14B、32B、70B版本，分别基于Qwen2.5和Llama3系列进行蒸馏。对小模型爱好者来说，这简直是一笔底气十足的“家底”。
.04 模型信息
DeepSeek团队同时放出了详尽下载链接。
DeepSeek-R1 系列模型
| 模型名称 | 总参数量 | 激活参数量 | 上下文长度 | 下载链接 |
|---|---|---|---|---|
| DeepSeek-R1-Zero | 671B | 37B | 128K | HuggingFace |
| DeepSeek-R1 | 671B | 37B | 128K | HuggingFace |
DeepSeek-R1 蒸馏模型
| 模型名称 | 基础模型 | 下载链接 |
|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | HuggingFace |
| DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | HuggingFace |
| DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | HuggingFace |
| DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | HuggingFace |
| DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | HuggingFace |
| DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | HuggingFace |
.05 模型评估结果
在测试环节，所有DeepSeek模型最大生成长度设置到32,768 tokens，以此保证长输入和复杂答案的生成能力。采样方面，温度设为0.6，top-p值为0.95，并生成64个响应以估算pass@1指标。
结果一目了然：DeepSeek-R1在数学、代码和推理任务上，与OpenAI-o1能打的平起平坐。而DeepSeek-R1-Distill小型模型系列，在多个测试中整体压过OpenAI-o1-mini，令市场哗然。
.06 结语
从DeepSeek-R1-Zero到DeepSeek-R1，再到蒸馏模型家族，这一系列作品不仅证明了强化学习（RL）直接驱动推理能力提升的可行性，更借助蒸馏技术，让参数更少的模型也能承载高效推理能力。这对AI研究是一次实实在在的贡献，也为未来模型开发提供了全新思路。
随着开源小型化模型的普及，研究者和开发者将有机会更快地构建适配各类场景的推理系统。而伴随着推理技术的持续演进，DeepSeek-R1系列注定将在AI浪潮中扮演引领者的角色。这并非终点，只是起点。