2024年，LLM领域最显著的变化就是“专业化”的加速。这种趋势在2025年只会愈演愈烈，而推理模型（reasoning models）的崛起无疑是核心看点之一。下面就来深入拆解：推理模型到底是什么？它能帮我们解决哪些问题？以及在实际开发中，有哪些主流方法可以打造或增强这类模型。

需要说明的是，文中的“reasoning models”统一翻译为“推理模型”。这类模型的核心价值，就是让LLM在面对解谜、高等数学、编程挑战这些复杂问题时，能通过多步推理给出更靠谱的答案。

1. 如何定义“推理模型”？

“推理”可以理解为回答问题的过程，但这些问题通常需要复杂的、多步骤的生成和中间步骤。简单的事实性问答，比如“法国的首都是哪里？”，几乎不需要推理。但像“如果火车以每小时60英里的速度行驶3小时，能走多远？”这类问题，就需要先理清距离、速度和时间之间的关系，再得出结论。

现在的LLM基本都能完成初级推理。而所谓“推理模型”，特指那些擅长更复杂推理任务的LLM，比如解决谜题和数学证明。同时，大多数LLM的响应过程都会包含一个“思考”（thought/thinking）过程。

2. 什么时候该用推理模型？

推理模型天生就是为复杂任务设计的——破解谜题、高级数学、高难度编码。但如果是做摘要、翻译、知识库问答这类常规工作，推理模型反倒可能大材小用，甚至效率低下。因为推理模型通常成本更高、响应更慢，有时还会因为“想太多”（overthinking）而出错。

换句话说，不是所有问题都需要动用推理模型。选对场景，才能物尽其用。

3. DeepSeek的训练流水线速览

DeepSeek没有发布单一的R1模型，而是放出了三个不同变种：DeepSeek-R1-Zero、DeepSeek-R1和DeepSeek-R1-Distil。下面逐一拆解。

3.1 DeepSeek-R1-Zero

这个模型基于2024年12月发布的671B预训练模型DeepSeek-V3。团队直接使用两种奖励的强化学习（RL）训练它，没有经过常规的监督微调（SFT）步骤，所以被称为“冷启动”训练。奖励分为两类：准确性奖励（用LeetCode编译器验证编码答案，用确定性系统评估数学响应）和格式奖励（依赖LLM裁判确保输出格式符合预期，比如把推理步骤放在＜think＞标签里）。

结果令人惊喜：尽管没有明确训练，模型竟然自发地生成了推理轨迹作为响应的一部分——研究人员称之为“啊哈”（Aha）时刻。虽然后期R1-Zero的性能不算最佳，但它证明了纯RL开发推理模型的可行性。

3.2 DeepSeek-R1

这是DeepSeek的旗舰模型，在R1-Zero基础上增加了额外的SFT阶段和进一步的RL训练。团队用R1-Zero生成了“冷启动”SFT数据，然后进行指令微调，再接着一个RL阶段。这个RL阶段保留了原有的准确性和格式奖励，还加入了“一致性奖励”来防止语言混合（比如模型在响应中中英文切换）。

RL之后又是一轮SFT数据收集：用最新模型检查点生成600K思维链（CoT）SFT示例，再用DeepSeek-V3基础模型创建200K基于知识的SFT示例。最后，用这800K样本对DeepSeek-V3 base进行指令微调，再加一轮RL。最终模型DeepSeek-R1的性能远超R1-Zero，充分说明SFT+RL是更可靠的方案。

3.3 DeepSeek-R1-Distill*

这一步不是传统意义上的知识蒸馏（不涉及logits迁移），而是用前面的SFT数据对较小的模型（Qwen 1.5B～32B、Llama 8B和70B）进行指令微调。这些数据来源于DeepSeek-R1的中间检查点。蒸馏出来的模型虽然明显弱于DeepSeek-R1，但比R1-Zero强得多——尽管体积小了几个数量级。有趣的是，团队还尝试把纯RL直接应用到Qwen-32B上，结果发现：对于小模型，蒸馏远优于纯RL。

4. 打造和优化推理模型的四种主流方法

4.1 推理时扩展（Inference-time scaling）

这种方法不涉及训练，而是在推理期间增加计算资源来提高输出质量。比如经典的CoT提示（“逐步思考”），或者用多数投票、束搜索等策略让模型生成多个答案后选择最佳。值得注意的是，DeepSeek R1技术报告称其模型本身没有使用推理时扩展，但OpenAI的o1、o3很可能用了，这也解释了为什么它们比GPT-4o贵得多。

4.2 纯强化学习（Pure RL）

DeepSeek-R1-Zero是典型代表。它跳过了SFT，直接使用RL训练，只用准确性奖励和格式奖励。这种方法在学术上很有价值，因为它展示了推理能力如何作为“涌现行为”出现。但实际开发中，纯RL往往不如RL+SFT稳健。

4.3 监督微调+强化学习（SFT+RL）

DeepSeek-R1就是这条路线的范本。先冷启动SFT，再RL，再收集SFT数据，再RL……最终模型性能大幅提升。总结起来，RL+SFT是目前构建高性能推理模型最靠谱的路径。

4.4 纯监督微调与蒸馏（Pure SFT & Distillation）

蒸馏的目标是让小模型在特定任务上接近大模型的推理能力。它成本低、效率高，但存在一个根本限制：蒸馏不会推动创新，它永远依赖已有的强大模型来生成数据。因此，蒸馏适合快速落地，但不适合探索新一代推理模型。

结论

• 推理时扩展无需额外训练，但推理成本会随用户量和查询量线性增长，大规模部署需权衡。
• 纯RL适合研究推理涌现机制，但实际模型开发中RL+SFT才是首选。
• 蒸馏特别适合创建小而高效的模型，成本可控，但无法产生原始创新。

5. 有限预算下开发推理模型

好消息：蒸馏可以走很远

DeepSeek的R1蒸馏模型证明，哪怕模型比原版小很多，也能获得令人惊讶的推理能力。不过即便蒸馏，也需要800K SFT样本，计算量仍然不小。更经济的方案是：用仅17K SFT样本训练了一个开源32B模型，总成本仅450美元。这说明蒸馏的成本还有很大优化空间。

预算型纯RL：TinyZero

TinyZero是一个3B参数的小模型，复制了DeepSeek-R1-Zero的方法，训练成本仅30美元。它展现出了某些紧急自我验证能力，表明即使在小参数上，纯RL也能让推理能力涌现。

超越传统SFT：旅程学习（Journey Learning）

这种方法与TinyZero的自我验证能力有关，但重点在于完全通过SFT来改进模型——让模型接触不正确的推理路径及其纠正过程，从而增强自我纠正能力。这有望让推理模型更可靠，而且不依赖RL。

显然，推理模型的发展路径正变得越来越多元。无论是大厂还是小团队，都能找到适合自身资源的方式切入这个方向。2025年，这一趋势只会加速。