点击下方“javaedge”，选择“设为星标”

第一时间关注技术干货！

1 什么是 DeepSeek-R1？如果你曾经为一道复杂的数学题费尽心思，就能理解深入思考的重要性。OpenAI 的 o1 模型表明，当大语言模型（LLM）在推理过程中增加计算量并经过针对性训练后，其在数学、编程和逻辑等任务上的表现会大幅提升。

然而，OpenAI 推理模型的训练机制始终未公开。直到上周，DeepSeek 发布了 [DeepSeek-R1] 模型，迅速引发全网热议（甚至影响了股市！）。

除了性能达到或超越 o1 外，DeepSeek-R1 还附带了详细的技术文档，揭示了训练方法的关键步骤。该方法包含多项创新，其中最突出的是利用纯强化学习，使基础语言模型无需任何人工监督即可掌握推理能力。如下图所示，只要拥有强大的基础模型和高质量的数据组合，构建高性能推理模型就变得相对简单：

59d8240f421a7b8c66fe4d60b7acfb6e.webp但 DeepSeek-R1 的发布仍存在一些未知问题：

数据收集：如何构建推理专用的数据集？模型训练：由于 DeepSeek 未公布训练代码，最佳超参数设置以及不同模型系列和规模之间的差异尚不清楚。扩展规律：在训练推理模型时，计算资源与数据量之间应如何平衡？这些问题推动了 Open-R1 项目的启动，旨在系统性复现 DeepSeek-R1 的数据与训练流程，验证其宣称的效果，并拓展开源推理模型的能力边界。通过构建 Open-R1，项目希望揭示强化学习如何提升推理能力，与开源社区分享可复制的经验，并为未来模型应用这些技术打下基础。

本文将深入解析 DeepSeek-R1 的核心要素、计划复现的内容，以及如何参与 Open-R1 项目。

2 他们是如何做到的？DeepSeek-R1 是基于 [DeepSeek-V3] 打造的推理模型。像所有优秀的推理模型一样，它始于一个强大的基础模型——DeepSeek-V3 正是这样的模型。这款 671B 参数的混合专家模型（MoE）性能媲美 Sonnet 3.5 和 GPT-4o 等主流模型。仅花费约 550 万美元的训练成本，这得益于多令牌预测（MTP）、多头潜在注意力（MLA）等架构优化以及大量硬件改进。

DeepSeek 推出了两个版本：DeepSeek-R1-Zero 和 DeepSeek-R1，分别采用不同的训练策略。DeepSeek-R1-Zero 完全跳过监督微调阶段，仅依靠强化学习（RL）和组相对策略优化（GRPO）完成高效训练。简单的奖励机制根据答案的准确性和结构提供反馈，帮助模型发展出分步推理和自我验证能力，但其输出往往不够清晰。

因此，DeepSeek-R1 在此基础上进行了优化。它首先通过“冷启动”阶段，在小规模精选数据上进行微调，以提高回答的清晰度和可读性。随后结合更多 RL 训练和精炼步骤（包括基于人类偏好和可验证奖励的低质量输出过滤），最终形成既能高效推理又能生成优雅回答的模型。

8799300a96909106ec8b61485b888d04.webp这一切听起来非常理想，但还缺少什么？看看拼图中缺失的部分。

3 Open-R1：填补空白尽管 DeepSeek-R1 的发布对社区来说是个好消息，但它并非完全开源——虽然模型权重已开放，但训练数据集和代码仍未公开 ?。

Open-R1 的目标正是填补这些空缺，让整个研究界和产业界都能使用相同的配方和数据集来构建类似甚至更优的模型。通过开源协作，任何人都可以参与贡献！

如下图所示，项目攻关分为三个阶段：

第一阶段：从 DeepSeek-R1 中蒸馏出高质量推理数据集，复现 R1-Distill 模型第二阶段：复现 DeepSeek 创建 R1-Zero 的纯 RL 流程，需要构建大规模的数学、推理和代码数据集第三阶段：展示从基础模型 → 监督微调 → 多阶段 RL 训练的完整流程f3e2f51ad0df8b63434284cfbe0bce8f.webp合成数据集将允许任何人通过简单微调将现有或新 LLM 转变为推理模型。包含 RL 的训练方法将成为从零开始构建类似模型的基础，研究人员可以在其基础上开发更先进的方法。

社区的目标不止于数学数据集。代码等传统领域，以及医学等科学领域也有巨大的潜力，推理模型可能带来深远影响。

这个项目不仅是为了复现结果，更是为了与社区共享经验与教训。通过记录哪些方法有效、哪些无效及其原因，希望帮助他人避免在无效路径上浪费时间和算力。

关注我，紧跟本系列专栏文章，咱们下篇再续！

写在最后70a86a5e842dc46796d4f8911ea837d5.webp