9月18日,DeepSeek团队发表的重要研究成果DeepSeek-R1登上《Nature》杂志封面,由梁文锋担任通讯作者。该论文首次正面回应了业内对模型蒸馏技术的质疑。
研究团队明确指出,DeepSeek-V3-Base的训练数据完全来源于普通网页和电子书,严格避免使用人工合成的训练数据。即使在预训练的最后阶段,所有的数据都来自真实的网页抓取结果,不存在故意引入OpenAI生成内容的情况。
然而,DeepSeek也坦诚承认,在互联网抓取过程中可能无意采集到部分包含OpenAI生成答案的网页内容。这种情况可能导致模型间接受益于其他先进AI系统的知识输出。
值得关注的是,DeepSeek-V3-Base的训练数据截止于2024年7月,这个时间节点早于当前主流推理模型的公开发布时间,这一事实大大降低了模型无意中吸收其他推理模型输出的可能性。
研究团队特别说明,R1模型的推理能力并非通过复制OpenAI的输出案例习得。和大多数大语言模型一样,它只是通过对公开网络数据的常规学习过程,自然吸收了互联网上现有的AI生成内容。
在方法论上,DeepSeek采用了创新的纯强化学习框架,并开发了组相对策略优化算法。这种训练方式仅根据答案的正确性给予反馈,而不强制模型模仿人类推理过程,最终使得模型自主发展出自我反思、自我验证等高级认知能力。
来自Hugging Face的机器学习专家Lewis Tunstall评价称,现有实验结果充分证明单纯的强化学习框架就能取得卓越性能,DeepSeek的推理方案可能已经足够优秀,确实无需依赖其他模型的知识蒸馏。

