大模型是如何从零基础一步步成长为智能助手的？本文以 DeepSeek-V3 为例，带你深入理解 预训练（Pre-Train） 和 后训练（Post-Train） 这两个核心阶段，从海量数据学习到人类偏好对齐，完整揭示一个优秀大模型的成长路径，帮助你掌握大模型训练的底层逻辑。
一、预训练：用海量数据打下通识能力的底子
预训练是使用大规模未标注语料，训练语言模型在无指令、无任务的前提下学会建模自然语言的概率分布，进而获得 通用语言理解与生成能力。这一阶段是大模型拥有广泛知识的基础。
1）它解决的问题
- 模型如何预测下一个词/句子
- 如何建立词与词、句与句之间的语义与语法关联
2）输出结果
- 一个掌握语言规律、世界知识、部分推理能力的 通用语言模型（base model）
DeepSeek-V3 的预训练做了什么
1. 用了多少数据
DeepSeek V3在 14.8万亿 高质量、多样化的tokens上进行预训练。与DeepSeek V2相比，V3优化了预训练语料库，提高了数学和编程样本的比例，同时扩展了英语和中文以外的多语言覆盖范围，从而增强了模型的数学推理与代码生成能力。
2. 上下文支持多长
预训练期间，DeepSeek-V3 分阶段提升其上下文处理能力：
- 从 4K → 32K → 最终支持 128K tokens
3. 训练任务是什么
不仅仅是“预测下一个词”。DeepSeek-V3 采用 多 token 预测（Multi-Token Prediction, MTP）：
- 模型同时预测多个未来 token（例如下2词、下3词）
- 保持因果链，提升学习表达规划的能力
小提示： MTP 技术能让模型在生成时更早感知长距离依赖，尤其擅长处理需要提前规划结构的任务（如代码、长文本），显著提升大模型在复杂任务中的表现。
4. 此外，还做了一些性能优化的工作
DeepSeek-V3 做了系统级优化，比如：
- 架构优化：采用 Mixture-of-Experts（MoE） + MLA（多头潜在注意力）
- FP8混合精度训练：首次验证FP8训练在极大规模模型上的有效性
- DualPipe算法：设计高效流水线并行算法，减少流水线气泡
常见问题：预训练
Q：预训练阶段为什么不使用人工标注的数据？
A：预训练的目标是让模型从海量未标注文本中自主学习语言规律。如果用人工标注数据，成本极高且数据量受限，无法支撑14.8万亿tokens的规模。未标注语料（如网页、书籍）可以低成本大量获取，使模型学到更广泛的世界知识，这也是大模型具备强大通识能力的关键。
Q：多token预测（MTP）和传统的下一个词预测有什么本质区别？
A：传统方法只预测下一个词，模型只能看到局部；MTP同时预测未来多个词，强迫模型学习更长期的依赖关系和全局规划能力。例如在写代码时，MTP能让模型提前考虑函数整体结构，而非逐字生成，从而提升代码生成的连贯性和正确性。
二、后训练：让模型从“知道很多”变成“说得对、答得好”
后训练是指在预训练模型基础上，通过人类提供的任务数据和偏好信号，进一步微调模型，使其能够理解指令、执行任务、并生成符合人类期望的响应，提升其 对齐性、实用性和安全性。这是大模型从通用知识库进化为智能助手的关键环节。
1）它解决的问题
- 模型是否能听懂具体任务指令（如：写摘要、答问题）
- 回应是否符合人类偏好（简洁、得体、相关）
- 表达是否稳定、逻辑性强、低幻觉
2）输出结果
- 一个能理解并执行人类指令的 对齐模型（aligned model）
- 拥有基本助手能力，可用于对话系统、代码协作、文档处理等场景
DeepSeek-V3 的后训练做了什么
对于DeepSeek V3，后训练主要包含两个核心步骤：监督微调和强化学习。这两步虽然概念简单，但实施过程中充满了精妙的技术设计和创新理念，确保模型回答更贴合人类需求。
1. 监督微调（SFT）：理解并执行人类指令
监督微调是DeepSeek V3后训练阶段的第一个关键步骤，旨在引导预训练模型转变为能够理解并执行人类指令的助手。
DeepSeek团队构建了包含 150万个 跨领域指令实例的精选数据集，针对不同类型的任务采用差异化数据构建方法：
1）推理数据的精细打造
对于需要深度思考的数据（如数学问题、编程挑战和逻辑谜题），团队没有使用人工构建问答对，而是采用了知识蒸馏的方式。
- DeepSeek 首先为特定领域（如代码、数学或通用推理）开发专家模型（通过组合SFT和RL训练而成）。
- 这些专家模型成为数据生成器，为最终模型提供两种类型的SFT样本：
- 原始问题和回答对
- 包含系统提示、问题和R1回答的三元组
- 通过这种方式，使最终模型能够兼具R1的推理深度和良好的输出格式。
2）日常交互数据的人机协作
对于创意写作、角色扮演和简单问答等场景，团队使用DeepSeek-V2.5生成初始回应，再由人类标注者审核验证，确保答案的准确性和适当性。这种人机协作方式既提高了数据创建效率，又保证了数据质量，使得大模型在日常对话中表现更自然。
2. 强化学习：优化回答，更贴人类偏好
SFT 只是“模仿”，强化学习则是“优化偏好”——让模型学会什么样的回答更受欢迎、更合理。这是大模型对齐训练中不可或缺的一步。
1）奖励来自哪里
DeepSeek V3的奖励模型采用了 双轨奖励体系，根据问题性质提供精确反馈：
- 基于规则的客观奖励：针对有确定答案的问题（如数学或编程题），设计了规则化验证机制：
- 要求模型在特定格式提供最终答案，然后通过规则验证
- 对于编程问题，利用编译器根据测试用例生成客观反馈
- 这种方法提供了不易被操纵的可靠评估标准。
- 基于模型的灵活奖励：针对开放性问题或主观任务，采用从DeepSeek-V3 SFT checkpoint训练的奖励模型来进行评估
2）优化策略创新：采用群体相对策略优化(GRPO)
- 对每个 prompt 生成多个回答
- 比较 group 内得分差距，构建优势函数
- 优化策略，使回答更符合偏好方向
小提示： GRPO 相比传统 PPO 方法，不需要独立的价值网络，降低了内存和计算开销，适合大规模分布式训练，是大模型强化学习的高效方案。
常见问题：后训练
Q：既然预训练已经学习了语言知识，为什么还需要SFT？
A：预训练模型只会“续写”文本，不懂人类指令。比如给它“写一首关于春天的诗”，预训练模型可能继续文字接龙，而SFT通过大量“指令-回答”对，教会模型识别指令并按要求生成内容。SFT是让模型从“会说话”变成“会听话”的关键一步，也是大模型后训练的起点。
Q：GRPO和PPO的核心区别是什么？
A：PPO需要额外一个价值网络来估计状态价值，而GRPO直接使用同一prompt下多个生成样本的得分差值作为优势估计。GRPO去掉了价值网络，训练更稳定、更省显存，尤其适合像DeepSeek-V3这样的大规模MoE模型，有效提升了强化学习阶段的效率。
Q：为什么对推理数据采用知识蒸馏而不是人工标注？
A：数学、编程等推理任务需要复杂的中间推理步骤，人工标注成本极高且难以保证一致性。用专家模型（如DeepSeek-R1）自动生成带推理过程的样本，再经筛选，可以大规模、低成本获取高质量推理数据，这是大模型训练中一种高效的数据增强手段。
三、总结：从零基础到智能助手的成长脉络
通过 DeepSeek-V3 的训练过程，我们可以清晰看到大模型成长的两大关键阶段：
- 预训练：用超大规模的数据构建语言“底座”，让模型具备通用理解与表达能力。DeepSeek-V3在此阶段用14.8万亿 tokens、MTP预测、系统级优化（MoE/FP8/DualPipe），打下坚实的通识基础。
- 后训练：通过指令数据（150万SFT样本）与人类偏好引导（双轨奖励+GRPO），让模型更懂任务、更贴人类、更实用安全。从知识蒸馏到人机协作，每一步都精心设计。
预训练决定了模型的上限（知识广度与推理潜力），后训练决定了模型的下限（对齐质量与可用性）。两者缺一不可，共同造就了 DeepSeek-V3 这样的优秀助手。希望本文能帮助你彻底理解这两个关键概念，深入掌握大模型训练的全流程！