大型语言模型（LLM）不仅能够从海量文本数据中自主学习，还可以通过向其他更强大的LLM“取经”来实现性能的显著提升。这种“师徒传承”式的技术被称为知识蒸馏。今天，我们将用通俗易懂的语言，为你详细解读三种主流知识蒸馏方法：软标签蒸馏、硬标签蒸馏与协同蒸馏，并说明它们各自最适合的应用场景。
一、知识蒸馏的两个关键阶段
知识蒸馏可以在模型训练的不同阶段实施，策略不同，最终效果也存在差异：
-
1. 预训练阶段
同时训练一个规模较大的“教师”模型和一个较小的“学生”模型。教师如同经验丰富的导师，学生则是初出茅庐的新手，二者共同成长。例如，Llama 4 就采用了这一策略，让大模型与小模型并行学习、相互促进。 -
2. 后训练/微调阶段
先完成一个强大的教师模型的训练，再将其掌握的“知识”提炼出来，传授给学生。这好比老师将毕生所学倾囊相授。DeepSeek 正是利用这种方式，将 DeepSeek-R1 的宝贵经验成功迁移至通义千问（Qwen）和 Llama 3.1 等模型中。
小提示： 部分模型会采用“双管齐下”的策略，比如 Gemma 3 在预训练和微调阶段都引入了知识蒸馏，从而获得了更优的性能表现。
二、三种主流知识蒸馏技术详解
1. 软标签蒸馏：老师把“思考笔记”全给你
-
怎么做？
想象一下，老师不仅告诉你最终答案，还把自己的完整思考过程展示给你。软标签蒸馏的核心是：教师模型对语料库中的每个词生成一个概率分布——例如，“这个词后面接‘你’的概率是 70%，接‘我’是 20%”。学生模型同样对相同数据生成自己的概率分布，训练目标就是让学生的预测尽可能贴近老师的“思考笔记”。 -
优点
学生能够全面吸收教师的推理能力和知识，学习效果非常扎实，仿佛站在巨人的肩膀上。 -
局限
首先，必须能够获取教师模型的权重（如果是私有模型则无法实现）；其次，存储这些概率分布需要极其庞大的空间。举个例子：词汇表包含10万个token，语料库有5万亿个token，每个概率分布用8位浮点数存储，将需要500 million GB的硬盘空间！这就像老师把几仓库的笔记全部复印给学生，现实中几乎不可行。
小提示： 软标签蒸馏适合对模型精度要求极高、且教师模型权重可访问的场景。如果存储资源有限，建议优先考虑其他方法。
2. 硬标签蒸馏：老师只告诉你答案
-
怎么做？
老师只输出最终答案，不解释推理过程。教师模型对每个输入给出最可能的词（比如“今天”后面接“是”），学生模型被训练去预测这个答案，而不是模仿完整的概率分布。 -
优点
简单直接，效率高。存储需求大幅降低，只需记录教师的最终选择，无需复杂的概率数据。 -
局限
学生只知道答案，却无法理解老师背后的思考路径。就像考试抄了答案却没掌握原理，知识的深度和泛化能力可能打折扣。
小提示： 硬标签蒸馏适合快速复制模型能力、对推理过程要求不高的场景。例如 DeepSeek 就采用此方法，将 DeepSeek-R1 的能力快速迁移到其他模型上。
3. 协同蒸馏：师生一起成长
-
怎么做？
教师和学生从零开始共同学习。选取两个未训练的模型，一个作为老师，一个作为学生，同时面对相同的数据。教师使用真实标签（标准答案）训练自己，学生则努力让自己的预测向教师的输出靠拢。 -
优点
教学相长：教师在不断进步，学生也在教师成长的过程中获益，学到的知识更灵活、更全面。 -
局限
初期教师水平有限，预测可能出错。学生需要聪明地平衡教师的意见和真实答案，否则容易被带偏方向。
小提示： 协同蒸馏适合从零开始训练新模型、且希望师生共同进步的场景。例如 Llama 4 就通过此方法培养了 Scout 和 Maverick 模型。
三、三种蒸馏技术优缺点总结
技术 |
优点 |
缺点 |
|---|---|---|
软标签蒸馏 |
知识转移全面，能学到推理过程 |
需要教师模型权重，存储需求巨大 |
硬标签蒸馏 |
简单高效，存储需求小 |
只学答案，深度不足 |
协同蒸馏 |
师生共同成长，学习灵活 |
初期教师不准，学生需平衡多方信息 |
四、常见问题解答
-
问：知识蒸馏和模型微调有什么区别？
答：微调是在已有模型基础上，针对特定任务数据继续训练；而知识蒸馏则是让一个小模型（学生）学习大模型（教师）的输出行为，主要目的是压缩模型大小同时保持性能。两者可以结合使用，相辅相成。
-
问：哪种蒸馏技术效果最好？
答：没有绝对的最佳方案。软标签蒸馏信息最丰富，但成本极高；硬标签蒸馏快速但深度不足；协同蒸馏适合共同成长。实际选择取决于你的资源状况、教师模型的可访问性以及具体任务需求。
-
问：学生模型会不会学得“比老师还差”？
答：有可能，尤其是当教师模型本身存在偏差时。因此需要精心选择教师模型并设计训练策略。在协同蒸馏中，早期教师预测不准，建议使用“温度参数”或混合真实标签来避免偏离方向。
知识蒸馏就像是LLM世界中的“师徒传承”，让大模型把经验传递给小模型，既节省计算资源，又保证性能输出。三种方法各有千秋：软标签蒸馏倾囊相授但代价高昂，硬标签蒸馏简单直接但深度有限，协同蒸馏师生携手共进。选择最适合你资源与需求的方法，让模型高效传承智慧。