本次查询：蒸馏小模型
中文解释：蒸馏小模型
常见场景：移动端AI应用 / 物联网设备 / 实时推理服务 / 边缘计算场景
一句话解释
蒸馏小模型就是让一个大模型（教师）“教”一个小模型（学生），把大模型的知识“提炼”给小模型，让小模型在体积缩小数十倍的同时，保持接近大模型的准确率。
为什么会被关注
大模型虽然能力强，但动辄几百GB的参数量，需要昂贵的GPU集群才能运行，普通手机、智能音箱、汽车芯片根本无法承载。
蒸馏小模型让AI直接跑在用户的设备上，无需联网、数据不出本地，响应更快、隐私更安全，成为大模型普惠化的关键路径。
核心逻辑
知识蒸馏的核心不是让学生模型“死记硬背”教师模型的最终答案，而是让学生学习教师模型在输出概率分布上的“软标签”。例如识别“猫”时，教师模型会说“99%是猫，0.5%像狗，0.3%像老虎”，这种软化的概率分布包含了教师对数据间相似关系的理解。
训练时，学生模型同时接近真实标签（硬标签）和教师模型的软标签，通过温度参数调节“软化”程度。蒸馏完成后，学生模型往往只需教师模型1%到10%的参数，就能达到教师80%～95%的性能。
常见场景
手机语音助手：将大语言模型蒸馏成可在手机本地运行的版本，实现离线语音识别和语义理解，避免云端延迟和隐私泄露。
自动驾驶：将大模型感知能力（如目标检测、语义分割）蒸馏到车载芯片上，保证毫秒级实时响应的同时降低功耗。
智能家居：小模型被部署在智能音箱、门锁、摄像头中，完成本地化的指令识别、人脸解锁等任务，无需频繁上传数据到云端。
容易混淆的点
蒸馏小模型不等于剪枝或量化：剪枝是直接去掉不重要的神经元，量化是降低参数精度（如从32位浮点变成8位整数），而蒸馏是通过“模仿学习”重新训练一个小模型，三者常结合使用。
不是越小的模型越好：蒸馏小模型虽然体积小，但需要教师模型足够强大才能“教”出好学生。如果教师本身能力弱，或者蒸馏任务过于复杂，小模型可能丢失关键能力，导致性能暴跌。