本次查询：Reasoning Distillation
中文解释：推理蒸馏
常见场景：在大模型生态中 / 推理蒸馏用于将昂贵的大模型推理能力（如数学推导 / 逻辑分析）高效复制到参数量更小的模型上 / 常见于手机助手 / IoT设备
一句话解释
推理蒸馏是一种让小型AI模型通过模仿大模型的思考过程，从而学会复杂逻辑推理的技术。它不是单纯抄答案，而是学习大模型在解题时如何一步步推导。
简单说，就是老师（大模型）教学生（小模型）做题的思路，而不仅仅是最后的结果。这使得小模型也能像大模型一样处理多步推理任务。
为什么会被关注
大模型（如GPT-4、Claude）推理能力强，但部署成本高、响应慢，不适合移动端或实时场景。推理蒸馏能将这些能力“压缩”进百万级参数的小模型，大幅降低算力消耗和延迟。
2024年以来，多家AI公司开始将推理蒸馏用于垂直领域知识问答和代码生成，既保留推理质量，又让产品能跑在普通智能手机甚至嵌入式设备上，因此成为行业降本增效的热门方向。
核心逻辑
推理蒸馏的核心是“思路蒸馏”。训练时，让大模型生成包含中间推理步骤的“思维链”（Chain-of-Thought），小模型则尝试预测整个链，而不仅仅是最终答案。损失函数同时计算步骤匹配度和结果匹配度。
这种训练迫使小模型学会拆解问题、分步推理，从而在推理任务上接近大模型的效果。对比传统蒸馏仅关注输出分布，推理蒸馏保留了解决问题的逻辑结构，泛化性更强。
常见场景
数学题解答：小模型学习大模型分步计算的过程，在手机上离线解方程。逻辑问答：智能助手在语音交互中实时推理用户意图路径。代码补全：轻量IDE插件通过推理蒸馏实现上下文敏感的代码生成。
医疗诊断辅助：在无网络环境的基层诊所中，小模型模仿大模型的病症推理树。教育辅导：学习机内嵌推理蒸馏后的模型，能一步步引导学生思考题目解法。
容易混淆的点
推理蒸馏不是简单的“知识蒸馏”，后者只传输最终概率分布，而前者重点在推理过程。也不是“思维链提示”，思维链是推理时的技术，推理蒸馏是训练时的迁移方法。
它也不等同于“模型剪枝”，剪枝是删减冗余结构，蒸馏是学习教师网络的行为。推理蒸馏更接近“过程蒸馏”，需要教师网络输出结构化中间结果，对数据标注要求更高。