本次查询：Speculative Decoding
中文解释：投机解码
常见场景：Speculative Decoding 常用于需要低延迟的大模型推理场景 / 如在线聊天机器人 / 实时代码补全 / 交互式文本生成等。它特别适合部署在资源受限或需处理高并发请求的服务端 / 能在不降低输出质量的前提下提升吞吐量。
一句话解释
Speculative Decoding 是一种智能的“先猜后验”策略：用一个更小更快的模型先写出好几处可能的后续内容，然后用大模型一次性检查这些猜想是否正确，只保留正确的部分。这样就把原本一次只能生成一个 token 的串行过程，变成了批量验证的并行过程，从而节省了大量时间。
为什么会被关注
大模型（如 GPT-4、Llama 2）在生成长文本时需要依次预测每个 token，速度受限于串行计算和显存带宽。随着模型规模不断增大，推理延迟成为落地瓶颈。Speculative Decoding 巧妙利用了“大多数 token 其实很容易预测”这一事实，让轻量草稿模型承担大部分预测工作，目标模型只需“审核”即可，实现了无损加速。
与传统的量化或剪枝方法不同，投机解码不改变模型的原始分布，因此不会带来精度损失。且该方法与 KV-Cache、批处理等技术正交，可以叠加使用，使得业界对其在在线服务、边缘设备上的应用充满期待。
核心逻辑
核心分三步：草稿模型快速生成 K 个候选 token（通常用贪心或简单的采样方法）；目标模型并行计算这些候选 token 对应的概率分布；基于接受-拒绝采样算法，依次检查每个候选 token 是否符合目标模型的分布，若接受则继续，若拒绝则从目标模型重新采样回退。
关键点在于“接受-拒绝”机制保证了最终采样分布与直接使用目标模型完全相同，即输出统计意义上无偏。草稿模型越准，拒绝率越低，加速效果越明显。实际中常将草稿模型设为目标模型的较小版本（如 1/10 参数量）或共享部分模块。
常见场景
实时对话系统：如 AI 助手需要快速响应用户消息，投机解码可将首 token 延迟和整体生成时间降低近一半，让对话体验更流畅。
代码生成 IDE：插入一段不完整的代码后需要即时补全，草稿模型快速给出多个补全建议，大模型统一验证，减少用户等待时间。
高并发 API 服务：在有限的 GPU 资源下处理大量请求时，投机解码能有效提升每秒生成的 token 数（吞吐量），降低每条请求的平均成本。
容易混淆的点
投机解码并非“加速训练”的技术，它只用于推理阶段，且与“模型蒸馏”不同——蒸馏是训练一个小模型来模仿大模型，而投机解码在推理时仍然使用完整的大模型进行验证。
它也不等同于“并行解码”：并行解码（如 AllenAI 的共享 KV）试图一次生成多个独立的 token，而投机解码始终依赖串行上下文，但通过草稿验证避免了每次都需要大模型参与。
另一个常见误区是认为草稿模型必须独立训练。实际上草稿模型可以是大模型自身的一个子网络或早期退出层，甚至可以是不同尺寸的同系列模型，无需额外训练语料。