本次查询：First Token Latency
中文解释：首 token 延迟
常见场景：大语言模型流式推理场景（如聊天机器人 / 实时翻译 / 代码补全）
一句话解释
First Token Latency 指的是用户向大模型发送请求后，模型输出第一个有效 token（通常是一个字符或一个子词）所经历的时间。在流式对话场景中，这个时间决定了用户需要等待多久才能看到 AI 开始“说话”。
为什么会被关注
随着 ChatGPT 等对话式 AI 普及，用户对交互实时性要求极高。如果 First Token Latency 过长（比如超过 2 秒），用户会明显感到卡顿，影响使用体验和产品留存。
在实时翻译、客服机器人、语音助手等场景中，首 token 延迟甚至比整体生成速度更关键，因为它直接决定了“第一印象”。因此，工程师和产品经理会专门优化这个指标。
核心逻辑
First Token Latency 主要由三部分构成：请求传输时间（网络）、模型前向计算时间（尤其是预填充阶段，即 Prompt Processing）以及 token 采样输出时间。
在 Transformer 架构中，首 token 的计算需要完整处理用户输入的上下文（包括 KV Cache 的填充），这个过程通常比后续 token 生成更耗时。因此，优化预填充阶段的并行计算与内存访问是关键。
常见场景
1. 在线聊天机器人：用户输入问题后，机器人先输出“嗯”或“好的”，这个首词出现的时间就是 First Token Latency。通常期望低于 500ms。
2. 实时代码补全：IDE 插件中，当用户输入一半代码时，模型尽快给出第一个补全建议，延迟过高会导致打字体验中断。
3. 语音对话系统：用户说完话后，系统生成第一个语音 token 的时间，直接影响对话自然度。
容易混淆的点
First Token Latency 不同于“端到端延迟”（End-to-End Latency）。端到端延迟包含从头到尾的完整生成时间，而首 token 延迟只关注第一个输出。
它也不同于“每秒 token 数”（tokens/s）。后者衡量生成速度，但一个模型可能首 token 延迟很长但后续生成很快，反之亦然。两者需要结合评估。
此外，“Time to First Token”（TTFT）与 First Token Latency 几乎等同，但有些行业术语中 TTFT 特指包含网络和排队时间的总耗时，需要根据上下文区分。