输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
First Token Latency(首 token 延迟)指从用户输入请求到模型生成第一个输出 token 所花费的时间。在流式对话、实时翻译等场景中,这个指标直接影响用户感知的“第一反应速度”,是衡量大模型推理性能的重要维度。
近期常被查询的 AI 概念。