本次查询：Latency Budget
中文解释：延迟预算
常见场景：AI推理 / 实时通信 / 微服务 / 自动驾驶 / 流媒体处理
一句话解释
延迟预算就是把整个系统的允许响应时间切分成多个小段，每个处理步骤只能占用其中一段，不能超支。
为什么会被关注
在AI推理、实时渲染和云服务中，用户对响应时间越来越敏感。延迟预算能帮你把“快”这个模糊目标拆解为可测量的子目标，避免某个环节过度耗时导致整体超时。
当系统需要升级模型或引入新功能时，延迟预算像一张财务预算表，清楚显示哪个环节还有余量、哪个已经逼近红线，从而指导优化优先级。
核心逻辑
延迟预算本质是一种自上而下的约束设计：先确定端到端的最大可接受延迟（如200ms），然后按照处理链条逐一分配。例如，网络传输占50ms、预处理占30ms、推理占80ms、后处理占40ms，总和不超过200ms。
预算分配需要平衡安全余量与效率。余量太大浪费优化潜力，余量太小则任何波动都可能导致超时。实际中常结合P99分位值，并预留一定缓冲应对突发流量。
常见场景
语音助手：从录音、语音识别、自然语言理解到回答生成，每一步都要在延迟预算内完成，否则用户会感觉卡顿。自动驾驶：传感器采集、感知、规划、控制各环节延迟必须严格分配，任何一部超支都可能导致危险。
云端推理服务：当模型部署在多节点时，延迟预算能帮助设置批量大小、选择模型版本，甚至决定是否使用缓存。直播流处理：视频编码、降噪、字幕叠加等模块各自占用固定时间片，预算超限就会掉帧或音画不同步。
容易混淆的点
延迟预算 ≠ 响应时间。响应时间是实际测量结果，延迟预算是事先设定的目标上限。预算未超不代表系统“足够快”，还要结合业务场景的严格程度。
延迟预算 ≠ 平均延迟。预算通常以P99或P95为参考，而非平均值。平均值掩盖了尾部抖动，而预算必须保证即使在高负载或峰值时，绝大多数请求也不突破分配。