本次查询：Async Inference
中文解释：异步推理
常见场景：高性能AI推理 / 大规模部署
一句话解释
异步推理是指模型在处理请求时不会立即返回结果，而是把请求放入队列，后台异步执行，完成后通过回调或轮询获取结果。这种模式让模型能同时服务多个请求，提升整体吞吐量。
为什么会被关注
大模型部署时，同步推理容易因单个长请求阻塞其他请求，导致GPU利用率低下。异步推理能有效解耦请求与计算，让多个推理任务并发执行，单位时间内完成的请求数翻倍。
在云服务中，异步推理还能降低响应抖动，让高并发场景下的资源分配更平缓，从而节省推理成本，尤其适合问答系统、内容审核等非实时任务。
核心逻辑
异步推理的核心是请求队列与批处理调度。当用户提交请求后，推理引擎将请求暂存到队列中，后台线程或进程持续从队列拉取多个请求，拼成一个批次送入GPU。
批次大小可动态调整，以平衡延迟和吞吐。模型一次前向计算处理完整个批次后，结果按顺序拆分并返回给对应请求。这种机制充分利用了GPU并行计算优势，减少空转。
常见场景
批量文档摘要、大规模图片识别、文本分类等后台处理任务，对实时性要求不高，但需要高并发，非常适合异步推理。此外，AI助手的异步对话生成也常采用此模式。
在边缘设备上，异步推理可用于低功耗场景，将推理任务排队，利用空闲时间处理，平衡功耗与性能。云服务商也常通过异步API提供即发即忘（fire-and-forget）接口。
容易混淆的点
异步推理不等于流式推理。流式推理强调逐步输出token，而异步推理强调请求与计算分离，返回结果可以是完整输出。两者可结合，但概念不同。
异步推理也不等于分布式推理，它是单点或单机内的调度优化，分布式推理则涉及多机协同。另外，异步推理的延迟通常高于同步推理，但吞吐显著提升。