本次查询：Continuous Batching
中文解释：连续批处理
常见场景：大语言模型在线推理服务 / 云GPU推理平台 / 实时AI聊天机器人后端
一句话解释
Continuous Batching（连续批处理）是一种AI推理优化技术，它允许GPU在处理一个批次的同时，不停接收新请求并动态合并进下一个批次，就像流水线一样持续运转，从而最大化计算资源的利用率。
为什么会被关注
随着ChatGPT等大语言模型普及，线上推理服务经常面临请求“忽多忽少”的问题。传统批处理要么等待攒够固定数量再处理，导致GPU空闲；要么频繁切换批次，浪费显存带宽。Continuous Batching能实时响应流量波动，在不影响延迟的前提下将吞吐量提升数倍，直接降低企业部署成本。
2023年以来，主流推理框架如vLLM、TensorRT-LLM、SGLang都纷纷引入该技术，它已成为衡量AI推理引擎先进性的关键指标之一。相比复杂且耗时的模型压缩方法，Continuous Batching在工程层面更容易落地，因此被开发者广泛关注。
核心逻辑
背后的数学原理是“最佳批次大小”的动态调整：Continuous Batching根据当前GPU显存余量和请求的序列长度，实时计算最优的混搭方案。长序列和短序列可以混合在一个批次中，通过padding或注意力掩码技术保证并行计算正确性，避免显存碎片浪费。
常见场景
4. 混合模型推理：在同时运行多个小模型（如BERT、ResNet）的微服务中，Continuous Batching思想可用于合并不同模型的张量计算，通过共享GPU资源提高整体吞吐。
容易混淆的点
Continuous Batching 不等于 “无限批次大小”：虽然它能动态加入请求，但受限于显存容量，批次大小仍有上限。过大的批次可能导致每个请求的延迟飙升，因此需要结合抢占或暂停策略来平衡吞吐与延迟。
另外，Continuous Batching 并非所有场景都适用：对于严格要求“首个token延迟”极低的实时对话系统，仍需要结合其他优化（如算子融合、量化）才能实现最佳效果。