输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
Batch Inference(批量推理)是指将多个输入样本打包成一批,一次性交给AI模型进行推理,以充分利用硬件并行计算能力,提升吞吐量、降低平均延迟和成本。
近期常被查询的 AI 概念。