输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
Prefix Caching是一种在LLM推理时缓存公共前缀的KV cache,避免重复计算,显著提升吞吐量并降低延迟,尤其适合多轮对话、共享系统提示词等场景。
近期常被查询的 AI 概念。