输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
PagedAttention借鉴操作系统的虚拟内存分页思想,将KV缓存划分为固定大小的页,通过页表实现非连续内存存储,有效减少显存碎片,提升大模型推理的吞吐量。它已广泛应用于vLLM等推理引擎中。
近期常被查询的 AI 概念。