本次查询：模型缓存
中文解释：模型缓存
常见场景：大模型推理优化
一句话解释
模型缓存是一种在大语言模型推理时，将中间计算结果（主要是注意力机制中的Key和Value矩阵）存储起来的技术。后续生成新的token时直接复用缓存数据，避免重复计算，从而显著提升推理速度并降低延迟。
为什么会被关注
随着ChatGPT等对话式AI的普及，用户对实时响应和超长文本（如万字文档）的需求急剧增长。没有缓存时，每次生成都要从头计算所有历史token，延迟随对话长度线性上升。模型缓存能将计算复杂度从O(n²)降低到O(n)，是支撑低延迟、高并发服务的关键技术。
同时，缓存还能减少显存带宽占用，降低云服务成本，因此被各大AI平台和开源框架（如vLLM、TensorRT-LLM）广泛采用，成为大模型推理优化的标配手段。
核心逻辑
大模型生成文本时，每一步都需要计算当前token与之前所有token的注意力权重。模型缓存保存了历史token的Key和Value矩阵，新token只需计算自己的Query，然后从缓存中读取Key/Value进行注意力计算。
缓存通常存储在GPU显存中，并伴随对话推进不断追加新的KV对。当缓存超过显存容量时，会采用最近最少使用（LRU）等淘汰策略，或通过滑动窗口、稀疏缓存等方式压缩存储。
常见场景
最常见的是多轮对话：用户连续提问时，模型只需缓存第一轮的回答计算过程，后续轮次直接复用，无需重复计算历史对话。其次是长文本生成，如万字报告或代码补全，缓存让模型在长期依赖中保持快速响应。
服务端部署时，还可将系统提示词（如角色设定）的KV缓存预加载，作为“前缀缓存”加速首次响应。这类优化在API服务和私有化部署中尤其普遍。
容易混淆的点
模型缓存容易与“内存缓存”混淆——内存缓存存放的是数据查询结果（如Redis），而模型缓存存的是神经网络推理中的中间张量，两者机制完全不同。
也常被误认为“模型量化”。量化是压缩模型权重精度以减少显存占用，而缓存优化的是计算流程本身。虽然两者常配合使用，但解决的问题和实现方式截然不同。