本次查询：语义缓存
中文解释：语义缓存
常见场景：在 AI 聊天机器人 / 智能客服 / 代码补全 / 文档问答等高频重复但表达多样的场景中 / 语义缓存通过缓存语义上一致的请求结果
一句话解释
语义缓存是一种缓存技术，它不要求输入完全一致，而是根据两次请求在语义上是否足够相似来决定是否复用之前 LLM 的推理结果。
为什么会被关注
大模型推理成本高、延迟大，一个简单问题可能消耗数千 tokens。实际应用中，大量用户请求（例如“今天天气怎样？”和“现在天气如何？”）本质上是重复的，但普通缓存因文本不同而无法命中。语义缓存能大幅降低企业调用云 API 的费用，同时让用户获得毫秒级响应，成为降本增效的关键技术。
核心逻辑
核心步骤：将用户输入转化为向量嵌入，通过向量数据库或近似最近邻搜索找到历史上最相似的请求。若相似度超过设定阈值，则直接返回该请求对应的 LLM 输出；否则，正常请求 LLM 并将新结果存入缓存，同时更新向量索引。阈值可根据业务场景调整，以平衡缓存命中率和回答准确性。
常见场景
智能客服：客户用不同方式询问同一问题（如“退款流程”和“如何退货”），语义缓存自动返回相同的标准答复。
代码生成：开发者多次请求“Python 读取 CSV 文件”的代码片段，不同表述触发相同结果，减少模型调用次数。
教育类 AI：学生对知识点的提问经常语义重复，缓存能快速给出统一解析，节省算力。
容易混淆的点
与传统缓存不同，语义缓存基于向量相似度而非精确字符串匹配，因此对拼写错误、同义词替换、语序变化同样适用。
它不等同于 RAG（检索增强生成）：RAG 是从外部知识库检索片段并生成回答，语义缓存是直接缓存完整 LLM 输出，二者可以协同使用。
也不等于提示词缓存（Prompt Cache）：提示词缓存仅缓存前缀或模板部分，语义缓存关注整个请求的语义一致性。