大语言模型（LLM）已经火了一段时间，RAG（检索增强生成）作为让AI输出更准确、更贴合上下文的核心技术备受关注。然而，RAG虽强大，却也伴随着高额Token消耗、运营成本上升以及响应延迟等现实挑战。特别是在需要实时处理大量相似查询的场景下，每一次检索与生成都会叠加计算资源、时间和金钱成本。
那么，有没有办法实现“轻量化”？本文将深入解析一种高效的优化方案——语义缓存。借助这一策略，能够显著减少重复计算，使RAG系统运行更快、成本更低、更加智能。
一、RAG 模型简介
RAG的核心思想是将外部知识检索与语言模型的生成能力相融合。其典型工作流程包括：首先收集领域相关数据并向量化存储至向量数据库；然后选择强大的基座语言模型（如GPT-4、Llama 3）；最后通过LangChain、LlamaIndex等框架将检索与生成模块串联。
- 数据收集与存储：将资料向量化后存入向量数据库，便于快速检索。
- 语言模型选型：根据场景选择足够智能的LLM。
- 系统集成：利用LangChain等编排工具使各模块协同工作。
用户发起查询时，系统先执行相似性搜索，从向量库中召回最相关的文档，再由LLM生成答案。为提升答案质量，常需额外重排序或多轮检索，但这会进一步增加Token消耗和延迟。因此，RAG性能优化的关键在于：在保障效果的前提下，尽可能减少不必要的计算。
二、语义缓存原理
（一）缓存的基本概念
缓存是计算机体系中最常用的优化手段之一：将高频访问或计算成本较高的数据暂存于更快的存储介质（如RAM）中，避免重复从慢速源（如磁盘、远程数据库）获取。在RAG场景中，原理相同，但缓存的内容不再是简单字符串，而是语义上相似的“问题与答案”对。
（二）语义缓存与 RAG 的结合
当用户首次提问时，系统会执行完整的检索→生成→返回流程，同时将该问题及其响应存入缓存。后续收到新查询时，系统先进行语义相似性检查：将用户查询转化为向量（embedding），并与缓存中所有问题的向量逐一比对，寻找语义相近的内容。若相似度超过预设阈值（例如0.8），则直接返回缓存中的答案，从而跳过检索与生成步骤。这种机制直接节省了Token消耗和响应时间。此外，为进一步提高相似度判断的准确性，还可引入轻量级小模型进行语义对比。
（三）余弦相似度在语义缓存中的应用
余弦相似度是衡量两个向量在高维空间中方向一致性的常用指标，取值在[-1,1]之间，1表示完全一致，0表示不相关。在语义缓存中，我们计算用户查询向量与缓存中每条查询向量的余弦相似度，若超过阈值，则判定为语义相同。这样，即使用户以不同方式表达同一问题，系统也能识别出“原来问的是同一个问题”。
三、语义缓存的实现
（一）技术选型
为便于演示，本实现采用Redis作为内存存储，结合Python的SentenceTransformer库进行文本嵌入。所选模型为 distiluse-base-multilingual-cased-v1，支持多语言，能够有效捕捉语义信息。相似度计算直接使用scipy提供的余弦距离函数。
（二）实现步骤
- 初始化嵌入模型：加载SentenceTransformer并指定模型。
- 设置缓存参数：定义过期时间和相似度阈值。
- 连接Redis：建立连接并处理异常。
- 存储缓存函数（set_cached_response）：将问题、响应、嵌入和时间戳打包成JSON存入Redis。
- 查找相似问题函数（find_similar_question）：遍历所有缓存条目，跳过过期项，计算余弦相似度，超过阈值则返回匹配结果。
- 获取嵌入函数（get_embedding）：统一将文本转换为向量。
（三）核心实现
import time
import numpy as np
from sentence_transformers import SentenceTransformer
from scipy.spatial.distance import cosine
import redis
import json
import time
# 初始化嵌入模型
embedding_model = SentenceTransformer('distiluse-base-multilingual-cased-v1')
# 缓存设置
CACHE_EXPIRATION = 3600 # 1小时过期
SIMILARITY_THRESHOLD = 0.8
# 连接Redis
r = None
try:
r = redis.Redis(host='localhost', port=6379, db=0)
except redis.ConnectionError as e:
print(f"连接到Redis失败: {str(e)}")
def set_cached_response(question, response, embedding):
if r is None:
return
try:
cache_data = {
'response': response,
'timestamp': time.time(),
'embedding': embedding.tolist()
}
r.set(question, json.dumps(cache_data))
except redis.RedisError as e:
print(f"写入缓存失败: {str(e)}")
def find_similar_question(question, embedding):
if r is None:
return None, None
try:
for cached_question in r.keys():
cached_data = json.loads(r.get(cached_question))
cached_embedding = np.array(cached_data['embedding'])
if time.time() - cached_data['timestamp'] < CACHE_EXPIRATION:
similarity = 1 - cosine(embedding, cached_embedding)
if similarity > SIMILARITY_THRESHOLD:
return cached_question.decode(), cached_data['response']
except redis.RedisError as e:
print(f"检索缓存失败: {str(e)}")
return None, None
def get_embedding(text):
return embedding_model.encode([text])[0]
四、语义缓存对 RAG 性能的提升效果
（一）降低令牌消耗
缓存命中时，系统直接返回预先存储的响应，完全绕过LLM生成过程，Token使用量降为零。对于按Token计费的商业模型而言，这是实实在在的成本节省。
（二）减少运营成本
减少向量检索与LLM推理次数，计算负载随之下降，服务器资源占用和能耗也相应降低。在规模化部署场景下，累积效应极为显著。
（三）缩短响应时间
缓存命中时无需执行耗时的检索与生成流程，响应速度极快，通常为毫秒级。对于对话式应用、客户服务等延迟敏感场景，体验提升是质的飞跃。
（四）提高系统整体效率
系统在相同硬件条件下可处理更多并发请求，吞吐量显著提升。同时，由于减少了重复的数据库查询和模型调用，系统运行稳定性也得到改善。
总体而言，语义缓存并非神秘技术，但其为RAG系统带来的三大核心优势——节省Token、降低成本、加快响应——精准击中了RAG落地过程中的关键痛点。通过配置合适的缓存策略与合理的相似度阈值，完全可以在不牺牲答案质量的前提下，进一步提升RAG系统的运行效率。