RAG技术近年来可谓发展迅猛,备受瞩目。其核心思路其实相当直观——在人工智能生成的过程中,引入外部知识检索机制,使模型不再仅仅依赖“记忆”输出,而是能够查阅资料、浏览文档,甚至结合图片与知识图谱来回答问题。从最基础的文档查询起步,到如今的多模态与Multi-Agent协同架构,RAG技术的演进脉络值得深入梳理。
具体而言,一套完善的RAG系统通常包含以下几个核心组件:
- 嵌入模型:负责将文本转换为向量表示,便于后续的高效检索。
- 生成模型:即我们熟悉的LLM,负责最终内容的生成与输出。
- 重排序模型:对初步检索结果进行二次筛选,将最相关的内容排列在前。
- 向量数据库:用于存储和检索这些经过向量化的内容。
- 提示模板:将查询处理为模型能够理解的规范格式。
- AI Agent:负责智能决策与任务协调,堪称整个系统的“大脑”。
图例 1

Naive RAG:最经典的起点
首先来介绍最基础的版本——Naive RAG。它可能是目前最为简洁的实现方式,只需将检索模块与生成模块简单拼接,即可处理问答或内容生成任务。
其架构主要分为三个部分:
- 检索模块:从知识库中查找与输入查询相关的上下文。通常基于向量检索实现,例如利用Sentence Transformers或OpenAI Embeddings,将查询和文档映射到相同的向量空间,通过计算相似度,筛选出最相关的几个段落。
- 生成模块:接收用户输入以及检索到的上下文内容,然后由大模型(如GPT、T5等)生成最终答案。
- 流程:用户输入查询 → 检索模块找出相关文档 → 检索结果连同查询一并传给生成模块 → 生成模块输出回答。
该架构的优势十分明显:简单高效、模块化设计易于调试。然而,它存在一个固有缺陷——其假设检索到的上下文是完整且充足的。如果知识库更新不及时,或者检索效果本身不佳,生成结果便可能出现偏差。
不过,Naive RAG依然是许多实际场景的实用起点,例如文档问答、内容生成,以及从FAQ库中检索答案并生成响应等。尽管简单,但它足够实用。
Retrieve-and-Rerank:为检索结果进行二次精排
如果觉得Naive RAG的检索质量不尽如人意,该如何改进?一个很自然的思路便是引入重排序步骤。
Retrieve-and-Rerank就是在基础RAG的检索阶段之后,增加一个专门的重排序模块。其流程如下:
- 初步检索:首先通过向量检索快速找到一批初步相关的文档,例如前50个。
- 重排序:将这50个候选文档交给重排序模型(可以是BM25、TF-IDF等传统方法,也可以是基于BERT的Cross-Encoder),输出一个按相关性排序的高质量列表。
- 生成:仅取排序后的前N个文档作为上下文,交由生成模块处理。
这样一来,生成模块接收到的上下文质量显著提升,最终的回答也更加可靠。特别是在长尾查询或复杂问题场景下,这个重排序步骤能够有效纠正初步检索引入的噪声。

在实际应用中,问答系统、推荐系统、技术支持等领域都能看到它的身影。技术栈方面,检索模块可采用FAISS、ElasticSearch,重排序模块则可用BERT、MiniLM、ColBERT,生成模块则是GPT、T5、LLaMA等。
Multimodal RAG:不止文本,还能看图说话
再往后,RAG进化到了多模态版本。顾名思义,它处理的输入不再局限于文本,还可以是图像、视频或音频。
Multimodal RAG在架构上仍由检索和生成两部分组成,但增强了对多模态数据的支持:
- 多模态检索模块:能够处理和索引不同模态的数据。例如,利用CLIP、DINO等模型将图像也转换为嵌入向量,统一存入向量数据库。检索时,无论是文本查图,还是图查图,都能在同一个向量空间中进行匹配。
- 多模态生成模块:接受多模态上下文,如文本加图像的组合,然后使用Flamingo、BLIP-2等模型生成回答。
- 流程:用户输入(文本或图像)→ 多模态检索模块找到相关多模态上下文 → 交给生成模块输出。
关键在于模态对齐与模态融合技术。对齐是指将图像特征和文本特征映射到同一向量空间;融合则是将检索到的不同模态信息有效整合,为生成模块提供统一的输入。

典型应用场景包括:多模态问答(例如“这张X光片有什么异常?”)、图像描述生成、跨模态搜索(文本搜图或图搜文本)、医疗诊断,以及从视频或音频中提取关键信息并生成摘要。
Graph RAG:利用图结构理解知识间的关系
如果说Multimodal RAG解决的是“数据模态多样”的问题,那么Graph RAG解决的则是“知识点之间关系复杂”的难题。
它引入图数据库(如Neo4j、TigerGraph),将文档、实体及其之间的关系建模为图结构。节点代表实体(如人名、地名、文档),边代表关系(例如“引用”“从属”“因果”)。
工作流程非常直观:首先对知识库进行知识建模,比如从“爱因斯坦提出了相对论”这句话中提取出节点“爱因斯坦”和“相对论”,以及边“提出”。用户提问时,系统将查询转换为图查询,检索与问题相关的子图,再将子图信息转化为文本上下文,交给生成模型。

Graph RAG的价值在于,它能够捕捉文档或知识点之间的复杂关系,如层次关系和因果关系,而不仅仅依赖向量相似性。它还支持多跳检索——从一个节点出发,沿着关系链找到间接相关的节点。这使得它在复杂问答、知识管理、内容推荐、因果推理等场景中表现出色。
Hybrid RAG:兼收并蓄的整合方案
Hybrid RAG则更进一步,它将图结构与传统检索方法相结合。可以理解为“全都要”——既利用向量检索的快速性,又借助图结构的关系推理能力,同时保留重排序模块对结果进行精排。实际上,许多工业级的RAG系统最终都会走向这种混合架构,因为单一方法总有其盲区。
图例:
Agentic RAG Router:让AI Agent充当“智能调度员”
随着场景日益复杂,单一的RAG流程显然不够用了。此时,Agentic RAG Router应运而生。
其核心思路是引入一个AI Agent作为路由器,分析用户查询的意图,然后动态选择最合适的处理路径。例如,用户提问文本问题,路由器便调用文本检索模块;如果用户上传了一张图片,路由器则调度图像检索模块;若需要复杂推理,就调用图数据库。

整个系统由四个模块组成:
- AI Router:利用LLM理解用户意图,决定走哪条路径。
- 多检索模块:包括文本、图像、图数据库等不同的检索源。
- 多生成模块:针对不同任务优化的生成模型。
- 执行路径:可以是直接回答、检索后回答,或者调用外部工具。
这种架构的优势在于灵活性——Router能够根据任务动态调整,避免了固定流程的僵化。而且,它只在需要时才调用复杂模块,从而优化了资源利用。企业知识管理、医疗辅助、教育内容生成等场景,非常适合采用这种方案。
Agentic RAG Multi-Agent:多个专家协同作战
最后,也是当前RAG领域最前沿的形态——Agentic RAG Multi-Agent。它引入了多个专门的AI Agent,每个Agent负责不同的任务或工具调用。你可以想象成一个项目组:有负责查询向量数据库的,有负责网页搜索的,还有处理Slack、Gmail的,各司其职,由主控Agent统一调度。

其组件包括:
- Central Orchestrator:中央调度器,负责解析意图、分配任务、整合输出。
- 专用AI Agent:向量搜索Agent、网页搜索Agent、通信工具Agent、数据处理Agent等。
- 工具与数据接口:每个Agent能够调用专用API,例如FAISS、Google API、Slack API。
- 输出整合模块:主控Agent将各Agent的结果整合为最终输出。
举个例子,用户说:“帮我从数据库和互联网找出过去一周的行业趋势,并用摘要发邮件给团队。”系统会这样执行:
- 主控Agent分解任务:检索数据库、搜索互联网、生成摘要、发送邮件。
- 各Agent并行执行:向量搜索Agent查内部报告,网页搜索Agent爬新闻,文本生成Agent整合摘要,Gmail Agent发邮件。
- 主控Agent整合结果,任务完成。
这种架构的亮点在于模块化、并行处理以及广泛的工具支持。它特别适合跨模态、跨工具的复杂任务,例如企业知识管理、内容创作与分发、实时数据分析、智能客服等。
