1. 引言

1.1 检索增强生成（RAG）概览

RAG（Retrieval-Augmented Generation）把两大核心组件捏在了一起：一个是检索模块，负责从外部知识库里捞回相关的文档或信息——它用密集向量表示，从维基百科或私有数据库这种大型数据集中找出对的材料；另一个是生成模块，负责消化这些信息，产出像人写的文本。检索到的文档被送到生成模块手里，后者通常基于 transformer 架构来干活。RAG 的好处在于，它能有效减少生成内容里那种“胡说八道”的幻觉现象，让文本更接地气、更符合上下文。目前，RAG 已经在不少领域派上了用场，比如开放域问答、对话智能体、个性化推荐。

1.2 混合检索和生成的新系统

在 RAG 出现之前，自然语言处理（NLP）主要靠检索或生成单打独斗。基于检索的系统（比如传统的信息检索引擎）能高效地根据查询给出相关文档或片段，但没法合成新信息，也没法用连贯的叙述把结果讲出来。基于生成的系统呢，随着 transformer 架构的兴起，纯生成模型靠着流畅性和创造力很受欢迎，但常常在事实准确性上掉链子。这两者正好互补，于是大家开始琢磨检索和生成的混合系统。最早的混合系统可以追溯到 DrQA，它用检索技术来为问答任务找相关文档。

1.3 RAG 的局限性

不过，RAG 也不是完美的。面对模糊查询或特定知识领域时，检索还是可能出岔子。依赖密集向量表示（比如 DPR 那种）有时会捞回不相关或跑偏的文档。所以，需要用更精细的查询扩展和上下文消歧技术来提升检索的精准度。理论上检索和生成应该无缝衔接，但实际操作中，生成模块有时很难把检索到的信息完美整合进回答里，导致检索事实和生成文本之间不一致或不连贯。计算成本也是个让人头疼的事——每个查询都要跑检索和生成两步，大规模应用时资源消耗很大。模型剪枝或知识蒸馏这类技术，也许能在不牺牲性能的前提下降低计算负担。还有伦理问题，尤其是偏见和透明度。AI 和 LLM 中的偏见是个长期被关注的话题，研究者已经识别出性别、社会经济阶层、教育背景等多种偏见类型。RAG 通过检索更平衡的信息有可能减少偏见，但也有放大检索来源里偏见的风险。而且，确保检索结果在选择和使用过程中的透明度，是维护这些系统信任度的关键。

2. RAG 系统的核心构件与架构概览

2.1 RAG 模型概览

RAG 模型包含两个核心部分：检索器和生成器。检索器用 DPR 或传统 BM25 这类技术，从语料库里找出最相关的文档。生成器则把检索到的文档整合成连贯、上下文相关的回答。RAG 的厉害之处在于能动态利用外部知识，在性能上超过了依赖静态数据集的生成模型，比如 GPT-3。

2.2 RAG 系统中的检索器

2.2.1 BM25

BM25 是一种用得很广的信息检索算法，它基于词频-逆文档频率（TF-IDF）来按相关性给文档排序。虽然是经典方法，但依然是很多现代检索系统（包括 RAG 模型）的标准选择。BM25 根据查询词在文档里出现的频率计算相关性得分，同时考虑文档长度和词在整个语料库中的频率。它在关键词匹配方面表现出色，但在理解语义含义上有点局限——比如抓不住词与词之间的关系，处理需要上下文理解的复杂自然语言查询时就不太灵光。不过，因为简单高效，BM25 仍然被广泛采用，适合基于关键词的简单查询任务。当然，像 DPR 这样的现代检索模型在处理语义复杂任务时通常更胜一筹。

2.2.2 密集段落检索（DPR）

密集段落检索（DPR）是一种新路子。它用高维向量空间，把查询和文档都编码成高维向量。采用双编码器架构，分别对查询和文档进行编码，实现高效的最近邻搜索。和 BM25 不同，DPR 在捕捉查询和文档之间的语义相似性方面很厉害，在开放域问答任务中特别有效。它的优势在于能根据语义含义而不是关键词匹配来检索信息。通过在大量问答对语料上训练检索器，DPR 能找出与查询上下文相关的文档，哪怕查询和文档的用词不完全一样。最新的研究还把 DPR 和预训练语言模型结合起来，进一步优化了效果。

2.2.3 REALM（Retrieval-Augmented Language Model）

REALM 把检索过程融入了语言模型的预训练，确保检索器和生成器协同优化，为后续任务服务。它的创新之处在于：能学习检索出能提升模型在特定任务上表现的文档——比如问答或文档摘要。训练时，REALM 同步更新检索器和生成器，优化检索流程来更好地服务文本生成。检索器被训练成能找出既与查询相关又有助于生成准确连贯回答的文档。因此，REALM 显著提升了生成回答的质量，尤其是在需要依赖外部知识的任务上。最新研究显示，在某些知识密集型任务中，REALM 超过了 BM25 和 DPR，特别是在检索与生成紧密结合的场合。

RAG 的精髓在于检索段落的质量，但很多现有方法依赖基于相似性的检索（Mallen 等，2022）。Self-RAG 和 REPLUG 通过利用大型语言模型（LLM）增强检索能力，实现了更灵活的检索。初次检索后，交叉编码器模型通过联合编码查询和检索文档来重新排序结果，计算相关性得分。这些模型虽然提供了更丰富的上下文感知检索，但计算成本也更高。RAG 系统利用 LLM 中的自注意力机制来管理输入和检索文本各部分的上下文和相关性。在把检索信息整合进生成模型时，采用交叉注意力机制，确保生成过程中突出最相关的信息片段。

2.3 RAG 系统中的生成器

在 RAG 里，生成器是把检索到的信息与输入查询融合、产出最终输出的关键环节。检索组件从外部资源中提取出相关知识后，生成器就把这些信息编织成连贯、符合上下文的回应。大型语言模型（LLM）构成了生成器的核心，保证生成的文本流畅、准确，并与原始查询保持一致。

2.3.1 T5

T5（Text-to-Text Transfer Transformer）是 RAG 系统常用的一种生成模型。它很灵活，把所有的 NLP 任务都视为文本到文本的任务。这种统一框架让 T5 能针对广泛的任务进行微调，包括问答、摘要和对话生成。通过整合检索与生成，基于 T5 的 RAG 模型在多个基准测试中超过了传统生成模型，比如 GPT-3 和 BART，特别是在 Natural Questions 和 TriviaQA 数据集上。另外，T5 处理复杂多任务学习的能力，让它在需要应对多种知识密集型任务的 RAG 系统里成为首选。

2.3.2 BART

BART（Bidirectional and Auto-Regressive Transformer）特别适合处理从嘈杂输入中生成文本的任务，比如摘要和开放域问答。作为一种去噪自编码器，BART 能重建损坏的文本序列，所以在需要从不完整或嘈杂数据中生成连贯、事实性输出的任务上表现很好。当与 RAG 系统里的检索器结合时，BART 被证明能通过外部知识提高生成文本的事实准确性。

3. 跨模态的检索增强型生成模型

3.1 基于文本的 RAG 模型

基于文本的 RAG 模型是目前最成熟、研究也最广泛的类型。它依托文本数据执行检索与生成任务，推动了问答、摘要和对话智能体等应用的发展。BERT 和 T5 这类 transformer 架构构成了文本 RAG 模型的基石，利用自注意力机制捕捉文本内的上下文联系，从而提升检索的精准度和生成的流畅度。

3.2 基于音频的 RAG 模型

基于音频的 RAG 模型把检索增强型生成的理念拓展到了音频领域，为语音识别、音频摘要和语音界面中的对话智能体等应用打开了新大门。音频数据通常通过 Wa v2Vec 2.0 这类预训练模型得到的嵌入表示来呈现。这些嵌入作为检索和生成组件的输入，让模型能有效处理音频数据。

3.3 基于视频的 RAG 模型

基于视频的 RAG 模型融合了视觉和文本信息，增强了视频理解、字幕生成和检索等任务的表现。视频数据通过 I3D、TimeSformer 等模型的嵌入表示来呈现。这些嵌入能捕捉时间和空间特征，对有效的检索和生成至关重要。

3.4 多模态 RAG 模型

多模态 RAG 模型融合了文本、音频、视频和图像等多种模态的数据，为检索和生成任务提供了一种更全面的手段。比如 Flamingo 这样的模型，把不同模态整合进一个统一的框架里，能同时处理文本、图像和视频。跨模态检索技术涉及在不同模态之间检索相关信息。“检索即生成（Retrieval as generation）”通过结合文本到图像和图像到文本的检索，把 RAG 框架扩展到了多模态应用。它利用大规模的配对图像和文本描述数据集，当用户查询与存储的文本描述匹配时，能快速生成图像。

4. 现有 RAG 框架一览

基于智能体的 RAG

一种新的智能体检索增强型生成（RAG）框架采用了分层多智能体结构：子智能体使用小型预训练语言模型（SLMs）针对特定的时间序列任务进行微调，主智能体负责分配任务给这些子智能体，从共享知识库中检索相关提示。这种模块化多智能体方法实现了不错的性能，在时间序列分析中展现了比特定任务方法更灵活、更高效的潜力。

RULE

RULE 是一个多模态 RAG 框架，旨在提升医学视觉-语言模型（Med-LVLM）的事实准确性。它引入校准选择策略来控制事实风险，并开发偏好优化策略来平衡模型内在知识与检索上下文，证明了它在提升 Med-LVLM 系统事实准确性方面的有效性。

METRAG

METRAG 是一个多层次、思维增强的检索增强型生成框架。它结合文档相似性和实用性来提升性能，包含一个任务自适应摘要器来产生蒸馏后的内容摘要。利用多阶段思考，LLM 生成知识增强内容，在知识密集型任务上比传统方法表现更优。

RAFT（Retrieval Augmented Fine-Tuning）

干扰文档是 RETRIEVAL AUGMENTED FINE-TUNING（RAFT）的关键特征之一。它用不相关、干扰性文档训练模型如何辨别，同时直接引用相关来源，再结合思维链推理，增强了模型的推理能力。RAFT 在特定领域的 RAG 任务中表现出稳定提升，包括 PubMed、HotpotQA 和 Gorilla 数据集，可作为 LLMs 的后训练增强手段。

FILCO

FILCO 旨在提升生成模型在开放域问答和事实验证等任务中提供的上下文质量，解决对检索段落过度或不足依赖的问题——后者可能导致生成输出中的幻觉。该方法通过词汇和信息论方法识别有用的上下文，并通过训练上下文过滤模型在测试期间提炼检索上下文，提高了上下文质量。

Self-RAG

反思标记是 Self-RAG 的关键属性。它通过结合检索与自反思来提高 LLMs 的事实准确性。与传统方法不同，Self-RAG 自适应地检索相关段落，并使用反思标记评估和提炼响应，让模型能根据具体任务需求调整行为，在开放域问答、推理、事实验证和长篇生成任务中表现出优越性能。RAG 的智能性和有效性很大程度上取决于检索质量，对知识库的更多元数据理解将增强 RAG 系统的有效性。

MK Summary

一种以数据为中心的 RAG 工作流程，超越了传统的检索-阅读模式，采用准备-重写-检索-阅读框架，通过整合上下文相关、时间关键或特定领域的信息来增强 LLMs。其创新点包括生成元数据、合成问题和答案（QA），并引入文档集群的元知识摘要（MK 摘要）。

CommunityKG-RAG

CommunityKG-RAG 是一个零样本框架，把知识图谱（KGs）中的社区结构整合到 RAG 系统中。通过利用 KGs 中的多跳连接，它提高了事实检查的准确性和上下文相关性，超越了不需要额外领域特定训练的传统方法。

RAPTOR

RAPTOR 引入了一种层次化方法来增强检索增强型语言模型，解决了传统方法只检索短连续文本块的局限。它通过递归嵌入、聚类和总结文本，形成摘要树，在不同抽象级别检索信息。实验表明，RAPTOR 在需要复杂推理的问答任务中表现更优，当与 GPT-4 配对时，在 QuALITY 基准测试中的准确率提高了 20%。

4.1 基于长上下文的 RAG 框架

近期支持长期上下文的大型语言模型（如 Gemini-1.5 和 GPT-4）显著提升了 RAG 性能。

Self-Route

Self-Route 通过模型自省动态分配查询至 RAG 或长期上下文（LC），从而优化计算成本与性能，为 RAG 和 LC 在处理长上下文任务时的最佳应用提供了深刻见解。

SFR-RAG

SFR-RAG 是一个小巧高效的 RAG 模型，旨在增强 LLMs 对外部上下文信息的整合，同时减少幻觉现象。

LA-RAG

LA-RAG 是一种新型 RAG 范式，旨在提升 LLMs 中的自动语音识别能力。亮点在于它利用细粒度的标记级语音数据存储和语音到语音的检索机制，通过 LLM 的上下文学习提高 ASR 的精确度。

HyPA-RAG

LLMs 在 AI 法律和政策背景下因知识过时和幻觉而面临挑战。HyPA-RAG 是一个混合参数自适应检索增强型生成系统，通过自适应参数调整和混合检索策略提高了精确度。在 NYC Local Law 144 的测试中，它展现了更高的正确性和上下文精度，有效应对了法律文本的复杂性。

MemoRAG

MemoRAG 引入了一种新型 RAG 范式，克服了传统 RAG 系统在处理模糊或非结构化知识时的局限。它采用双系统架构：轻量级长距离 LLM 生成草稿答案并指导检索工具，更强大的 LLM 则负责完善最终输出。这一框架针对线索提取和记忆容量进行了优化，在复杂和简单的任务中都显著超越了传统 RAG 模型。

NLLB-E5

NLLB-E5 推出了一个可扩展的多语言检索模型，解决了多语言——尤其是像印度语这样的低资源语言——面临的挑战。借助 NLLB 编码器和 E5 多语言检索器的蒸馏方法，它能实现跨语言的零样本检索，无需多语言训练数据。在 Hindi-BEIR 等基准测试上的评估显示了强劲性能，突显了任务特定挑战，并推动了全球包容性的多语言信息获取。

5. RAG 的挑战与局限性

• 扩展性与效率：RAG 的一大挑战是扩展性。检索组件依赖外部数据库，应对庞大且不断增长的数据集需要高效的检索算法。高昂的计算和内存需求也让 RAG 模型难以在实时或资源受限的环境中部署。
• 检索品质与相关性：保证检索文档的质量和相关性是个重要议题。检索模型有时可能返回无关或过时的信息，这会拉低生成内容的准确性。特别是在长篇内容生成方面，提升检索精确度仍是研究热点。
• 偏见与公正性：和其他机器学习模型一样，RAG 系统可能因检索数据集中的偏见而表现出偏见。基于检索的模型可能会放大检索知识中的有害偏见，导致输出也带有偏见。开发针对检索和生成的偏见缓解技术是个持续的挑战。
• 连贯性：RAG 模型常在把检索到的知识融入连贯、上下文相关的文本时遇到难题。检索内容与生成输出之间的衔接并不总完美，可能导致最终回答中间出现不一致或事实性幻觉。
• 可解释性与透明度：和很多 AI 系统类似，RAG 模型往往被视作不透明的黑箱操作。

6. 未来方向

6.1 强化多模态融合

在 RAG 模型中整合文本、图像、音频和视频数据，需要着力提升多模态融合技术，实现不同数据类型间的无缝交互。具体包括：研发更先进的方法来对齐和合成跨模态信息；需要更多创新来增强多模态输出的连贯性和情境适应性；提升 RAG 系统跨不同模态检索相关信息的能力。例如，结合文本查询与图像或视频内容检索，可以增强视觉问答和多媒体搜索等应用。

6.2 扩展性与效率

随着 RAG 模型在更广泛的大规模应用中部署，扩展性变得至关重要。研究应聚焦于开发高效扩展检索和生成过程的方法，同时不牺牲性能。分布式计算和高效索引技术对于处理庞大数据集至关重要。提升 RAG 模型的效率需要优化检索和生成组件，以减少计算资源和延迟。

6.3 个性化与适应性

未来的 RAG 模型应专注于根据个体用户的偏好和情境来个性化检索过程。这包括开发基于用户历史、行为和偏好调整检索策略的技术。通过深入理解查询和文档库的上下文和情感，增强 RAG 模型的上下文适应性，对提升生成响应的相关性至关重要。研究应探索基于互动上下文动态调整检索和生成过程的方法，包括把用户反馈和上下文线索整合进 RAG 流程。

6.4 伦理与隐私考量

解决偏见是未来研究的关键领域，尤其是针对 RAG 模型的偏见。随着 RAG 系统在多样化应用中的部署，确保公平性并减少检索和生成内容中的偏见至关重要。未来的 RAG 研究应聚焦于保护隐私的技术，在检索和生成过程中保护敏感信息，包括开发安全数据处理方法和隐私意识的检索策略。模型的可解释性也是持续改进 RAG 研究的关键领域。

6.5 跨语言及低资源语言支持

拓展 RAG 技术以支持多语言，尤其是资源匮乏的语言，是一个充满希望的发展方向。致力于提升跨语言检索与生成能力，确保在不同语言中都能提供准确且相关的结果。提升 RAG 模型对低资源语言的有效支持，需要开发在有限训练数据下进行内容检索与生成的方法。研究应聚焦于迁移学习与数据增强技术，以提高在边缘语言中的表现。

6.6 高级检索机制

未来 RAG 研究应探索能够适应变化查询模式和内容需求的动态检索机制，包括构建能根据新信息和用户需求演进而动态调整检索策略的模型。研究混合检索方法，结合密集检索与稀疏检索等不同策略，有望提升 RAG 系统的效果。研究应着眼于如何整合多样化的检索方式，以适应各种任务并达到最佳性能。

6.7 与新兴技术的融合

将 RAG 模型与脑机接口（BCIs）相结合，可能在人机交互和辅助技术领域开辟新应用。研究应探讨 RAG 系统如何利用 BCI 数据来提升用户体验和生成具有上下文感知的响应。RAG 与增强现实（AR）和虚拟现实（VR）技术的结合，为创造沉浸式互动体验提供了机遇。未来的研究应调查 RAG 模型如何被用于增强 AR 和 VR 应用，通过提供上下文相关的信息和交互，提升用户体验。