大型语言模型（LLM）展现出了强大的能力，但同样存在明显的短板：上下文窗口受限，知识库缺乏动态更新。为弥补这一缺陷，检索增强生成技术（RAG）得到了广泛应用。然而，许多RAG方案仅通过语义相似度检索与问题匹配的小文本片段，如同盲人摸象，难以把握宏观主题或复杂观点。知识图谱增强检索（KGAR）正是为解决这一挑战而提出的新范式。

1 关键信息

导师：安娜·戈尔迪
外部合作者：无
共享项目：否

2 简介

知识图谱是一种以图结构表达实体及其关系的先进数据模型，其中节点代表实体，边表示实体间的关联。以《哈利·波特》系列为例，构建的知识图谱中会有一个代表“哈利”的节点，通过多条边连接他与其他角色的行动、关系和观点。这种结构化信息在知识图谱数据库中进行查询和检索时极为高效，为知识图谱增强检索（KGAR）奠定了基础。

相比之下，LLM以参数化形式将知识编码在自身参数中，擅长处理广义知识和语言任务，但在面对特定领域或最新信息时往往表现不佳。更棘手的是，LLM容易产生“幻觉”现象，且难以追溯信息来源。早期通过额外微调向LLM注入外部知识的方法，随着模型规模持续扩大、微调时间不断延长以及数据频繁更新，逐渐变得不可持续。这正是知识图谱增强检索（KGAR）技术需要解决的核心问题。

在此背景下，RAG技术应运而生。它通过检索与问题相关的文档，并在推理阶段将这些文档作为额外上下文提供给LLM，从而实现外部知识注入。经典RAG方法将文档切分为小片段以适配LLM有限的上下文窗口，检索时依据文档与问题之间的语义相似度进行匹配。对于“给我讲讲哈利·波特”这类主题明确、内容单一的问题，RAG技术表现相当出色。

斯坦福大学 CS224N 深度学习与自然语言处理课程

例如，检索“哈利·波特”相关的文档片段后，LLM即可利用这些信息准确回答问题。

然而，问题也随之显现。文本切分会导致语义丢失，片段之间缺乏整体性理解，部分问题甚至无法检索到相关文档。对于需要跨多个概念和想法进行复杂推理的查询，传统RAG技术难以生成扎实准确的结果。以“总结哈利·波特在所有书中的行为后果”为例，需要先检索所有描述哈利行为的文档，再找出每种行为的后续影响——这些信息可能散布于整部作品中。缺乏对文档的全局理解，仅依赖语义相似度检索，几乎不可能完成这一任务。知识图谱增强检索（KGAR）正是为突破这一局限而设计。

这自然引出一个思路：LLM擅长推理，知识图谱精于存储，两者恰好互补。本文提出了一种新颖的RAG框架——知识图谱增强检索（KGAR），将知识图谱数据库与LLM驱动的组件深度融合。目标是整合双方优势，解决现有RAG技术和LLM各自面临的局限——具体而言，是将LLM强大的泛化推理能力与知识图谱高效、可靠的信息存储机制有机结合。

该框架的实现思路如下：首先将原始查询分解为若干子查询，然后利用这些子查询在预先构建的知识图谱数据库中检索相关实体。基于知识图谱的查询结果，返回结构化的实体属性及外部关系列表。随后，对这些结构化信息进行总结，并生成候选邻居节点以继续遍历。从候选节点出发，重复遍历与查询过程，直至达到预设深度。每一步遍历中，都会对结构化信息进行总结，并对相关文档执行向量相似度搜索。最终，将收集到的节点摘要、相关文档及子查询整合为上下文，交由LLM回答原始问题。图1完整展示了这一流程。

图1：方法的完整流程。

3 相关工作

3.1 摘要型RAG

传统RAG方法将长文档切割为固定大小的片段，导致对文档整体内容的理解受限。为应对这一挑战，摘要型方法应运而生，旨在提供对文档的全局理解。通过摘要摘录或递归摘要文本块，这些方法能够按顺序捕获更广泛的主题。RAPTOR是一种较新的思路，它递归地对语义相似的文档文本块进行摘要，以捕获文档中可能不相邻但更宏大的主题。然而，仅依赖语义相似的块聚类，会忽略那些概念相关但缺乏语义相似性的想法。理想情况下，应跨整个块组合空间进行摘要，但这在计算上代价高昂。

3.2 基于图的RAG

基于知识图谱的RAG方法在过去一年中得到了广泛探索。Neo4j提出了一种基于图的RAG方案，在基于查询相似性返回相关文档的同时，额外返回查询的知识图谱信息。这意味着返回的文档仍然是标准RAG技术的结果，但附带了知识图谱提供的背景信息。微软研究院开发的GraphRAG利用知识图谱，基于语义相似的聚类创建摘要，有效解决了前述问题。该方法能够考虑语义结构，并在多个文档之间提供更高层次的视图。然而，对节点和文档进行聚类并递归创建摘要，随着文档规模扩大，成本急剧上升。我们的思路与GraphRAG和RAPTOR不同，我们认为在推理过程中，可能无需在聚类或块之间进行预摘要。

3.3 查询

思维链引导是一种提升LLM推理能力的有效方法，它引导模型逐步解决问题。通过综合子问题的答案，LLM能够生成更符合逻辑的回应。类似地，多查询检索技术会提示LLM生成多个子查询，再利用这些子查询检索文档。通过生成子查询，目的是构建语义更明确、更专业化的查询，以检索到更相关的文档。这一理念在检索阶段实现了更精细的分工，也被我们用作查询系统的重要组成部分。

4 方法论

4.1 概述

我们对RAG的处理分为两个不同阶段。首先，对文档进行预处理，构建知识图谱数据库。这一步基于现有库和实现进行调整，稍加修改以涵盖更广泛的实体和关系。知识图谱构建完成后，进入第二阶段——查询处理。这一步从零开始实现，利用LangChain库构建提示链、结构化输出生成、图搜索及向量相似度搜索。

4.2 预处理信息

在查询之前，需要从文档中构建知识图谱数据库。具体流程如下：首先将每个文档切分为约200 tokens的小片段，采用按字符递归切分的方式，以保留句子和段落的语义完整性。切分完成后，使用GPT-4作为LLM解析这些片段，提取真实世界的人物、对象实体及其关系。虽然此处选用GPT-4，但出于成本考虑，也可替换为更小的模型。提取节点和边之后，填充知识图谱数据库。需要注意的是，除提取的节点和边外，知识图谱数据库还用于存储原始文档片段及其对应的向量嵌入。

图2：使用LLMs构建知识图。

4.3 查询

基于构建好的知识图谱数据库，可以定义查询过程。使用GPT-4作为LLM进行查询的流程包括以下步骤：

1. 首先，通过思维链提示引导LLM生成一系列回答所需子查询，重点确保每个提示的多样性。设定最大子查询数量参数。对每个生成的子查询，提取相关实体节点，并在知识图谱数据库中进行查询，以生成结构化的节点关系信息。

2. 对每个子查询的结构化输出进行总结，并寻找可能有助于回答问题的相邻节点。将总结与原始子查询组合成字符串，利用OpenAI Embeddings转换为向量嵌入。随后，在原始文档块的向量存储中执行向量相似度搜索，使用余弦相似度分数作为评分指标（也可替换为其他指标）。返回最相似的k个文档（top_k为预设参数），同时返回下一个相邻节点。

3. 为高效存储和查找，文档与下一个相邻节点作为独立集合分别维护。对于下一个相邻节点，根据设定的max_depth参数重复步骤2和3。例如，max_depth=2表示需要额外完成一次遍历。

最后，将子查询、节点关系摘要及原始文档整合为上下文，返回给LLM以回答最初提出的问题。

5 实验

5.1 数据

为评估文档检索能力，实验选用QuALITY数据集。该数据集包含英文长篇章节（约2000-8000词），每个章节附带一系列多项选择题及答案对，使我们能够以准确率作为评估指标，而非BLEU或METEOR等相似度指标。

图3：来自知识图谱查询的检索管道的样本结构化输出

5.2 评估方法

评估采用准确率作为指标，答案选项为多项选择。通过结构化输出的LLM调用，为每个答案选项生成整数索引。使用开发集进行评估，因为测试集不包含带注释的真实标签。定性评估利用架构各步骤的记录输出，针对不同架构选择进行消融研究。

5.3 实验细节

所有任务均使用GPT-4，设计配置参数固定为：max_sub_queries=3，top_k=3。知识图谱通过对QuALITY数据集中长上下文段落进行预处理创建。由于未采用并行化请求，创建过程较为耗时。利用构建好的知识图谱，在多种架构选择中进行测试。结果表明，本文提出的设计范式表现最佳。

图 4：从QuALITY构建的知识图。

5.4 结果

实验首先以GPT-4和标准RAG方法（使用余弦相似度检索相关文档）作为基线，准确率为64.7%。随后测试了仅包含知识图谱检索系统（无源文件，深度为1）的配置，即回答问题时不检索或包含原始源文件作为上下文，仅包含从知识图谱查询构建的摘要。深度为1表示不会沿任何候选下一个节点继续遍历。

该配置的准确率显著低于基线，说明仅从知识图谱查询返回的信息不足以支撑回答，缺乏实际文档片段的支持。基于此结果，继续测试了相同配置但增加深度的情况，准确率仅略有改善，凸显了包含文档片段的重要性。

下一个结果是实施完整流程后得到的。改变遍历最大深度，当深度从1增加到3时，准确率分别为69.3%、76.1%和70.9%。这一结果值得关注：增加遍历深度并未提供提升准确性的有意义信息。可能原因是上下文中引入了额外噪音，或文档间存在实体冲突。然而，一个显著发现是：由结构化知识图谱信息返回的额外上下文，明显提高了基线准确性。具体而言，深度为2时准确率提升超过10%。

表1：使用GPT-4在QuALITY数据集的开发集上的性能。

与QuALITY数据集上的准确性进行比较时，无法直接进行数据对比，因为RAPTOR的准确性是在测试数据集上或使用GPT-3在开发数据集上报导的。作为一种粗略比较，RAPTOR + GPT-4在测试数据集上达到了82.6%的准确率。总体而言，这些初步结果表明，在中等长度数据集上，无需对文档进行大量预处理，也能在问答任务上取得相似的成功。

6 分析

分析过程中，观察到了多种架构选择中呈现的失败与成功模式。实验阶段记录了中间输出，这些输出被用于完成定性分析。

失败模式

主要问题出现在检索结构化知识图谱信息并进行总结的环节。理解知识图谱方法在无源文件情况下失败的关键在于：许多子查询生成的知识图谱实体和关系，根本无法回答子查询。因此，模型使用最终上下文时，缺乏具体数据支撑潜在声明。

在理解深度带来的错误模式时，还分析了候选节点的生成方式及哪些节点被用于遍历。对于大多数查询，尽管设定了最大深度为3，模型通常仅完成一次遍历。原因在于系统会对已查询实体进行过滤，仅选择遍历新实体。这一发现有些出乎意料，它限制了知识和背景向更广阔领域扩展的可能性。

图5：中间步骤示例成功输出

未来可尝试采用不同方法检索更多样化的潜在实体集合。

成功模式

成功模式主要出现在子查询能被准确回答的场景中。即使子查询无法从知识图谱查询和总结中检索到相关信息，仍可通过多查询向量化来回答问题。此外，在子查询未被回答的样本中，返回的文档可作为上下文补充。这充分表明，同时返回结构化和非结构化数据具有显著优势。

7 结论

在本项目中，我们尝试使用知识图谱进行RAG任务的实验，主要关注中长文档的多项选择问答表现。结果表明，该方法实现了与摘要型RAG技术相似的性能，且无需使用昂贵的摘要方法对数据进行预处理。

然而，知识图谱的真正力量在于通过节点连接大量不同文档中的思想。在对中长篇文档进行测试时，可能并未充分利用知识图谱的潜力。同样，可以通过构建LLM过滤器或自定义查询来更高效地查询知识图谱。未来工作希望通过对多跳数据集进行评估，进一步探索知识图谱如何增强LLM，使其具备跨外部多样化知识库进行推理的能力。

伦理声明

需要承认，本文提出的架构及对知识图谱的探索是一种成本较高的解决方案，对许多人而言门槛较高。在本文测试中，可用的token积分和企业账户使我们能够在无速率限制的条件下进行实验。测试其他架构（如RAPTOR）时，同样需要具备较高速率限制和非微不足道预算的账户。为降低这些方案的测试门槛，提供对先前构建的知识图谱数据库或大型数据集上递归总结的文档结构的公共访问，将使研究人员无需为构建这些结构进行财务投资即可开展测试。

拥有大型数据库和知识存储库，也存在数据集中的偏见以及不公平访问大型数据集的风险。关于偏见问题，RAG方法提供了引用检索文档的机制，为解释LLM推理过程提供了透明途径。但LLM仍可能展现出编码在参数中的偏见，或即使加入上下文也可能出现幻觉。使用RAG应用的用户，尤其是在进行关键决策时，在解释响应时应保持谨慎。作为创建者和研究者，我们有责任实施保障措施和用户界面功能，让用户了解相关风险。为解决RAG可能导致的数据访问不公平问题，现实中已存在大型企业拥有私人数据集和文档的不均衡现象。借助RAG的有效性，这些机构能够访问私人信息并利用其中的知识。但反过来，RAG也允许更广泛地利用外部数据库进行分析。通过整理个人数据收集，用户可以在大型文档中进行复杂分析。总体而言，为减少不公平访问，建议机构在咨询专注于人工智能政策的第三方机构后，将大数据公开并确保可访问，同时保证不发布有害数据。

参考文献

Zhuo Chen, Yichi Zhang, Yin Fang, Yuxia Geng, Lingbing Guo, Xiang Chen, Qian Li, Wen Zhang, Jiaoyan Chen, Yushan Zhu, Jiaqi Li, Xiaoze Liu, Jeff Z. Pan, Ningyu Zhang, and Huajun Chen. 2024. Knowledge graphs meet multi-modal learning: A comprehensive survey.

Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, and Jonathan Larson. 2024. From local to global: A graph rag approach to query-focused summarization.

Tianyu Gao, Howard Yen, Jiatong Yu, and Danqi Chen. 2023. Enabling large language models to generate text with citations.

Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang. 2024. Retrieval-augmented generation for large language models: A survey.

LangChain. 2024. "https://api.python.langchain.com/en/latest/character/langchain-textsplitters.character.RecursiveCharacterTextSplitter.html".

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. 2021. Retrieval-augmented generation for knowledge-intensive nlp tasks.

Neo4J. 2024. Knowledge graph for rag. https://neo4j.com/developer-blog/knowledge-graph-rag-application/.

Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, and Xindong Wu. 2024. Unifying large language models and knowledge graphs: A roadmap. IEEE Transactions on Knowledge and Data Engineering, 36(7):3580–3599.

Richard Yuanzhe Pang, Alicia Parrish, Nitish Joshi, Nikita Nangia, Jason Phang, Angelica Chen, Vishakh Padmakumar, Johnny Ma, Jana Thompson, He He, and Samuel R. Bowman. 2022. Quality: Question answering with long input texts, yes!

Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, and Christopher D. Manning. 2024. Raptor: Recursive abstractive processing for tree-organized retrieval.

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le and Denny Zhou. 2023. Chain-of-thought prompting elicits reasoning in large language models.

Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nisan Stiennon, Ryan Lowe, Jan Leike, and Paul Christiano. 2021. Recursively summarizing books with human feedback.