本教程详细解读了一个名为 Walk&Retrieve 的创新框架,该框架借助知识图谱(KG)自动生成语料,从而有效缓解大语言模型(LLM)在检索增强生成(RAG)过程中常见的“幻觉”问题。通过基于图遍历的语料生成与知识表示技术,该方案显著提升了答案的准确性与鲁棒性。下面我们将分步骤拆解其核心机制、实现流程以及实验表现。
1. 框架总览:Walk&Retrieve
Walk&Retrieve 的核心思路是:不再直接使用原始的文本语料,而是先从知识图谱中通过图遍历(随机游走或广度优先搜索)提取结构化路径,再将路径转换成 LLM 能够理解的文本句子,最后构建成索引库供检索问答使用。这种方法能够为零样本RAG(零样本检索增强生成)提供高质量、无幻觉的语料来源。

2. 语料生成(核心步骤)
语料生成是整个框架的基石。它从知识图谱中提取信息,并转化为适合 LLM 处理的文本格式。包含以下三个子步骤:基于图的遍历、知识表示和索引构建。
2.1 基于图的遍历
该步骤负责从知识图谱中提取节点和关系的序列。框架提供了两种遍历策略:随机游走和广度优先搜索(BFS)。
随机游走
- 原理:从一个节点出发,每次以均匀的概率选择当前节点的某个邻居节点进行移动,生成一条路径。重复多次形成语料库。
- 公式:对于每个节点 v,生成 k 条长度为 l 的随机游走路径 Wv。最终的语料库 C 是所有节点路径的集合。
- 优点:实现简单,特别适合大规模知识图谱场景。
- 缺点:容易产生重复路径和噪声,可能降低语料整体质量。
广度优先搜索(BFS)游走
- 原理:从根节点开始,逐层访问其邻居节点,构建层次结构。每层节点与根节点的最短路径距离相同,访问过程中确保每个节点只被访问一次。
- 公式:其中 dmax 是最大深度。
- 优点:避免了重复路径,生成的游走路径更加多样化,覆盖更全面。
- 缺点:计算复杂度较高,尤其在深度值较大时。
