全新视角:基于 RAG 思路构建文档级知识图谱
传统的知识图谱构建方法在处理长文本时,往往面临长距离信息遗忘、复杂实体消歧难题以及跨文档知识融合不足等挑战。本文介绍的 RAKG 框架(Retrieval-Augmented Knowledge Graph)通过融合 RAG(检索增强生成)理念,提供了一套自动化构建文档级知识图谱的创新范式,显著提升了长文本场景下的知识抽取与整合能力。
方法
RAKG 框架的整体流程如下:先对文档进行句子分割与向量化处理,提取初步实体,并执行实体消歧与向量化。处理后的实体通过语料库回顾检索获取相关文本,同时进行图结构检索以关联已有知识图谱。随后,利用 LLM 整合检索信息来构建关系网络,这些网络针对每个实体进行合并。最后,新构建的知识图谱与原始知识图谱相融合,形成更完备的文档级知识体系。
A. 理想知识图谱的假设
RAKG 假设存在一个理论上最优的知识图谱构建过程,该过程能将文档转化为理想的完备知识图谱。这个理想图谱可用数学形式表示,包含文档中全部语义关系。实际构建的目标是尽可能逼近这一理想状态,从而提升知识图谱的完整性与准确性。
B. 知识库向量化
RAKG 将文档和知识图谱进行向量化处理,以支持后续的检索与生成操作。
- 文档分块与向量化: 文档被分割成多个文本块(chunks),通常以句子为基本单位。每个文本块被向量化,便于后续处理分析。与 RAG 类似,这种方法可减少 LLM 每次处理的信息量,同时保持每个片段的语义完整性,从而提升命名实体识别的精度。
- 知识图谱向量化: 初始知识图谱中的每个节点(如实体)通过提取其名称和类型进行向量化。采用 BGE-M3 模型进行向量化,便于在检索过程中高效匹配。
