传统RAG系统依赖向量数据库进行语义相似度检索,但面对长篇专业文档时,往往无法找到真正相关的内容。原因在于:相似度不等于相关性,而相关性需要推理能力。现在,PageIndex 带来了全新的思路——受AlphaGo启发,通过树搜索构建文档索引,让大语言模型(LLM)能够像人类一样思考和推理,精准定位所需信息。本教程将带你全面了解 PageIndex 的原理、使用方法以及如何构建基于推理的RAG系统。
一、传统RAG系统的局限与挑战
传统的基于向量的RAG系统依赖于语义相似性,而非真正的相关性。当处理需要领域专业知识和多步推理的专业文档(如财务报告、监管文件、学术教科书、法律或技术手册)时,相似度搜索常常不尽人意。原因在于:
- 语义相似 ≠ 内容相关:向量检索可能找到“看起来像”的句子,但忽略了文档内部的逻辑结构和上下文。
- 无法进行多步推理:例如,要回答“某公司在2023年的净利润增长率是多少?”,需要依次定位财务报告中的利润表、找到净利润数值、计算增长率,传统向量检索无法完成这种链式思考。
- 文档分块破坏了自然结构:人工或自动分块会割裂段落、表格和章节,导致信息丢失或错位。
核心痛点:我们需要的是能推理的检索系统,而非仅靠相似度匹配。
二、PageIndex的创新点:基于树搜索的文档索引系统
2.1 什么是PageIndex?
PageIndex 是一个由 Vectify AI 开发的文档索引系统,能将冗长的PDF文档转换为语义树结构,类似于一本专为大语言模型(LLMs)优化的“目录”。它特别适用于:财务报告、监管文件、学术教科书、法律或技术手册,以及任何超出LLM上下文限制的文档。
下图展示了PageIndex的基本概念:

2.2 主要特点
层次树结构
让大语言模型能够逻辑性地遍历文档——就像一个智能的、为LLM优化的目录。精确页面引用
每个节点都包含其摘要和开始/结束页面的物理索引,实现精准检索。无需人为分块
不使用任意分块。节点遵循文档的自然结构。适用于大规模文档
设计用于轻松处理数百甚至上千页的文档。
