一个月前，LlamaIndex 正式推出 LlamaCloud，这是一项覆盖托管解析、数据摄取与检索的全链路服务，旨在为 LLM 和 RAG 应用提供更可靠、更易落地的生产级上下文增强。它的核心组件之一是 LlamaParse——一款专为处理复杂文档（尤其是含有表格、图形的 PDF）而设计的解析工具。更关键的是，LlamaParse 能够与 LlamaIndex 的摄取与检索管道无缝集成，让你可以基于半结构化复杂文档搭建检索系统，回答以往几乎无法处理的复杂问题。与此同时，托管摄取与检索 API 也同步上线，大幅简化 RAG 应用在数据加载、处理和存储环节的工作量。 此前，我们一直在介绍如何借助文档解析流水线从文件中提取丰富内容（如纯文本），进而为更准确、更强大的 RAG 应用构建知识图谱。今天换个方向，重点聊聊如何将 LlamaParse 与 Neo4j 集成，实现同样的目标。 ### 高级流程 使用 LlamaParse 搭配 Neo4j 构建文档处理管道，大致可分为以下几个步骤： 首先，**环境准备**。从安装必要的依赖库开始，包括 LlamaParse 与 Neo4j 的数据库驱动，这是整个流程的基础。 接着是 **PDF 文档处理**。通过 LlamaParse 读取 PDF，提取其中的文本、表格、图像等信息，并将其转换为适合存入数据库的结构化格式。 然后是 **图形模型设计**。这一步需要规划如何利用图数据库的节点和关系来表示从 PDF 中提取出的实体及其关联，确保后续的查询与分析足够高效、直观。 接下来是**在 Neo4j 中存储数据**。编写代码连接 Neo4j，根据提取的数据创建节点、构建关系，并利用 Cypher 查询将数据库填充完整。 之后进行**文本嵌入的生成与存储**。沿用之前的做法，调用 OpenAI API 生成文本嵌入，并将这些嵌入作为向量数据存入 Neo4j。 最后是**数据的查询与分析**。使用 Cypher 查询检索并分析已存储的数据，借助 Neo4j 发现 PDF 内容中隐藏的洞见与关联。 ### 解析文档的图形模型 无论采用哪种 PDF 解析工具，只要最终结果以知识图谱的形式存入 Neo4j，图形模式实际上都非常简洁且统一。这一点值得注意，它意味着整个流程的核心框架是稳固的，工具更换但思路不变。 ### 解析 PDF 文档 如果使用全新的 LlamaParse PDF 阅读器来解析 PDF，整个过程只需两步： 一种方法是直接基于原始 Markdown 文本构建索引，挂载一个简单的查询引擎即可得到结果。另一种更推荐的做法是使用 `MarkdownElementNodeParser` 来解析 LlamaParse 输出的 Markdown 内容，然后生成一个递归检索器的查询引擎。这两种方式各有侧重，可根据实际需求灵活选择。 ```python from llama_parse import LlamaParse from llama_index.core.node_parser import MarkdownElementNodeParser pdf_file_name = './insurance.pdf' documents = LlamaParse(result_type="markdown").load_data(pdf_file_name) # Parse the documents using MarkdownElementNodeParser node_parser = MarkdownElementNodeParser(llm=llm, num_workers=8) # Retrieve nodes (text) and objects (table) nodes = node_parser.get_nodes_from_documents(documents) base_nodes, objects = node_parser.get_nodes_and_objects(nodes) ``` ### 查询文档图形 文档被摄入 Neo4j 后，大致形态如下所示。从图中可以直观地看到文本节点与表格节点之间的关系是如何构建起来的。 现在，我们可以将基于 GenAI Stack 构建的 RAG 解决方案指向这张图，并直接与文档知识图谱进行交互。这种能力对实际应用具有重要价值。 ### 结论 LlamaParse 确实是一款功能强大的 PDF 解析工具，无论面对结构化数据还是非结构化数据，它都能高效处理。其巧妙的算法设计与直观的 API，使我们能够轻松从 PDF 中提取文本、表格、图像和元数据，将原本繁琐的任务转化为顺畅的流程。 如果将这些提取出的数据以图形方式存入 Neo4j，效果又将迈上一个新台阶。在图数据库中表示数据实体及其关系，用户可以很容易地发现那些在传统关系型数据库中难以察觉的模式与连接。Neo4j 的图模型提供了一种自然、直观的方式去洞察复杂关系，大幅降低了进行复杂分析并获得可执行洞见的难度。 更令人欣喜的是，一致的文档知识图谱模式使得与其他工具的集成变得格外轻松。例如，利用 GenAI Stack（LangChain 和 Streamlit）构建检索增强生成等下游任务，可谓是水到渠成。 总体而言，LlamaParse 的提取能力与 Neo4j 基于图形的存储和分析能力相结合，为数据驱动决策打开了全新的可能性。它让我们对数据关系的理解更加精细，查询效率更高，并且能够随着数据规模与复杂性的增长而弹性扩展。这种协同效应不仅加速了从提取到分析的整个流程，也引领着一种更明智、更具策略性的数据管理思路。