RAG系统的关键环节在于精确地切分文档,以下五种策略能帮助你在语义完整性和检索效率之间找到平衡。接下来,我们将深入探讨文档切分的重要性,并逐一分析每种策略的细节、优缺点以及实际选型方法。
文档切分:RAG系统质量的“隐形开关”
RAG(检索增强生成)技术近年来发展迅速,已逐渐成为连接“生成能力”与“外部知识”的重要桥梁。关于RAG的详细介绍,可参考文章:什么是RAG?一文带你彻底弄懂检索增强生成技术。此前,我们已介绍过RAG系统中的文档解析环节(RAG 文档解析之 PDF 篇)。在完成文档解析获取原始数据后,由于数据量往往十分庞大,整体存储困难,且查询时通常只涉及其中某几个段落,因此需要借助文档分块技术将解析后的内容切割为适当大小的片段。
在构建RAG系统时,文档切分策略在很大程度上决定了模型检索的质量:切分得当,信息命中更准确,生成的回答也更具上下文逻辑;切分不当,AI的回答可能支离破碎,如同口吃一般。
文档分块技术在实际应用中面临着诸多挑战。首先是分块粒度的选择问题:如果分块过大,模型检索时可能引入大量无关信息,降低回答的精确度;如果分块过小,上下文可能被切断,导致模型缺乏完整语义,难以理解用户问题的背景。其次是语义完整性的核心难题。许多文档的结构并非严格按照段落划分语义,特别是在技术文档、法律条款或科研论文中,一个重要的论点往往跨越多个段落甚至页码。简单地按固定长度切分极易打断逻辑链条,使得模型接收到的信息与作者原本要表达的内容出现偏差。
接下来,我们将详细阐述五种RAG文档切分策略。

1. 固定大小切分
该策略将文档按照预设的字符数、词数或句子数进行等间距分割。例如,每个分块包含500个字符或5个句子。这种方法实现简单、速度快,但容易破坏语义边界,可能导致上下文丢失或内容重复。

