RAG系统的最终表现，高度依赖于检索文档的准确性与贴切程度。过去普遍采用的基于规则或语义相似度的文本分块方法，在捕捉句子间微妙的逻辑关系时常常捉襟见肘——难以真正理解上下文中的衔接与转折。

RAG流水线概览图：展示了基于规则、相似度及PPL分割的示例，相同背景色代表同一文本块。

为攻克这一难题，研究人员提出了名为Meta-Chunking的创新方案。该概念将粒度定义在句子与段落之间——由段落内具有深层语言逻辑联系的句子组合而成，核心目标是在文本切分时牢牢抓住逻辑连贯性。具体实现中，Meta-Chunking借助大语言模型提供了两种策略：边际采样分块（Margin Sampling Chunking）与困惑度分块（Perplexity Chunking）。

元块分割（Meta-Chunking）整体流程概览。每个圆圈代表一个完整的句子，长度不尽相同；垂直线标识分割位置。图底两侧分别展示了边缘采样分割（Margin Sampling Chunking）与困惑度分割（Perplexity Chunking）的原理。相同背景色的圆圈组成一个元块，通过动态组合使最终块长度符合用户需求。

Meta-Chunking的核心流程：

通过在11个数据集上进行系列实验，Meta-Chunking在基于RAG的单跳与多跳问答任务中表现更为出色。以2WikiMultihopQA数据集为例，相较传统相似性分块，其性能提升了1.32倍，而耗时仅占45.8%——效果接近翻倍，时间减半，这才是真正的关键突破。

五个问答（QA）数据集上的主要实验结果。前四个数据集来自LongBench。sent. 表示是否适合将两个句子分离，chunk则代表后一个句子是否适合与前方块合并。comb. 指先采用阈值为0的PPL分割（PPL Chunking）进行文本切分，再进行动态组合的流程。

此外，研究还探讨了不同模型规模对分块任务的影响，结论颇具启发性：中型模型（如1.5B参数级别）在性能与效率之间取得了最佳平衡——模型太小则不够智能，太大则速度欠佳，恰到好处才是最优解。

META-CHUNKING: LEARNING EFFICIENT TEXT SEGMENTATION VIA LOGICAL PERCEPTION  
论文地址：https://arxiv.org/pdf/2410.12788  
开源代码：https://github.com/IAAR-Shanghai/Meta-Chunking