文档切块（Chunking）是提升RAG（检索增强生成）系统性能的关键技术。当大模型面对超长文本时，合理地将文档拆分为小块，既能保留上下文连贯性，又能适配模型的token限制。本教程系统梳理了15种实用Chunking策略，涵盖核心原理、适用场景、优缺点及代码示例，帮助您为业务场景选择最优方案。

1. Chunking技术对RAG系统性能的决定性影响

在RAG（检索增强生成）系统中，Chunking是指将大文档拆分成小片段，以便模型更高效地理解和检索信息。为什么不能直接把整篇文档丢给模型？原因包括：

• 大模型存在token限制（如GPT-4最多支持8K tokens）；
• 文档过长，模型容易“遗漏”关键信息；
• 不进行切块，检索系统难以精准定位答案。

关键认识：Chunking并非简单的“切割”，而是在“保留上下文”与“适配模型能力”之间寻求平衡。

2. 文档切块的三大核心考量因素与平衡技巧

2.1 块的大小（Chunk Size）

• 过大：容易超出token限制，检索速度变慢；
• 过小：上下文丢失，生成质量下降；
• 建议：根据模型token上限，控制在100~500 tokens之间。

2.2 上下文保留（Context Preservation）

• 切块不能“断句断意”，否则模型会“理解偏差”；
• 采用滑动窗口、语义切块等方式，能有效保留上下文信息。

2.3 多模态处理（Modality Handling）

• 文档中可能包含表格、图片、代码块；
• 不同类型的内容需要匹配不同的切块策略。

小提示：在实际项目中，可先根据文档类型预估块大小，再通过检索效果（如Recall、Precision）反向调整优化。

3. 15种实用Chunking方法详解（含代码示例与应用场景）

3.1 固定大小切块（Fixed-Size Chunking）

核心原理：按固定词数或token数进行切分。

• 适用场景：结构简单的小文档。
• 优点：实现简便，速度快。
• 缺点：可能切断句子，丢失语义。

def fixed_size_chunk(text, max_words=100):
    words = text.split()
    return [' '.join(words[i:i + max_words]) for i in range(0, len(words), max_words)]