本次查询：Chunking
中文解释：数据分块 / 文本切块
常见场景：自然语言处理与知识库构建
一句话解释
Chunking 就是把一段超长的文章或数据切成若干个小块（Chunk），让 AI 模型能一次处理完而不被信息量撑爆。你可以把它想象成拆解一本厚书：先分成章节，再切出关键段落，模型读起来才高效。
为什么会被关注
大模型有上下文窗口限制（比如 4K、8K 或 128K 个令牌），超出范围就无法直接理解。Chunking 通过合理切分，让模型只加载相关片段，既节省计算资源又提升回答精度。
尤其在 RAG（检索增强生成）应用中，文档必须先切块再存进向量数据库。如果切得太碎，信息丢失；切得太大，检索噪声多。因此 Chunking 成了影响系统质量的关键变量。
核心逻辑
Chunking 的核心是“语义完整性与尺寸限制的平衡”。常见方法有固定长度切分（按字符或令牌数）、递归切分（先按段落再按句子）、以及基于语义的切分（用嵌入模型判断边界）。
优秀的分块策略会保留相邻句子的逻辑关联，避免把一个完整的含义割裂到两个块里。同时要考虑模型令牌上限和检索召回率，通常块大小在 200-1000 个令牌之间。
常见场景
知识库问答：将企业文档（手册、报告）切块后存储，用户提问时检索最相关的几个块送入大模型生成答案。
长文本摘要：先切块分段摘要，再合并摘要结果，避免一次性处理超长文本导致的遗漏。
代码补全与理解：将代码库按函数、类切块，帮助模型精确理解局部逻辑。
容易混淆的点
Chunking ≠ Tokenization。Tokenization 是模型把文本转成数字表示，由模型内置分词器完成；Chunking 是人为或程序策略，属于上层应用设计。
Chunking 不是切得越细越好。过度切分会破坏语义连贯性，导致检索结果碎片化；太粗则可能一块就塞满上下文窗口，失去灵活检索的优势。