本次查询：Sliding Window Chunking
中文解释：滑动窗口分块
常见场景：大模型长文本处理
一句话解释
Sliding Window Chunking是一种将长文本切分成多个固定大小、且相邻块之间有部分重叠的片段的技术。
为什么会被关注
大语言模型对输入长度有限制，直接截断长文会导致信息丢失，尤其当关键信息跨越截断边界时。Sliding Window Chunking通过引入重叠区域，确保上下文在块与块之间连续。
在RAG（检索增强生成）和文档问答场景中，重叠分块能显著提高检索命中率，避免因分界线切割语义而遗漏相关片段。
核心逻辑
设定一个窗口大小（例如512个token）和一个步长（例如256个token）。从文档起始位置取第一个窗口，然后窗口向右移动步长，取下一个窗口，如此重复直到末尾。
步长小于窗口大小时，相邻窗口会存在重叠区域。这样每个被截断的语义单元（如句子或段落）都不会被完全切断，至少完整出现在一个块中。
常见场景
在构建知识库时，将长文档进行Sliding Window Chunking后向量化存储，用于语义搜索和问答系统。
长文本摘要任务中，先用重叠分块生成各块摘要，再合并得到全局摘要，避免中间段信息丢失。
在处理书籍、论文等超长内容时，将文本按重叠窗口分批送入LLM进行推理或微调。
容易混淆的点
与固定长度分块的区别：固定分块无重叠，切分边界生硬；Sliding Window Chunking保留边界上下文，但会引入数据冗余。
与递归分块的区别：递归分块按语义边界（如段落）拆分，不依赖固定窗口；Sliding Window Chunking是纯基于位置的分割，不保证自然语义完整。
重叠比例并非越大越好：过度重叠增加计算量和存储成本，通常10%-50%重叠率即可平衡效果与效率。