在人工智能领域，RAG（检索增强生成）技术正面临一个关键难题——如何在切分文档时完整保留上下文信息。本文将系统梳理RAG在上下文处理上的核心挑战，并深入对比两种创新解决方案：Late Chunking（延迟切分）与Contextual Retrieval（上下文检索），帮助你在实际应用中做出最优选择。
---一、RAG技术基本原理及其面临的上下文挑战
1.1 什么是RAG？
RAG（检索增强生成）是一种将外部知识库检索与生成模型相结合的技术。其核心流程如下：
- 系统预先将知识库切分成许多小段并转换成向量，存入向量数据库
- 当用户提问时，系统检索与查询语义相似的文本片段
- 将这些片段附加在提示中提供给生成式模型，以提高回答的准确性
这种方法让模型能够利用外部知识回答问题，避免了模型单靠训练记忆可能出现的遗漏。
1.2 核心挑战：上下文丢失问题
传统RAG在对文档编码时往往丢失了重要的上下文信息，这导致检索到的片段并非真正相关的那部分内容。换句话说，如果将文档割裂后各自编码，很多语义关联会被打断，系统可能检索不到正确的知识，降低了RAG整体性能。
1.3 为什么上下文如此重要？
- 代词指代问题：片段中的“它”、“这”等代词，如果脱离了前文背景，模型无法理解具体指代什么
- 信息不完整：单独看一个片段可能缺乏时间、地点、主体等关键背景信息
- 语义失真：脱离全文上下文的片段向量，往往并不能反映其在原文中的真实语义
1.4 两种主流解决策略
为了解决这一上下文缺失的问题，业界提出了两种先进策略：
- Late Chunking（延迟切分）：从模型机制入手，先嵌入，后切分
- Contextual Retrieval（上下文检索）：在预处理阶段，为每个片段人为加入上下文信息