检索增强生成（RAG）技术虽然能有效扩展大语言模型的知识边界，但在实际部署中，如何高效管理超长上下文始终是一大痛点。本教程将带你深入剖析RAG在应对长上下文时的核心挑战，并系统梳理四种主流优化策略，帮助你打造更精准、更高效的RAG系统。
大型语言模型的上下文长度限制及其影响
传统的大型语言模型（LLM）存在固定的上下文窗口限制，这决定了单次用户与模型交互中可处理的信息量上限，是其关键瓶颈之一。解决这一局限始终是LLM研发社区的核心方向，也促使业界更深入地认识到：扩展上下文长度对于生成连贯、准确回复具有重要价值。例如，2020年发布的GPT-3仅支持2048个token的上下文，而其后续更强版本的GPT-4 Turbo（2023年推出）已能在单个提示中处理高达128K个token。毋庸置疑，这意味着用户可以在一次交互中处理整本书——比如对其进行摘要总结。
另一方面，检索增强生成（RAG）通过整合来自向量数据库等外部检索文档的知识，来提升LLM输出的上下文相关性与准确性。然而，在RAG系统中管理上下文长度依然是一项挑战：在许多需要大量上下文信息的场景中，必须对检索到的信息进行有效筛选与聚合，使其保持在LLM的输入限制内，同时不丢失关键知识。
小提示： 上下文长度并非越大越好。当输入超过一定阈值时，LLM可能会“迷失”在冗长文本中，导致注意力分散。因此，合理的上下文管理比单纯扩大模型窗口更为关键。
RAG中的长上下文管理策略
RAG系统提供了多种策略，可以在将用户初始查询传递给LLM之前，尽可能多地整合检索到的相关知识，同时确保不超出模型输入限制。以下概述了四种策略，从简单到复杂递进。
1. 文档分块
文档分块通常是最基础的方法，它将向量数据库中的文档拆分成更小的片段。虽然初看并不直接，但该策略可通过多种方式帮助克服RAG系统中的上下文长度限制——例如在保持块内语义完整性的同时，降低检索到冗余信息的风险。
- 核心思想： 将长文档切割为语义连贯的段落或章节，便于后续检索与拼接。
- 注意点： 块大小需根据LLM的上下文窗口和任务复杂度动态调整，过大浪费上下文，过小则丢失语义连贯性。
小提示： 实践中可尝试 重叠分块（Overlapping Chunks）策略，让相邻块间保留少量重叠内容，避免因切割造成信息断层。
2. 选择性检索
选择性检索是指对大量相关文档进行过滤，仅提取最相关的部分，从而缩小传递给LLM的输入序列大小。通过智能筛选检索结果中需要保留的片段，其目标是避免引入无关或低价值信息。
- 常见方法： 使用重排序（Re-ranking）模型对初检结果打分，只保留top-k个最相关块。
- 优势： 能显著压缩上下文，同时保留核心知识。
3. 有针对性的检索
虽然与选择性检索类似，但定向检索的本质是带着明确的意图或预期的答案来检索数据。这通过针对特定查询类型或数据源优化检索器机制实现，例如构建专门用于医学文本、新闻文章、最新科学突破等的检索器。简而言之，它是一种进化且更专业的选择性检索形式，并融入了领域特定的筛选标准。
- 实现方式： 训练专门的嵌入模型或使用领域微调的检索管道。
- 适用场景： 专业问答系统（如法律、医疗、科研）中，通用检索器难以精准捕捉领域语义。
4. 上下文摘要
上下文摘要是RAG系统中一种更复杂的上下文长度管理方法，它在构建最终上下文的过程中运用文本摘要技术。一种可行的方法是使用一个额外的语言模型（通常规模较小且经过摘要任务精调），对检索到的大量文档进行总结。摘要方式可以是提取式或抽象式：提取式识别并提取相关文本段落，抽象式则从头生成摘要，对原始文本进行重新表述与精简。此外，一些RAG方案还采用启发式方法评估文本片段（如文本块）的相关性，并舍弃相关性较低的块。
小提示： 提取式摘要能保留原文关键表述，适合严谨场景；抽象式摘要更灵活，但可能引入幻觉。建议根据任务对准确性的要求进行选择。
策略对比一览
| 战略 | 概括 |
|---|---|
| 文档分块 | 将文档分割成更小、更连贯的块，以保留上下文并减少冗余，同时保持在LLM限制内。 |
| 选择性检索 | 过滤大量相关文档，仅检索最相关的部分，从而最小化无关信息的干扰。 |
| 目标检索 | 使用专门的检索器针对特定查询意图进行优化，加入领域特定标准来提升结果质量。 |
| 上下文摘要 | 采用提取或抽象摘要技术压缩大量检索内容，确保将必要信息传递给LLM。 |
长上下文语言模型与RAG的取舍
那么长上下文LLM如何？是否有了它们就不需要RAG了？
这是一个值得深思的问题。长上下文LLM（LC-LLM）是能接受极长输入标记序列的“超大型”模型。尽管研究证据显示LC-LLM在某些任务上性能可能优于RAG系统，但后者仍有独特优势，尤其是在需要动态实时信息检索和成本控制的场景中。在这些应用中，值得考虑使用封装了上述策略的小型LLM的RAG系统，而非直接使用LC-LLM。两者都不是万能方案，它们各自在适合的环境中才能发挥最佳效果。
常见问题（FAQ）
- Q1：为什么RAG系统必须管理上下文长度？
- 因为LLM（即使是长上下文模型）仍存在严格上限（如128K token），而检索结果可能远超此限制。若不管理，会导致信息丢失或输入被截断。
- Q2：长上下文LLM能完全取代RAG吗？
- 不能。LC-LLM适合一次性加载大量静态文本（如整本书），但RAG在实时更新（如新闻、数据库）和成本控制方面更具优势——使用小模型搭配摘要策略比直接使用大模型更经济。
- Q3：四种策略应该如何选择？
- 简单场景可先用“文档分块”+“选择性检索”；专业领域推荐“目标检索”；当上下文仍超标时，搭配“上下文摘要”进一步压缩。
- Q4：上下文摘要是否会丢失关键信息？
- 有可能。建议使用提取式摘要保留原句，或设置最大摘要长度并定期评估召回率。必要时可保留分块索引，方便溯源。
小结
本文介绍并阐述了在RAG系统中管理上下文长度的四种策略，以及在LLM单次交互输入长度受限的条件下处理长上下文的方法。虽然近年来使用长上下文LLM逐渐成为应对此问题的趋势，但在某些场景下坚持使用RAG系统仍具有价值，尤其是需要实时更新上下文的动态信息检索场景。通过合理选择并组合以上策略，你可以在不依赖超大模型的前提下，有效应对长上下文带来的挑战。