在检索增强生成（RAG）领域，一个关键性的转变正在发生。传统RAG系统一直面临着检索单元过短的问题，这导致了信息碎片化和检索器负担过重。而LongRAG的提出，可以说为这个困境提供了一个全新的解法——它直接将检索单元的长度扩展至4,000个token。这听起来像是一个简单的参数调整，但其背后的逻辑和效果，却深刻地改变了检索器与阅读器之间的分工格局。

简单来说，LongRAG的思路就是：让检索器干少活、干粗活，让阅读器干重活、干细活。传统RAG中，检索器需要从海量的短片段里找出最相关的几个，这就像在针堆里找针，不仅计算开销大，还容易遗漏关键上下文。而LongRAG通过使用更长的检索单元，大幅减少了需要处理的单元总数，让检索器的工作量降了下来，同时却提升了信息召回率。更关键的是，它借助长上下文大语言模型，实现了无需训练的零样本答案提取，这意味着在不需要额外微调的情况下，就能拿到极具竞争力的结果。

传统RAG的局限：问题到底出在哪？

要理解LongRAG的价值，得先看清传统RAG的“软肋”。这些问题几乎是系统性的，并非某个环节的小瑕疵。

检索单元过短：传统RAG惯用的100字段落或片段，看似精细，实则带来了严重的“信息孤岛”效应。许多复杂查询需要的不是孤立的事实，而是跨段落、跨章节的连贯理解。当一个问题的答案分散在多个短片段中时，碎片化信息几乎必然导致答案的偏差或遗漏。

计算开销巨大：单元越短，数量就越多。这意味着索引构建和检索过程需要面对一个庞大的离散文本块集合。在计算资源和时间成本上，这都是一笔不划算的买卖，尤其是在需要处理海量文档的场景下。

语义不完整：短单元的另一个致命伤是丢失了关键的上下文。比如，一个段落的结论性语句，如果没有前文的论证过程作为支撑，其含义可能是模糊甚至错误的。这种语义上的不完整，直接拉低了模型生成连贯响应的能力。

依赖大量训练：为了弥补上述缺陷，传统RAG往往需要针对特定数据集进行深度微调。这不仅资源密集，更限制了模型在不同领域间的灵活迁移能力。每换一个场景，就得重新投入训练资源，这显然不是长久之计。

检索器与阅读器间的失衡：这也许是结构上最根本的问题。检索器被推到一线，承担着从海量数据中精准筛选的重任；而阅读器只需处理几个孤立的短片段，任务轻松但“巧妇难为无米之炊”。这种责任倒挂，让整个系统的性能天花板被压得很低。

LongRAG正是抓住了这些痛点，逐一给出了碘伏性的解法。

LongRAG的核心：把“全貌”交给阅读器

LongRAG的策略很直接：将检索单元从100词扩展到4,000个token。这意味着它能一次性检索整篇文章或数个连贯的大段落。这个变化带来的连锁反应是深远的。

首先，检索单元数量急剧减少。更大的单元意味着更少的索引条目，搜索空间大幅压缩，检索效率和速度都得到了实质性提升。

其次，信息密度和完整性显著增强。大单元能够捕获更全面的上下文，确保查询所需的背景信息和支撑论据被完整呈现。对于需要多跳推理的复杂问题，这种完整性至关重要。

再者，上下文理解能力飞跃。当模型看到的是前后逻辑连贯的完整文本块时，它对语义的把握能力自然更强。那些散落在不同段落间、需要相互印证才能得出的答案，现在能被更准确地识别和提取出来。

此外，整体计算开销不升反降。虽然单个单元变大了，但由于单元总数大幅减少，系统在处理和存储上的总负载反而得以降低。这种效率优势在大规模应用中尤其明显。

最后，阅读器成了最大的赢家。它接收到的输入不再是干巴巴的片段，而是信息丰富的上下文。这使得阅读器能够充分发挥长上下文大语言模型的能力，进行更精确、更具上下文意识的答案生成。这才是核心所在——不是让检索器更聪明，而是让阅读器看得更远、想得更全。

性能表现：数据不会说谎

在HotpotQA开发集上的对比结果，清晰地展示了这一策略的效果。与三组基线模型——包括直接向大语言模型提问的闭卷模式、需要全监督训练的RAG、以及无微调的RAG——相比，LongRAG的表现引发了关注。

具体来看，它不仅在检索召回率上实现了显著提升，更在无需训练的情况下，达到了甚至超越了需要大量监督数据训练的传统RAG模型。这充分证明了“长单元+长上下文大语言模型”这一组合的巨大潜力。它绕开了繁琐且昂贵的微调过程，直接通过改变数据结构和利用模型本身的长文本处理能力，就实现了性能的飞跃。

可以说，LongRAG为RAG系统的发展指明了一个清晰且务实的方向：与其在短片段上精细化地“卷”检索能力，不如退一步，通过扩展检索单元来重构系统的整体分工。当阅读器被给予足够的上下文，它的表现远超我们的预期。

参考：

1.https://github.com/TIGER-AI-Lab/LongRAG/

2.https://arxiv.org/abs/2406.15319