先抛出一个核心问题：RAG技术通过给大模型提供“开卷考试”的方式来增强能力，效果确实显著。但在实际应用中，其表现与配置方式高度相关——那么，究竟如何配置RAG才能达到最优效果？为了探究这一问题，我们创新性地提出了RAGGED框架，专门用于分析和优化RAG系统。
框架
为了确定最优的RAG设置，需要将系统拆解并逐项测试。研究将RAG划分为三大核心组件：检索器（Retriever）、文档（Documents）和阅读器（Reader）。
随后，围绕以下三个方面进行参数调整，以探索最佳组合：
- RAG组件选择：例如选用BM25或ColBERT作为检索器，LLaMa2或FlanT5作为阅读器，以及输入长度上限的设定。
- 检索段落数量（记为n）：我们从1到100逐步测试，发现关键性能变化主要集中在n≤30的范围内。
- 数据切片策略：例如，根据“前n个段落是否包含金标准段落”进行分片分析。
数据集
为确保结论的普适性，实验覆盖了以下三类代表性数据集：
- Natural Questions：选自NQ数据集（Kwiatkowski等，2019），适用于开放域单跳问答场景。每个问题均来自Google真实用户搜索，且至少包含一个金标准相关段落和一个简短答案。我们采用了KILT版本（Petroni等，2021）。
- HotpotQA：来自Yang等（2018），专注于具有挑战性的多跳推理问题。每个问题需要至少两个段落的联合推理才能解答。与NQ共享相同的维基百科领域，便于对比模型在多证据片段上的推理能力差异。
- BioASQ：选取任务11B（Krithara等，2023），代表生物医学领域的专业问答。评估数据由训练集和金标准丰富集汇编而成，包含列表式及是非题等复杂问题类型。