RAG模型在众多实际应用场景中展现出色性能，然而落地时偶尔也会出现“翻车”现象——回答不准确的问题始终令人困扰。如何有效诊断并根治这一顽疾？亚马逊近期开源了一款全新的评估工具RAGChecker，专为RAG系统提供全面、可靠且细粒度的“体检”方案。称其为RAG系统的“对症药方”毫不为过，其目标在于助力开发者构建更智能、更可信赖的应用。
了解现有 RAG 系统评估框架
| RAG评估方向 | 评估框架及链接 | 描述 |
|---|---|---|
| 生成器基本能力评估 | RGB | 手动构建测试集，评估生成器的噪声鲁棒性、负拒绝、信息整合和反事实鲁棒性 |
| 生成器基本能力评估 | RECALL | 引入手动编辑的反事实上下文到QA和文本生成数据集，评估LLMs的反事实鲁棒性 |
| 生成器基本能力评估 | NoMIRACL | 通过人工判断相关和非相关数据集，评估LLMs对检索错误的鲁棒性 |
| 生成器基本能力评估 | —— | 通过引入不同水平的扰动来量化LLMs的忠实度与内部先验间的平衡 |
| 生成器基本能力评估 | FAAF | 提出细粒度的事实验证方法，用于评估生成器的真实性 |
| RAG系统端到端评估 | TruLens | 引入RAG三元组概念，评估上下文相关性、基础性和答案相关性 |
| RAG系统端到端评估 | RAGAS 和 ARES | 跟随RAG三元组概念，在不同数据集上优化分数预测方法 |
| RAG系统端到端评估 | CRUD-RAG | 涉及CRUD操作，开发特定的RAG系统数据集和评估标准 |
| 其他端到端评估 | —— | 进行人类评估，考察生成搜索引擎的流畅性、感知效用和可验证性 |
| 其他端到端评估 | MEDRAG | 构建医学RAG基准，用QA准确性评估医学RAG系统 |
| 其他端到端评估 | MultiHop-RAG | 从新闻文章生成多跳查询，评估RAG系统的QA准确性 |
| 其他端到端评估 | CDQA | 提出一种生成动态QA问题的新方法，要求使用最新信息回答 |
然而，上述评估框架所采用的指标要么依赖人工评估，要么仅关注简单的文本准确度，在需要长答案评估的复杂RAG场景中显得力不从心。因此，业界一直缺乏一款真正可用于元评估的实用工具。接下来，我们将聚焦今天的主角：RAGChecker。
RAGChecker 框架核心内容
RAGChecker 是一套先进的自动评估框架，提供了一整套指标与工具，用于深度剖析RAG系统的性能表现。其核心亮点如下：
- 基于声明的细粒度评估：RAGChecker 摒弃了粗放的响应级别评估，深入至声明级别（claim-level）。它从模型生成的响应和标准答案中分别抽取声明，再与对应的文本进行对比。这一方法能够对系统性能开展更细致、更具针对性的分析，并提供更深刻的洞察。
- 整体指标：为呈现系统性能的全貌，RAGChecker 会计算每个响应与其配对真实答案之间的声明级别精度和召回率。
Precision 精度指响应中正确声明的比例，Recall 召回率指真实答案中正确声明的比例。两者经调和平均得到F1分数，作为整体性能指标。 - 检索器指标：一个理想的检索器应能召回生成真实答案所需的所有声明。RAGChecker 定义了以下检索器指标：
声明召回率：真实答案中的声明被检索到的文本块覆盖的比例。上下文精度：检索到的文本块中包含任何真实答案声明的比例。
- 生成器指标：获取检索结果后，生成器可能生成正确、错误或遗漏的声明。RAGChecker 为此定义了一组生成器指标：
- 忠实度：生成器生成的声明与所提供的上下文一致的比例。
- 相关噪声敏感性：生成器在相关文本块中引入错误声明的比例。
- 无关噪声敏感性：生成器在无关文本块中引入错误声明的比例。
- 幻觉：生成器生成了检索文本块中完全不存在的声明的比例。
- 自我知识：生成器依靠自身知识正确生成的声明比例。
- 上下文利用率：生成器实际使用的真实答案声明，占检索文本块中相关声明的比例。
实验设计
- 数据集准备：RAGChecker 使用的基准数据集包含4162个查询，覆盖10个领域（Wikipedia、AI Science、Novel、Biomedical、Finance、Lifestyle、Recreation、Science、Technology和Writing）。这些数据来自公开数据集，经过重新整理，将短答案改为长答案，以匹配当前RAG系统的使用场景。
- 基线RAG系统：实验中，RAGChecker 应用于8个定制化的RAG系统，这些系统由2个检索器和4个生成器组合而成。检索器选用BM25和E5-Mistral，生成器包括GPT-4、Mixtral-8x7B、Llama3-8B和Llama3-70B。
- 元评估：为验证RAGChecker的有效性，研究者进行了元评估，将其与现有的基线评估框架（如TruLens、RAGAS和ARES）进行比较。元评估数据集由8个基线RAG系统生成的响应组成，每个实例包含两个基线系统给出的响应对。
结果分析
- 元评估结果：RAGChecker 在正确性、完整性和整体评估三个维度上与人类偏好的一致性均最强。具体来看：
- 正确性：RAGChecker 的相关系数为49.66，优于其他基线指标。
- 完整性：RAGChecker 的相关系数为60.67，优于其他基线指标。
- 整体评估：RAGChecker 的相关系数为61.93，优于其他基线指标。
- 主要发现：在10个领域的数据集上对8个RAG系统进行平均评估后，得到了一些有意义的结论：
- 检索器的重要性：检索器的质量对整体性能影响显著。使用E5-Mistral检索器配合GPT-4生成器的组合，在所有指标上均表现最佳。
- 生成器模型大小的影响：在搭配同一检索器的情况下，Llama3-70B生成器在所有指标上都优于Llama3-8B。
- 上下文利用率的稳定性：上下文利用率与整体F1分数高度相关，且在不同检索器之间表现稳定。
- 信息丰富的上下文提高忠实度、减少幻觉：E5-Mistral检索器提供的信息更丰富，帮助生成器更好地识别和利用有效信息，从而提升了忠实度，减少了幻觉。
- 检索器召回率与生成器噪声敏感性的权衡：随着检索器召回率的提高，生成器对各类噪声也变得更加敏感——这是典型的“鱼与熊掌”问题。
- 开源模型在区分准确信息与噪声方面的不足：GPT-4在上下文利用率和噪声敏感性上优于其他开源模型，但它也存在一个缺点——容易过分依赖上下文。
总结
本文提出了RAGChecker，一个全新的RAG评估框架，能够对检索器和生成器组件进行细粒度评估。通过元评估验证，RAGChecker与人类判断的相关性远优于现有指标。大量实验还揭示了一些有价值的设计洞见，例如检索质量提升与噪声引入之间的权衡、忠实开源模型对上下文的盲目信任倾向等。RAGChecker不仅加深了我们对RAG系统架构的理解，也为未来的RAG应用提供了关键的指导方向。
优点
- 框架创新：RAGChecker是一个新颖的评估框架，提供了对检索器和生成器组件的细粒度评估，引入了新的诊断指标，能够给出可操作的错误来源洞察。
- 元评估验证：通过元评估，RAGChecker与人类判断的相关性显著优于其他评估指标，可信度很高。
- 广泛实验：在10个领域的基准上对8个最先进的RAG系统进行了全面评估，揭露了许多设计选择上的权衡，例如检索改进与噪声引入的对立、忠实开源模型盲目信任上下文等问题。
- 细粒度错误分析：基于声明级别的评估，使RAGChecker能够进行细粒度的错误分析，而非仅提供笼统的响应级别打分。
问答环境回顾
问题1：RAGChecker框架中的 claim-level 事实检查是如何实现的？
RAGChecker通过声明级别的事实检查实现细粒度评估，具体分为三步：
- 文本到声明提取：首先使用文本到声明提取器，将给定文本（包括响应和标准答案）拆解为一组声明。
- 声明级事实检查：接着利用事实检查器判断这些声明在参考文本（如响应、标准答案或其他材料）中是否获得支持。若得到支持，则认定该声明成立。
- 评估指标计算：基于事实检查结果，计算精确率、召回率、F1分数、声明召回率、上下文精度、忠实度、噪声敏感性、幻觉、自我知识和上下文利用率等一系列指标。这种细粒度评估不仅关注响应对错，还考察其完整性和与上下文的关联性，从而给出更全面的系统性能画像。
问题2：RAGChecker框架在元评估中表现如何，与其他评估框架相比有何优势？
RAGChecker在元评估中表现十分亮眼，具体优势体现在：
- 高相关性：在正确性、完整性和整体评估三个维度上，RAGChecker与人类偏好的一致性均为最强。相比TruLens、RAGAS、ARES等现有框架，RAGChecker全面领先。
- 全面性：它提供细粒度评估，不仅关注响应的正确性，还关注完整性和上下文相关性，比仅给出单一分数的框架信息量更丰富。
- 可靠性验证：通过构建一个包含8个基线RAG系统响应数据的元评估数据集，RAGChecker的有效性和可靠性得到了验证，确保其在真实场景中的可用性。
总结一句话：RAGChecker在评估的全面性、细粒度和与人类判断的相关性上均超越了现有方法，为RAG系统的评估开辟了一条新路径。