深入探索RAG评估框架，掌握提升大型语言模型性能的关键方法。本文将从零开始，带你全面了解检索增强生成（RAG）的概念，并详细介绍如何使用专业框架评估其实际表现。无论你是刚入门的初学者还是具备一定经验的开发者，都能在本文中找到清晰、实用的操作指引。

核心内容

• 1. RAG如何通过检索器增强大型语言模型：运行原理与核心优势。
• 2. 评估RAG系统的框架概览：DeepEval、MLflow LLM Evaluate、RAGAs。
• 3. RAGAs评估指标详解：检索性能、生成性能指标及其实际应用。

RAG：检索增强生成是什么？

检索增强生成(RAG) 在突破独立大型语言模型(LLM)的能力边界、克服其诸多固有局限方面发挥着关键作用。通过集成检索器，RAG显著提升了回答的相关性与事实准确性：它只需动态调用外部知识源（如向量文档库），在原始用户查询或提示中补充相关上下文信息，再将整合后的内容传递给LLM进行生成。

对于深入RAG领域的开发者而言，一个自然的问题是：我们如何评估这些结构复杂的系统？

评估RAG系统的三大框架

为此，业界已出现多个成熟框架，例如DeepEval，它提供超过14种评估指标，用于衡量幻觉、忠实度等关键维度；MLflow LLM Evaluate，以模块化和易用性著称，支持在自定义流水线中进行灵活评估；RAGAs，专注于RAG流水线的定义与评测，通过忠实度、上下文相关性等指标计算出综合的RAGA质量得分。

小提示：选择框架时，建议先明确评估目标。如果你关注单一维度的精细指标（如忠实度），DeepEval是不错的选择；如果需要端到端的整体质量评分，RAGAs则更为合适。

深入理解RAGA（RAGAs框架）

RAGA（检索增强生成评估的缩写）被公认为评估LLM应用的最佳工具包之一。它能以最简洁的方式——既可单独评估，也可作为单一流程联合评估——全面衡量RAG系统组件（即检索器和生成器）的表现。

RAGA的核心在于其指标驱动开发(MDD)方法，该方法依赖数据做出明智的系统决策。MDD要求持续监控关键指标，从而清晰洞察应用程序的性能。除了让开发者能够评估其LLM/RAG应用并进行基于指标的实验外，MDD方法还与应用的可重复性高度契合。

RAGA 组件

• 提示对象：用于定义提示的结构与内容，引导语言模型生成响应。通过遵循一致且清晰的提示，有助于实现准确的评估。
• 评估样本：独立的数据实例，包含用户查询、生成的响应以及参考响应或基本事实（类似于ROUGE、BLEU和METEOR等LLM指标）。它是评估RAG系统性能的基本单位。
• 评估数据集：一组评估样本的集合，用于基于各种指标系统性地评估整个RAG系统的表现。其目的是全面衡量系统的有效性与可靠性。

RAGA指标

RAGAs提供了配置RAG系统指标的能力，通过为检索器和生成器分别定义特定指标，并将它们融合为整体RAGAs分数，如下图所示：

下面我们来看看检索与生成两方面最常见的指标。

1. 检索性能指标

• 上下文回忆率：回忆率衡量知识库中检索到的相关文档占真实Top-K结果的比例，即与问题答案最相关的文档被成功检索出了多少？其计算方式为检索到的相关文档数量除以相关文档总数。
• 上下文精度：在检索到的文档中，有多少与提示真正相关而非噪声？上下文精度回答了这一问题，计算方式为检索到的相关文档数除以检索到的文档总数。

2. 生成性能指标

• 忠实度：评估生成的响应是否与检索到的证据一致，本质上是响应的事实准确性。通常通过对比响应与检索到的文档来实现。
• 上下文相关性：该指标衡量生成的响应与查询之间的关联程度。通常基于人工判断或通过自动语义相似度评分（例如余弦相似度）计算得出。

作为连接RAG系统检索与生成两个方面的示例指标，还有：

• 上下文利用率：评估RAG系统如何有效利用检索到的上下文来生成响应。即使检索器获取了高质量的上下文（高精度与高记忆率），但性能较差的生成器也可能无法充分加以利用。上下文利用率正是为了捕捉这一细微差异而提出的。

RAGAs 综合得分

在RAGAs框架中，各个指标会被组合起来，计算出一个RAGAs总体得分，从而全面量化RAG系统的性能。计算过程包括：选择相关指标并计算其值，将其标准化到同一区间（通常为0-1），再计算这些指标的加权平均值。权重的分配取决于具体用例的优先级。例如，在需要高度事实准确性的系统中，确保信息的忠实度与准确性至关重要。当处理或提供信息、特别是涉及具体数据、日期、事件等事实性内容时，优先考虑信息的真实性而非单纯追求快速的召回或检索能力，能够有效减少错误信息传播的风险。

常见问题与解答

• Q1: RAGAs和RAGA有什么区别？

  A: 在本文语境中，RAGA是“检索增强生成评估”的缩写，而RAGAs是具体的框架名称。两者在实际使用中常混用，指代同一套评估体系，只需根据上下文理解即可。

• Q2: RAG系统评估中最容易被忽视的是什么？

  A: 许多开发者只关注检索准确率或生成流畅度，却忽略了上下文利用率——即模型是否真的有效利用了检索到的信息。建议始终将这项指标纳入评估范围。

• Q3: 如何选择权重来计算RAGAs综合得分？

  A: 依据业务需求决定。如果对事实准确性要求极高（如医疗、法律领域），建议为忠实度和上下文精度分配更高权重；如果追求答案的丰富性与全面性，则应加大上下文相关性的权重。

• Q4: 有没有开源实现可以参考？

  A: 有的。RAGAs框架已在GitHub上开源，同时DeepEval和MLflow也提供了相应的库。搜索对应关键词即可找到安装与使用文档。

进阶提示：在实际项目中，建议先使用RAGAs快速获得整体质量得分，再借助DeepEval的细分指标（如幻觉率）进行针对性调优。组合使用效果更佳。

小结

本文介绍并概述了RAGA：它是一个广受欢迎的评估框架，用于从信息检索与文本生成两个维度系统性地衡量RAG系统多方面性能。理解该框架的关键要素，是掌握其实用技巧、从而构建高性能RAG应用的第一步。希望这份教程能帮助你在评估RAG系统时更加得心应手。