深入理解RAG技术如何借助检索与生成相结合的方式优化AI回答质量，并掌握核心评估指标。 核心内容： 1. RAG技术三大核心流程：索引、检索与生成 2. 评估RAG系统的三个关键指标：准确率、忠实度与检索效率 3. 召回率、精确度与F值的具体计算方法及实际应用场景

今天我们来系统梳理RAG（检索增强生成）的评估方法。在此之前，先简要介绍RAG的基本概念。

RAG基础概念

Retrieval Augmented Generation，即检索增强生成。RAG = 检索技术（Search）+ 大语言模型提示（LLM Prompt）。其核心目标是：通过从外部知识库中检索与输入问题高度相关的信息，并将这些信息作为引导，辅助生成过程，从而显著提升生成文本的相关性、准确性和多样性。具体流程可参考下图：

RAG技术包括三个核心组成部分：索引（Indexing）、检索（Retrieval）和生成（Generation）。

首先，系统会对原始知识库进行分割切片处理，随后利用向量化模型（Embedding Model）进行编码，并将结果存入向量数据库。

其次，当用户提出问题后，系统会采用检索算法（如BM25、DPR、ColBERT等）从向量数据库中快速匹配最相关的信息片段。

最后，这些检索到的信息被整合到原始问题（即提示词Prompt）中，作为上下文输入到生成模型，最终输出更准确、更贴合上下文的答案。

RAG评估指标

上面介绍了RAG的整体流程，接下来我们重点分析RAG的评估指标。在评估过程中，需要特别关注三个关键维度：首先是最终结果是否准确，其次是生成模型自身的表现，最后是如何科学衡量检索阶段的效果。

准确率：简单来说，就是从用户视角判断答案是否真正满足实际需求。无论中间过程多么复杂，用户只关心最终结果是否符合预期。可以说，准确率是最直观、也最重要的评估维度。

忠实度：这个指标主要聚焦于大模型层面，衡量生成内容是否严格遵循所提供的上下文信息。通俗地讲，当我们精准找到相关参考文档，并将这些文档连同原始问题一起交给大模型后，模型的回答是否真正基于这些参考文档。如果回答能够准确反映文档中的信息，则忠实度高；反之则说明忠实度不足。如果发现忠实度不达标，可能需要考虑更换模型。因为此时问题不在于检索到的信息，而在于大模型无法有效利用这些信息生成令人满意的答复。

召回率（Recall）、精确度（Precision）、F值：这三个指标主要用于评估检索阶段的有效性。其中，召回率关注信息检索的全面性，确保没有遗漏关键内容；精确度关注信息检索的准确性，确保检索到的内容都是有用的；F值则是召回率与精确度的调和平均，是一个综合平衡指标。

下面详细解释这些指标，并附上计算公式，可参考下图：

例如，假设知识库中关于“药”的书籍正确数量应为10本。但检索系统返回了15本，其中9本是正确的与药相关的书籍，另外6本不相关。此时： 召回率：9 / 10 = 90%（检索到15本，其中9本相关，但仍有1本相关书籍未被检索到） 精确度：9 / 15 = 60%（检索到15本，其中9本相关，6本不相关） F值：（2 × 60% × 90%）/（60% + 90%）= 72%

在实际应用中，应更关注哪个指标呢？通常更倾向于重视召回率。因为当前大模型对噪声数据具有较高的容忍度，即使包含部分错误或无关信息，大模型一般也能过滤掉无用部分，提炼出准确答案。因此，在条件允许的情况下（例如GPU资源充足、系统性能足够强大），优先优化召回率更为稳妥。这样做不仅可以确保不遗漏任何重要信息，还能让模型在面对复杂问题时表现更加稳健。

RAG评估方法

目前RAG的评估方法主要分为两大类：人工评估与模型自动评估。

人工评估：首先需要准备一批样本数据，包含问题及其对应的标准答案，并为每个回答设定评分标准。然后将这些问题输入RAG系统，获取运行结果。最后，由评估人员对RAG系统的回答进行交叉检查并打分，判断每个回答是否准确，并给出相应分数。

通过这种方式，可以直接衡量RAG系统回答的准确性，或获得一个综合评分来反映整体表现。

自动评估：自动评估同样需要预先准备包含问题和标准答案的测试样本集，然后将这些问题交给RAG系统获取作答结果。在自动评估过程中，有两种主流技术路径：

第一种方法是将问题和系统作答结果输入Cross-Encoder模型，计算两者之间的相关性得分。 第二种方法是计算标准答案与系统输出之间的文本相似度，以此作为评分依据。

理论上，相似度越高，模型回答的准确性也越高。

值得注意的是，在第一种方法中，即使没有标准答案，也可以通过分析问题与系统回答的相关性进行初步评分，这对于早期阶段的快速迭代尤为实用。

最后，还要充分利用工具的力量。人工评估虽然精准，但非常耗时耗力，不妨借助第三方平台提供的强大评估工具与服务（例如LangSmith平台和Langfuse平台）。当运行RAG服务时，这些平台不仅能帮助追踪整个流程——从检索到的上下文，到最终的检索与生成效果——还能提供一站式全面评估服务。这样一来，可以轻松掌握各个环节的表现，确保评估结果的准确性与可靠性。

当然，也可以考虑使用类似RAGAS框架来解决。

https://docs.ragas.io/en/v0.1.21/getstarted/index.html

https://github.com/explodinggradients/ragas

（正文完）