项目简介

谈到RAG系统的评估，Rageval这一工具值得深入探讨。它将整体评估流程拆解为六个子任务：查询重写、文档排名、信息压缩、证据验证、答案生成以及结果验证。每个子任务都配有相应的评估指标，下面我们逐一详细解析。

任务和指标的定义

1. 生成任务

生成任务的核心在于让模型依据检索模块获取的上下文来生成答案。这里的上下文通常来自压缩器提取的文本片段，或由重新排名器筛选出的相关文档。在评估生成任务时，主要从两个维度入手：答案的正确性，以及答案的“扎根性”——即答案是否确实基于所提供的上下文（有时也称作事实一致性）。

（1）答案正确性：这类指标通过对比生成答案与真实答案来计算得分。常见指标包括：

• 答案F1正确性 —— 被多篇顶级会议论文采用（如江等人、Yu等人、Xu等人）。
• 答案NLI正确性 —— 在相关论文中也常被称为“权利要求召回”（Tianyu等人）。
• 答案EM正确性 —— 即精确匹配（Ivan Stelmakh等人）。
• 答案Bleu Score —— 源自机器翻译领域的经典指标（Kishore Papineni等人）。
• 答案Ter Score —— 翻译编辑率（Snover等人）。
• 答案chrF分数 —— 基于字符n-gram的F分数（Popovic等人）。
• 答案Disambig-F1 —— 消歧版本的F1值（Ivan Stelmakh等人，Zhengbao江等人）。
• 答案Rouge正确性 —— 文本摘要中常用的ROUGE指标（Chin-Yew Lin）。
• 答案准确性 —— 分类任务中的准确率（Dan Hendrycks等人）。
• 答案LCS比率 —— 最长公共子序列的占比（Nashid等人）。
• 答案编辑距离 —— 经典的编辑距离度量（Nashid等人）。

（2）答案扎根性：这类指标并不关注答案的正确与否，而是评估答案是否“无中生有”——即是否与提供的上下文保持一致。常见指标包括：

• 引文精度（Tianyu等人）
• 引文召回（Tianyu等人）
• 上下文拒绝率（也称为拒绝率，Wenhao Yu等人）

2. 重写任务

重写任务旨在将用户的原始问题重新表述为一组对搜索模块更“友好”的查询。简而言之，就是让检索过程更容易命中关键信息，从而提升RAG系统的整体检索效率。

3. 搜索任务

搜索任务负责从知识库中检索出相关的文档。评估这一环节时，重点关注两个方面：

（1）上下文充分性：通过比较检索到的文档与真实上下文，判断所获取的信息是否足够全面。

（2）上下文相关性：通过比较检索到的文档与真实答案，判断信息的准确度。常用指标为：

• 上下文召回 —— 在RAGAS框架中同样使用这一命名。