本次查询：Retrieval Evaluator
中文解释：检索评估器
常见场景：信息检索系统与RAG管线的性能测试
一句话解释
Retrieval Evaluator 是用于量化评估检索系统（如搜索引擎、RAG 检索模块）输出结果与用户需求匹配程度的工具或指标集合。它通过对比系统返回的文档列表与人工标注的相关性标签，计算诸如 NDCG、MAP、Recall 等标准化得分，从而反映检索质量。
为什么会被关注
随着 RAG 应用和智能搜索产品的普及，检索环节质量直接决定后续生成内容的可靠性。传统单一指标（如准确率）已无法全面反映排序与覆盖率问题，而 Retrieval Evaluator 提供了多维度、可重复的评估方法。
开发者和研究者需要统一的评估标准来对比不同检索策略（如稠密检索 vs. 稀疏检索）、验证模型迭代效果，以及在工业环境中监控线上服务退化。这使得 Retrieval Evaluator 成为构建高质量检索系统的必备工具。
核心逻辑
Retrieval Evaluator 的核心基于“相关性判定”与“排序位置加权”。首先为查询构建包含每个文档是否相关的标注集（通常由人工或自动标注生成）。其次，系统返回的文档列表会按位置计算累积增益（如 DCG），再除以理想排序下的最大增益得到 NDCG。
另外常用指标包括：平均精确率（MAP）衡量每个相关文档出现前的平均精度；召回率（Recall）关注相关文档被找回的比例；以及面向多级相关性的 Rank-Biased Precision。这些指标共同构建了一个从精确性、全面性到排序公平性的评估体系。
常见场景
在 RAG 系统开发中，评估检索器是优化“文档分块-向量索引-检索策略”流程的必经步骤：通过 Retrieval Evaluator 对比不同嵌入模型、不同距离计算方式下的检索召回率。
搜索引擎优化（SEO）或电商推荐系统中，可用该评估器快速验证排序模型（如 LTR）或规则调整是否带来用户点击率的提升。此外，在学术评测（如 TREC）中，Retrieval Evaluator 是发布基准测试结果的标准化方法。
容易混淆的点
Retrieval Evaluator 与“生成评估器”的区别：前者只评价检索结果的相关性与排序，不涉及生成内容的质量（如流畅度、事实性）。在 RAG 中使用时应分开评估检索与生成环节。
注意指标的选择依赖场景：NDCG 适合多级相关性标注，而 Recall 更适用于需要“不漏掉”关键文档的场景。混淆这些指标可能导致错误结论。另外，“检索评估”不是指评估模型本身是否 overfitting，而是评估其检索输出。