本次查询：Faithfulness Evaluation
中文解释：忠实度评估
常见场景：RAG系统 / 文本摘要 / 开放域问答
一句话解释
Faithfulness Evaluation 指的是评估AI生成文本是否严格基于给定上下文、不添加虚构信息或歪曲原意的工程方法，本质是检验模型输出与输入事实的对齐程度。
为什么会被关注
随着大语言模型在企业级RAG系统、智能客服和自动化报告生成中的广泛应用，模型输出一旦偏离原始资料（即产生幻觉）就会导致严重后果，例如医疗建议错误或法律文档失真。
传统自动评估指标（如BLEU、ROUGE）只关注词汇重合度，无法捕获事实层面的忠实性问题。因此，专门的Faithfulness Evaluation方法（如基于NLI的验证或GPT辅助打分）成为了确保AI可靠性的关键环节。
核心逻辑
其核心是将生成内容与给定的参考上下文进行信息单元（如三元组、声明）的比对，判断每个声明是否得到原文支持。常用方法包括：使用自然语言推理模型判断生成句与上下文是否为蕴含关系，或者通过问答模型反向验证。
另一种思路是提取生成文本中的事实断言，然后逐一检索或验证它们在原始输入中的出现情况。例如，在RAG场景下，将模型回答拆分为原子事实，再检查这些事实能否从检索到的文档片段中找到出处。
常见场景
在RAG流水线的离线评估阶段，开发人员使用Faithfulness Evaluation工具（如RAGAS、TrueLens）批量检测模型回答的忠实分数，以定位检索或生成环节的缺陷。
在摘要任务中，评估模型生成的摘要是否包含了原文没有的信息，或者是否改变了关键数据的数值和关系。医疗、金融等高风险领域对忠实度指标的要求尤为严格。
在开放域问答中，Faithfulness Evaluation帮助区分模型是直接从知识源中提取答案，还是编造了看似合理但实际错误的回答。此类评估也常用于对比不同提示策略或微调技术的效果。
容易混淆的点
Faithfulness Evaluation 容易与“准确性评估”混淆。准确性关注最终答案的正确性（例如单选题是否选对），而忠实度聚焦于输出是否源于给定上下文，即使答案正确，如果推理过程依赖了外部知识或臆测，仍可能被认为不忠实。
它也不同于“相关性评估”。相关性衡量检索到的文档与用户问题的匹配程度，而忠实度是生成内容与已提供材料之间的事实对齐度。一个高相关性的文档集并不能保证模型输出就是忠实的。
另外，部分用户误以为只要使用大模型自身打分就是Faithfulness Evaluation。实际上，模型自评存在自我偏差，需要结合外部验证或特定设计的评估框架（如基于关系的对比）才能获得可靠结果。