本次查询：事实性评测
中文解释：事实性评测
常见场景：大语言模型评估与优化 / 检索增强生成（RAG）系统测试 / 智能客服质检 / 自动化内容审核
一句话解释
事实性评测是评估AI模型（尤其是大语言模型）生成内容是否与已知事实一致的系统性方法，旨在检验模型是否“说真话”。
为什么会被关注
随着大模型在客服、医疗、教育等场景的广泛应用，模型“幻觉”问题成为阻碍落地的关键。用户无法信任一个经常编造事实的系统，因此需要事实性评测来量化错误率，并指导模型优化。
此外，OpenAI、Anthropic等主流厂商在发布新模型时，均将事实性指标作为核心竞争力之一。学术界也涌现了如TruthfulQA、HaluEval等基准数据集，推动该领域标准建立。
核心逻辑
事实性评测通常依赖一个权威的知识源（如维基百科、可信数据库、企业私有文档）作为“黄金标准”。评测时，让模型回答问题或生成文本，然后自动或人工比对模型输出与知识源的一致性。
常见的评测指标包括准确率、F1分数、以及针对开放式生成的事实性得分。部分高级方法还引入“归因”机制，要求模型在回答中引用具体来源，以便追溯事实。
常见场景
检索增强生成（RAG）系统是事实性评测最主要的应用场景。RAG将外部文档注入模型提示，但模型仍可能忽略或曲解文档内容，需要评测其是否忠实于检索结果。
在智能问答客服中，事实性评测可自动检测机器人是否提供了错误的商品信息或政策解读，降低用户投诉风险。
模型微调阶段，训练数据中引入事实性奖励信号，通过强化学习（如RLHF）鼓励模型生成更真实的内容。
容易混淆的点
事实性评测不等于通用准确率评测。通用准确率衡量答案是否正确，而事实性更关注模型是否“无中生有”。例如回答“我不确定”虽然不提供正确答案，但属于事实性较好的表现。
事实性评测也不同于语义相似度评测。语义相似度可能放过含有错误的表述（意思相近但事实错误），而事实性评测要求严格匹配事实。
当前事实性评测仍面临“事实边界”难题：同一问题的答案可能随知识源更新而变化，评测基准需持续维护。