一、案例背景：AI客服系统的质量困境
先来看一个典型的案例。某电商平台部署了AI客服系统，在公开基准测试中准确率高达95%，结果上线后用户投诉率不降反升，场面一度相当尴尬。诊断下来发现：问题出在基准测试覆盖的场景太单一了——真实用户的问题涉及多轮对话、模糊表述、行业术语，模型在这些场景下的表现明显下降。这其实暴露了一个核心问题：考试分数不等于真实能力，基准测试的高分并不能保证实际表现。
1.1 案例设定
该平台采用主流大模型构建客服系统，主要负责处理退换货、物流查询、支付问题等常见业务场景。在MMLU这类公开基准上得分确实不错，但到了实际交互中，用户经常因为模型给出错误的退款金额、甚至虚构的政策条款而产生不满。说到底，基准测试表现好只说明模型基础不错，但不代表它能应对真实世界的复杂性。
1.2 问题诊断
深入分析发现，基准测试中的问题大多是单轮、表述清晰的类型，而真实场景中用户习惯用口语化表达、进行多轮追问、或隐含前提。模型在这些场景下的准确率骤降到了70%左右。这背后反映的是：模型的泛化能力严重不足。光靠公开基准得分来选模型，风险可不小。
二、构建标准化评估问题集
基于这个案例的需求，我们需要设计一个覆盖不同难度和领域的评估问题集，确保测试的全面性——这才是评估模型真实能力的基础。
2.1 问题来源与筛选
从历史客服日志中抽取典型问题，按照领域（退换货、物流、支付等）和难度（简单、中等、复杂）进行分层。简单问题比如“退货期限是多久？”，中等问题像“计算退款金额”，复杂问题则是多件商品部分退货时运费如何承担这类。覆盖越全，评估结果越可靠。
2.2 意图场景分层采样
按任务类型合理分配比例：信息型（查询政策）占40%，推理型（计算、逻辑判断）占35%，创造性（生成道歉话术、解释）占25%。这样确保核心场景都覆盖到，避免测试偏向某一类问题导致结果失真。
三、多模型对比测试设计
接下来是设计对比测试方案，包括模型选择、问题数量、重复测试次数以及置信区间的计算——这些都是确保结果可信的关键环节。
3.1 模型与样本量
选取3个主流模型，比如GPT-4、Claude、Llama，每个模型测试200个问题，每个问题重复3次。然后计算平均准确率及95%置信区间，来评估稳定性。举个例子：模型A的准确率是82%±3%，模型B是88%±2%。这个波动范围越小，说明模型越稳定。
3.2 实体识别与输出解析
使用命名实体识别（NER）从模型回答中提取关键事实，比如退款金额、物流单号、政策条款，然后与标准答案进行比对。对于那些无法解析的回答，统一标记为“无效输出”——这些通常也是问题突出的地方。
四、输出质量归因与多维评估
对错误回答进行归因分析，同时从准确性、一致性、确定性、公平性四个维度进行综合评分——这样才能看到问题全貌。
4.1 错误归因分类
将错误分为三类：
- 知识缺失：模型明确表示不知道，或者给出错误但常见的信息（比如“退货期限是7天”，而实际是15天）。
- 推理错误：计算或逻辑出错，比如算错退款金额。
- 幻觉：编造不存在的信息，比如虚构政策条款。
统计各自的占比。举个例子，某模型的幻觉占错误总数的40%，那这就是需要重点解决的问题了。
4.2 多维评分逻辑
- 准确性：事实正确率，即正确回答数除以总问题数。
- 一致性：同一个问题用不同表述来问，答案是否稳定。使用RCScore框架计算语义等价回答的匹配率。
- 确定性：通过语义熵衡量模型的置信度。高熵值（比如超过0.5）意味着模型不太确定，容易产生幻觉。
- 公平性：使用BEATS框架的29个指标检测输出是否包含歧视性内容，比如针对性别、地域的偏见。
五、综合评估框架与结果解读
把基准测试得分与多维指标结合起来，做成雷达图，这样能直观展示各模型的强弱项。
5.1 框架整合
基准准确率作为基础分，泛化准确率（在自定义测试集上的表现）作为核心分，多维指标作为调整因子。最终得分 = 泛化准确率 × (一致性系数 × 确定性系数 × 公平性系数)。
5.2 案例结果
- 模型A：基准准确率95%，但泛化准确率只有82%，一致性得分0.7（偏低），语义熵0.6（偏高），公平性0.9。最终得分82%×0.7×0.4×0.9≈20.7%，说明存在明显的幻觉风险，不适合直接部署。
- 模型B：基准准确率90%，泛化准确率88%，一致性0.9，语义熵0.3，公平性0.95。最终得分88%×0.9×0.7×0.95≈52.7%，更适合实际场景部署。
六、注意事项与最佳实践
6.1 避免数据泄露
确保测试集与训练集没有重叠，防止高估模型能力。比如，不要使用公开基准中的问题。这是最常见也最容易忽略的坑。
6.2 持续迭代
评估问题集需要定期更新，反映真实场景的变化。引入上下文学习能力测试（如CL-bench）来评估模型的适应性，避免模型只是“死记硬背”训练数据。评估不是一次性工作，而是需要持续完善的过程。
FAQ
问：基准准确率和泛化准确率有什么区别？
答：基准准确率是模型在固定公开测试集上的得分，类似于考试分数；泛化准确率是模型在更广泛、更贴近真实场景的问题集上的表现，反映真实能力。NIST AI 800-3也强调两者需要区分对待。
问：如何判断模型回答的错误是知识缺失还是幻觉？
答：知识缺失表现为模型明确表示不知道，或给出错误但常见的信息；幻觉则是模型编造出看似合理但实际不存在的内容。可以通过语义熵来检测不确定性，高熵值往往对应幻觉。
问：评估时应该用多少测试问题才够？
答：建议至少200个问题，每个问题重复3次以上，这样能保证统计显著性。同时需要按意图场景分层，确保覆盖主要任务类型。