一、测试集泄漏：一个典型的“开卷考试”问题

1.1 C-eval 测试集泄漏事件

在 Baichuan 7B 模型发布时，有用户在 GitHub 上提出 issue，指出该模型存在 C-eval 测试集泄漏 问题。具体证据如下：

百川官方并未回避，而是鼓励大家充分讨论，并给出了解释：

但后续在刚发布的 13B 模型上仍存在同样问题。尝试用 13B 的 base 模型进行续写，发现训练数据中包含了大量题库内容。

1.2 C-eval 的评测机制漏洞

C-eval 本身题目是公开的离线测试，答案不可见，采用在线提交形式评测，理论上能规避泄漏。然而，大模型的训练数据讲究“大而全”，几乎全网数据都会被纳入。目前的评测方法（除人工体验外）都是以数据集题目的形式开展，这些数据集旨在考察模型的“百科全书式”知识理解，通常转化为客观选择题。

核心问题：排行榜上中文大模型常吊打 GPT-3.5 甚至 GPT-4，但实际用户体验却大打折扣。以经典的 C-eval 排行榜为例：

这就像高考刷题一样，目前最热门的卖点正是题库数据。国内大模型懂得投机取巧——既然是知识类客观题评测，那就把全网题库全塞进去。如果买不到数据，甚至可以用测试集的每一道题目反向爬取互联网相关内容，再针对性刷题。

小提示：离线测试集对大模型相当于开卷考试。真正的考试连题干都不应被模型看到，否则评测结果无法反映真实推理能力。

二、大模型评测的三阶段：从“有正确答案”到“生产力驱动”

引用八友科技 CEO 的观点，大模型的主战场可分为三个阶段：

• 第一阶段：重点突破“有正确答案”的领域。 例如中高考题目，通过简单得分可以比较模型能力。教辅类数据的重要性即在于此。同时，结合场景的领域由于有独家数据和专业人士判断，也是重点战场。
• 第二阶段：重点突破“没有正确答案”的领域。 此时评价困难，但基于第一阶段积累，模型给出的预测或理解被认为具有高水平，只是难以给出标准答案（更偏向艺术感）。
• 第三阶段：重点突破涉及生产力的领域。 跳过证明和炫耀阶段，直接推动社会生产力发展。

目前数据提供商最值钱的数据就是题库，而针对性刷题正是导致排行榜失效的根本原因。

三、闭卷考试：一种更公平的评测思路

3.1 Kaggle 比赛的尝试

针对客观题评测，更好的方法是让大模型参加“闭卷考试”。推荐一个 Kaggle 比赛：kaggle-llm-science-exam。数据来自参考维基百科话题，用 GPT 生成 + 人工过滤的科学领域多选题，附带了参考训练集，测试集隐藏不可见，需提交模型在线推断（最高支持约 10B 模型）。

3.2 这种模式的局限性

• 经济实力要求高： 上百 B 的模型如何推断？对发起方成本要求高。
• 部署兼容性问题： 模型对部署可能有特定要求。
• 信任问题： 提交模型和推断代码，相当于将核心科技提供给第三方。
• 领域局限： 该评测局限于科学领域，不够全面，更像大榜单中的小数据。

常见问题： 为什么不能直接使用线上 API 进行评测？
答案： 线上 API 通常无法控制模型参数和训练数据，且无法保证测试集不被模型在训练阶段见过。闭卷考试需要确保测试集完全不可见，因此需要使用隐藏测试集+本地或可控环境推断。

四、评测数据设计的四个关键点

引用自 相关文章，大模型评测中以下四点尤为重要：

4.1 能力边界

要测模型的哪些能力？常见的如代码、推理、写作、多轮对话等，但划分是否具有覆盖性和正交性需要深思。例如，文本分类和阅读理解归到哪个能力？如果阅读理解 case 需要逻辑运算，是放到阅读理解还是推理能力？

4.2 case 边界

测试 case 的多样性和复杂性直接影响结论。例如：

• 极端情况下，100 道 case 都是“1+1等于几？”两个模型都答对，就得出数学能力接近——这显然不靠谱。
• 写作能力测试，如果只有“帮我写一个悬疑故事”这种简单指令，两个模型都能写出略带悬疑的故事，结论同样不可靠。
• 更合理的 case 应具备复杂性，例如：“(104+903)*2-18^2-10”或“写一个悬疑故事，背景在唐朝，主人公是锦衣卫，从一件小事引入，写出前三章”。
• 混合中英文提问，可更好测评双语能力。

所以测试 case 必须具有多样性和复杂性，才能真实反映模型差距。

4.3 指令形式

大模型对 prompt 非常敏感。同一问题换种问法（如加“一步步推理”）可能就答对；不同模型对 prompt 的敏感度也不同。作为测评，指令设计应遵循以下原则：

• 不要本末倒置： 多模型对比时， prompt 应符合人类自然提问习惯。如果模型不能理解，那是其指令对齐或泛化能力差。
• 特殊目的除外： 例如测试底座模型是否有某个知识时，可以用 few-shot 引导；运营人员为完成特定任务，也可以投入精力做 prompt engineering。
• 作为测评，指令不应刻意迎合模型，反而要多样化，才能探究模型的真实理解能力。

小提示： 在评测报告中应明确标注所使用的 prompt 模板，方便他人复现和评估公平性。

4.4 自动化量化

最终需要量化的结论。人工评估最保险（尤其需要专业人员），但效率低、成本高。业界常用 GPT-4 打分，因此难点在于：

• 打分的 prompt 如何写，使 GPT-4 能更好理解评测任务。
• 如何约束输出格式以便直接量化（如选择 ABC 等）。

自动化量化的关键是设计清晰的打分规则和结构化输出，同时需要考虑模型打分的偏差（如偏好更长或更华丽的回答）。

五、评测的重要性与前沿方向

如何评价模型好坏，不仅困难，而且极其重要。基座大模型训练耗时耗力，如果不能尽早检验，实验速度会大幅降低，所有时间成本折合成算力将非常惊人。OpenAI 不仅卡多，还拥有实验效率倍增的 buff，相当于“卡 × 效率倍数”。

据公开资料，OpenAI 通过小模型推演大模型，训练部分阶段推演全部阶段，从而预测最终大模型的好坏。具体技术细节尚未公开，这是其核心科技之一。大模型评测是非常有影响力的方向，值得持续关注。

总结

一份合格的评测应杜绝测试集泄漏，注重 case 的多样性和复杂性，合理设计指令形式，并建立可靠的自动化量化机制。同时，闭卷考试和隐藏测试集是未来更公平的方向。请结合实际场景，选择适合的评测方案，避免被排行榜误导。

编辑：黄飞