大模型在标准测试中频频斩获高分，但在真实应用场景里却频频“掉链子”——这一行业难题如今迎来了创新解法。由贾佳亚教授领衔的研究团队，联合多所国际顶尖高校，推出了一套颠覆性的评测体系。首批测试结果出炉后，不少模型当场“原形毕露”。这下，业界终于无需担心大模型靠“刷题”刷出虚假高分，评测成绩无法真实反映其实际能力了。
这套新数据集名为MR-Ben，乍听之下或许陌生，但它的题源其实来自GSM8K、MMLU等大家耳熟能详的经典题库。只不过，大模型在测试中的角色从“答题学生”彻底转变为“阅卷老师”——它的任务不再是填空或选择，而是为已有的解答步骤逐一挑错。从评测数据来看，这一设计确实高明：模型再也无法靠死记硬背或随机蒙对答案，即便测试题提前泄露也无妨。毕竟，背题能力再强的学生，未必能胜任阅卷老师的角色。
贾佳亚团队利用MR-Ben评测了GPT4-Turbo、Claude3.5-Sonnet、GLM4、Qwen2-70B等一众开源与闭源模型，相关代码与数据已全面开源。
熟悉的试题，全新的任务
先来看当前主流做法。如今大模型评测基本延续了人类的标准化考试模式——选择题、填空题，标准清晰、指标直观、量化结果自带话题热度。这套方法的优势显而易见，但短板也同样突出。关键在于，当前大模型普遍采用思维链进行逐步推理，最终生成答案；而预训练阶段它们已经接触过数以万亿计的token，很难判断模型究竟是真正理解了逻辑，还是靠“背题”碰对了结果。更糟糕的是，评测只看最终答案，模型是否基于正确推理选出正确答案，完全不得而知。
学术界并非没有尝试改进。GSM8K升级为多语言版MGSM，MMLU也增加了难度更高的问题，但说到底，仍未跳出选择题和填空题的框架。而且，这些数据集已出现明显的饱和问题——大模型在这些指标上的分数已经触顶，模型之间的区分度越来越弱。正是在这一背景下，贾佳亚团队联合MIT、清华、剑桥等高校，与国内头部标注公司合作，推出了MR-Ben数据集。
MR-Ben基于GSM8K、MMLU、LogiQA、MHPP等大模型必测数据集，进行了“阅卷式”的范式重构。无需重新命题组卷，也无需费尽心思变形题目来测试鲁棒性，直接让模型从“答题者”变成“阅卷者”——对数据集中已有的解题步骤进行评判。通过让大模型扮演老师，来检验它对知识点的掌握程度。具体操作流程如下：团队对市面上主流的评测数据集进行系统整理，划分为数理化生、代码、逻辑、医药等多个类别，每个类别进一步细化难度等级。针对每个问题，他们精心收集了对应的分步解题过程，并由专业的硕博标注者进行培训与标注。标注过程中，解题过程是否正确、错在哪个步骤、出错原因是什么，都会被细致标出。最后，将大模型的“阅卷结果”与人类专家的“阅卷结果”进行对比——模型对知识点的掌握情况，一目了然。
从评测方式来看，MR-Ben要求模型对解题过程的每一个步骤、前提、假设、逻辑都进行深度分析，并在脑中预演推理路径，判断当前步骤能否导向正确答案。这比单纯答题难得多，但好处也很显著：能有效防止模型靠背题虚高得分——毕竟，只会背诵的学生，很难成为一名合格的阅卷老师。
GPT4-Turbo表现最佳
团队对当前几款知名大模型进行了评测，部分模型有多个版本参与测试。
从结果来看，闭源模型中GPT4-Turbo综合表现最佳（尽管“阅卷”时仍未能发现计算错误），在大部分科目里，无论是有demo（k=1）还是无demo（k=0）的设置下，均领先于其他模型。智谱团队的GLM排在第二，超越了Claude最新版3.5-Sonnet。值得关注的是，不同模型之间的区分度相当大。即便是表现最强的GPT4-Turbo，在MR-Ben上的得分也不到50分——这说明该测试集尚未饱和，仍有极大的提升空间。
另外，一些表现突出的开源模型，效果已经赶上甚至超过了部分商用模型。
除此之外，团队在实验过程中还发现了一些值得玩味的现象，例如：
低资源场景下，小模型同样亮点频现。Phi-3-mini在一众小模型中脱颖而出，表现甚至持平或超过了某些几百亿参数的大模型——这从侧面印证了微调数据的重要性。
MR-Ben涉及复杂的逻辑解析和逐步推断，但在Few-shot模式下，过长的上下文反而会让模型感到困惑，导致性能下降。
团队还评测了“生成-反思-重生成”这类消融实验，探究不同提示策略的差异。结果发现，对低水平模型无效，对高水平模型如GPT4-Turbo效果也不明显。反倒是对中间水平的模型，因为总把对的改错、错的改对，效果反而略有提升。
如果将MR-Ben的科目粗略划分为知识型、逻辑型、计算型、算法型，会发现不同模型在不同推理类型上各有优势与短板。
团队已在GitHub上传了一键评测方式，每次测试大约消耗12M token量。开发者可以在自家模型上跑评测并提交结果，MR-Ben团队会及时更新对应的leaderboard。