7月9日，OpenAI发布了一篇博文，高调质疑行业权威编程能力评测基准SWE-Bench Pro。据其分析，这个由Scale AI推崇的AI编程能力测试，在731个公开任务中，约有30%存在评测缺陷。换言之，近三成的题目本身就有问题——模型答对了可能被判错，答错了反而可能被判对。

先简单介绍一下背景：SWE-Bench Pro是Scale AI推出的一项专门用于评估大语言模型与AI智能体编程能力的基准测试。由于它高度贴近真实的企业级开发场景，并且防作弊标准极其严格，因此长期被视作AI软件工程领域的权威标杆。然而，OpenAI此次毫不客气地指出，这个标杆可能已经失去效力——

在过去8个月里，前沿模型在该基准上的通过率从23.3%飙升到了80.3%。涨速如此之快，不像真正的技术进步，更像是基准本身出了问题。OpenAI认为，这项基准已经很难有效衡量模型的软件开发能力了。

为了验证这一判断，OpenAI进行了两路审查。首先是自动化数据点分析：在731个公开任务中，标记出200个失效任务，占比27.4%。随后是人工审查——标注团队识别出249个失效任务，占比34.1%。两条路径的结果均指向同一个数字：大约30%的任务存在缺陷。这一比例相当惊人。

那么，这些缺陷具体是什么样的？OpenAI将问题归纳为四类：

• 测试过严——题目中未明确要求的实现方式，被隐藏测试列为硬性条件，模型按说明作答却被判错。
• 提示不充分——隐藏测试所考察的内容，题目根本没有提及，且无法通过合理推断得出。
• 测试范围过窄——修复不完整也能通过测试，说明测试本身未能有效检验关键点。
• 提示具有误导性——题目描述的预期行为与隐藏测试要求不一致，容易导致模型被带偏。

OpenAI还举了一个特别典型的案例：题目要求将内容转为Markdown格式时，在行首加入1个空格。模型照做了，但隐藏测试却要求加2个空格。结果模型按题目说明写的代码，被判错。这种问题并非个例，而是系统性的评测缺陷。

基于本次分析，OpenAI做出了一个相当果断的决定：撤回此前对SWE-Bench Pro的采用建议。与此同时，他们呼吁行业——未来应由资深软件开发者专门为AI评测设计新的基准，而不是让现有的评测体系继续自欺欺人。