OpenAI近期公开质疑了业界公认的AI编程能力评测标准——SWE-Bench Pro，指出在731个公开测试用例中，约有30%存在评估机制方面的漏洞。这一基准测试由Scale AI主导构建，最初旨在衡量大语言模型及AI智能体在真实软件开发场景中的工程化能力。由于它高度还原了企业级开发流程，并在设计上严防作弊，因此一直被视作AI软件工程领域最具权威性的评测体系之一。

OpenAI在文章中特别强调了一个反常现象：顶尖模型在该基准测试上的任务通过率，竟在短短8个月内从23.3%激增至80.3%。这一增长曲线，坦白说，已远远超出技术演进应有的正常节奏。OpenAI判断，这种“突飞猛进”并非源于模型真实编程能力的质变，更可能暴露了评测体系本身存在系统性偏差，导致其已难以客观反映模型的实际工程表现。

双线核查确认问题规模，近三成任务存结构性缺陷

为了严谨验证这一判断，OpenAI同时启动了两项独立的审查工作。一方面，通过自动化数据诊断，识别出200个失效任务，占全部731题的27.4%；另一方面，组织资深工程师进行人工复核，发现249个存在缺陷的任务，占比达34.1%。这两条路径的结果高度吻合，最终综合推断，SWE-Bench Pro中大约30%的题目存在评估失准问题。具体表现为四类常见问题：测试条件过于严苛、指令提示信息不足、验证范围过度狭窄，以及提示内容本身具有误导性。

OpenAI还披露了一个典型反例。有一道题目明确要求，将文本转换为Markdown格式时，在每行开头插入1个空格。但实际隐藏的测试却判定，只有插入2个空格才算正确。这意味着，模型严格遵循题干描述完成编码，结果仍被系统判为失败。这种“明示规则与隐含标准不一致”的设计漏洞，不仅扭曲了能力评估结果，也成了通过率异常飙升的关键诱因。

终止推荐使用，倡议重构面向AI的工程化评测范式

基于这次深度审查的结论，OpenAI正式撤回了之前对该基准测试的推荐使用声明。OpenAI强调，未来AI编程能力的评测，不应再简单套用面向人类程序员的传统考核逻辑，而需由具备丰富工业界经验的软件工程师团队，专门为AI智能体的特性量身定制新型评测框架。当一项被奉为行业“金标准”的基准测试，竟然可能在近三成任务中失效时，整个AI评测生态的可靠性与可持续性，确实正面临严峻挑战。推动评测重心从片面追求分数转向真实工程价值回归，已成为AI软件工程评估体系必须直面的核心命题。