OpenAI炮轰AI编程评测标杆：731道题三成存缺陷，8个月通过率从23%飙至80%，基准测试已失效？

OpenAI近日直接公开质疑当前行业公认的编程能力“金标准”——SWE-Bench Pro。在731个公开测试用例中，他们发现约30%存在评估机制上的结构性硬伤。该基准测试由Scale AI主导构建，专门用于衡量大模型和AI智能体在真实软件开发场景中的工程化能力，因其高度还原企业级开发流程并配备严苛的防作弊设计，一直被视为AI软件工程领域最具权威性的评测体系。

OpenAI的结论非常直接：顶级模型在该基准上的任务通过率，仅用8个月就从23.3%猛增至80.3%。这一增长曲线过于陡峭，完全超出技术演进的正常节奏。言下之意，这种“突飞猛进”并非模型真实编程能力提升带来的质变，更像是评测体系本身出现了系统性偏差，已经无法客观反映模型的实际工程表现。

双线核查确认问题规模：近三成任务存在结构性缺陷

为验证这一判断，OpenAI显然做了充分准备，直接公布了交叉验证的两份报告。一边是自动化数据诊断，识别出200个失效任务，占全部731题的27.4%；另一边是资深工程师的人工复核，发现249个存在缺陷的任务，占比达34.1%。两条路径的结果高度吻合，最终综合推断：SWE-Bench Pro中大约30%的题目存在评估失准问题。

OpenAI还披露了一个极其典型的反例，足以说明问题有多离谱。某道题明确要求将文本转换为Markdown格式，并规定每行开头插入1个空格。然而，实际隐藏测试中，只有插入2个空格才算正确。这意味着模型严格遵循题干描述完成编码，但系统依然判定失败。注意，这并非空格数量的偶然波动，而是规则本身存在硬伤——明示规则与隐含标准完全不一致。这种设计漏洞不仅扭曲了能力评估结果，也成为通过率异常飙升的关键诱因。

终止推荐使用，倡议重构面向AI的工程化评测范式

此次审查的结论比许多人预想得更为严厉。OpenAI已正式撤回此前对该基准的推荐采用声明。他们强调，未来AI编程能力评测不能简单套用面向人类程序员的传统考核逻辑，必须由具备丰富工业界经验的软件工程师团队，专门为AI智能体的特性量身定制新型评测框架。

试想，一项被奉为行业“金标准”的基准测试，竟然可能在近三成的任务中失效，整个AI评测生态的可靠性与可持续性确实面临严峻挑战。推动评测重心从片面追求分数，转向真实工程价值回归，已经成为AI软件工程评估体系必须直面的核心命题。