GPT-5编程实测：63.1%未交卷却仍超Claude 2倍
SWE-BENCH PRO软件工程基准测试引发新思考
最新发布的SWE-BENCH PRO测试结果显示，主流AI模型的表现在表面上不尽如人意：
GPT-5、Claude Opus 4.1和Gemini 2.5分别以23.3%、22.7%和13.5%的解题率位列前三。
但更深层的数据分析揭示了有趣的现象。前OpenAI研究员Neil Chowdhury指出，仅就已回答题目而言，GPT-5的正确率高达63%，大幅领先Claude Opus 4.1的31%。
这一反差表明GPT-5在其擅长的领域依然保持强劲表现，与SWE-Bench-Verified基准中74.9%的成绩相差不大。
SWE-BENCH PRO测试特点
相较于SWE-Bench-Verified相对宽松的测试环境（平均70%的正确率），SWE-BENCH PRO的评估体系更为严格：
- 采用全新测试题目，避免训练数据污染
- 剔除简单的一两行代码修改任务
- 聚焦需要跨文件、数百行代码修改的复杂场景
多样化的代码库构成
测试集包含1865个来自不同领域的代码库：
- 公共集：731个问题，来自11个开源代码库
- 商业集：276个问题，来自初创公司代码
- 保留集：858个问题，用于验证模型过拟合
严谨的评估流程
为保证测试有效性，研究人员采用了以下方法：
- 提供详尽的问题描述和上下文
- 明确列出各项需求及对应函数
- 在专业容器环境中执行测试
- 通过fail2pass和pass2pass双重验证
测试结果深度分析
整体表现来看，主流AI模型的解决率显著低于以往测试。
关键影响因素
- 编程语言难度：Go和Python表现较好，JavaScript和TypeScript波动较大
- 代码库特性：不同代码库的解决率差异可达40%以上
- 模型规模：前沿大模型表现更稳定，小型模型容易得零分
模型差异化表现
- GPT-5：已回答题目正确率高，但63.1%的未作答率拉低总分
- Claude Opus 4.1：语义理解能力需提升，35.9%的错误解答率
- Gemini 2.5：各项能力均衡，但无明显突出优势
相关参考：
- https://x.com/vbingliu
- https://scale.com/leaderboard/swe_bench_pro_public
- https://x.com/ChowdhuryNeil/status/1969817448229826798
- https://scale.com/research/swe_bench_pro
热门专题
热门推荐
MiniCPM-o 4 5是什么 在探索更自然、更智能的人机交互道路上，我们始终在期待一个“全能型选手”的到来。如今，这个角色或许已经登场。面壁智能最新开源的MiniCPM-o 4 5，一个仅拥有90亿参数的全模态大模型，正致力于重新划定“智能对话”的边界。 它彻底颠覆了传统一问一答的“对讲机”式交
Binance币安 欧易OKX ️ Huobi火币️ 想在2025年安全获取欧易OKX的正版APP？其实秘诀就一个：认准官方网站，避开所有仿冒和可疑的下载渠道。要知道，欧易现已统一更名为欧易OKX，其核心业务始终围绕数字资产交易及相关服务展开。 确认官方网站地址 第一步，打开浏览器，手动输入欧易OK
SecondMe Book是什么 在AI社交这一前沿赛道，一款国产平台正带来独特的解决方案。SecondMe Book，本质上是一个能够让你构建个人AI数字分身的创新平台。它允许用户创建一个能够代表真实自我风格与思维的AI数字身份，并让这个“第二自我”在一个专属的AI社交网络中自主运行——包括主动发
在AI大模型技术快速发展的今天，如何在卓越性能与高效推理成本之间取得最佳平衡，已成为行业关注的核心焦点。近期，由阶跃星辰推出的开源模型Step 3 5 Flash引发了广泛热议。该模型专为智能体（AI Agent）应用场景深度优化，旨在顶尖能力与亲民部署成本之间，构建一个极具竞争力的技术支点。 简而
LongCat-Flash-Lite是什么 在探索大语言模型性能与效率的最佳平衡点时，美团近期推出的LongCat-Flash-Lite提供了一个极具创新性的解决方案。作为新一代高效大语言模型，它凭借其突破性的架构设计，在人工智能领域获得了广泛关注。 简而言之，该模型创新性地融合了“混合专家系统（M