GPT-5编程实测：63.1%未交卷却仍超Claude 2倍
SWE-BENCH PRO软件工程基准测试引发新思考
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
最新发布的SWE-BENCH PRO测试结果显示，主流AI模型的表现在表面上不尽如人意：
GPT-5、Claude Opus 4.1和Gemini 2.5分别以23.3%、22.7%和13.5%的解题率位列前三。
但更深层的数据分析揭示了有趣的现象。前OpenAI研究员Neil Chowdhury指出，仅就已回答题目而言，GPT-5的正确率高达63%，大幅领先Claude Opus 4.1的31%。
这一反差表明GPT-5在其擅长的领域依然保持强劲表现，与SWE-Bench-Verified基准中74.9%的成绩相差不大。
SWE-BENCH PRO测试特点
相较于SWE-Bench-Verified相对宽松的测试环境（平均70%的正确率），SWE-BENCH PRO的评估体系更为严格：
- 采用全新测试题目，避免训练数据污染
- 剔除简单的一两行代码修改任务
- 聚焦需要跨文件、数百行代码修改的复杂场景
多样化的代码库构成
测试集包含1865个来自不同领域的代码库：
- 公共集：731个问题，来自11个开源代码库
- 商业集：276个问题，来自初创公司代码
- 保留集：858个问题，用于验证模型过拟合
严谨的评估流程
为保证测试有效性，研究人员采用了以下方法：
- 提供详尽的问题描述和上下文
- 明确列出各项需求及对应函数
- 在专业容器环境中执行测试
- 通过fail2pass和pass2pass双重验证
测试结果深度分析
整体表现来看，主流AI模型的解决率显著低于以往测试。
关键影响因素
- 编程语言难度：Go和Python表现较好，JavaScript和TypeScript波动较大
- 代码库特性：不同代码库的解决率差异可达40%以上
- 模型规模：前沿大模型表现更稳定，小型模型容易得零分
模型差异化表现
- GPT-5：已回答题目正确率高，但63.1%的未作答率拉低总分
- Claude Opus 4.1：语义理解能力需提升，35.9%的错误解答率
- Gemini 2.5：各项能力均衡，但无明显突出优势
相关参考：
- https://x.com/vbingliu
- https://scale.com/leaderboard/swe_bench_pro_public
- https://x.com/ChowdhuryNeil/status/1969817448229826798
- https://scale.com/research/swe_bench_pro
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票