首页 游戏 软件 资讯 排行榜 专题
首页
AI
GPT-5编程实测:未交卷率63.1%,综合能力超Claude两倍

GPT-5编程实测:未交卷率63.1%,综合能力超Claude两倍

热心网友
46
转载
2025-09-23
来源:https://www.ithome.com/0/884/947.htm

AI编程测评遭遇滑铁卢:SWE-BENCH PRO揭示行业真实水平

Scale AI最新发布的软件工程评测基准SWE-BENCH PRO引发热议,测试结果显示主流AI模型表现远不及预期。

AI模型测评结果对比

测评结果解读:数据背后的真相

表面看三大主流模型全军覆没:GPT-5、Claude Opus 4.1和Gemini 2.5的解决率分别仅为23.3%、22.7%和13.5%。但前OpenAI研究员Neil Chowdhury指出,若仅统计已回答题目,GPT-5正确率可达63%,Claude Opus 4.1则仅有31%。

模型实际表现对比

SWE-BENCH PRO评测基准解析

造成测评结果大幅下滑的根本原因是评测基准的全新升级:

  • 采用1865个全新商业代码库,确保测试内容未被模型预先训练
  • 排除简单修改问题,专注多文件复杂修改场景
  • 引入真实商业代码环境,更好模拟工业实践

SWE-BENCH PRO基准设计

深度分析:模型失败原因探寻

不同模型展现各自短板:

  • Claude Opus 4.1主要在语义理解环节失分
  • GPT-5显示出工具使用效能问题
  • Claude Sonnet 4面临上下文管理挑战
  • Gemini 2.5表现较为均衡但不够突出

不同模型的失败模式分析

免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

奥特曼布局AI短视频,需先攻克腾讯壁垒
科技
奥特曼布局AI短视频,需先攻克腾讯壁垒

9月的最后几天,奥特曼和小扎踏入同一条河流。先是Meta推出了AI短视频信息流Vibes,内嵌于Meta AI应用中。而后是OpenAI推出了Sora 2模型,并且一同发布了全新的独立应用Sora。

热心网友
10.04
中国拥5300家AI企业,占全球15%
科技
中国拥5300家AI企业,占全球15%

10月3日消息,据中国信息通信研究院最新数据,截至2025年9月,我国人工智能企业数量突破5300家,全球占比达15%。我国已形成覆盖基础底座、模型框架、行业应用的完整产业体系,在全球AI竞争格局中

热心网友
10.04
AI修复世界首张照片,画面惊现科幻质感
科技
AI修复世界首张照片,画面惊现科幻质感

暴晒+沥青+锡板=世界上第一张照片?听起来有些像是化学实验,但这正是被学界普遍认可的世界上第一张照片——《勒格哈的窗外景色》的诞生方式,尽管具体年份仍有争议,但也即将度过200岁的生日。照片的作者尼

热心网友
10.04
AI发展为何不如预期?解析技术瓶颈与现实差距
科技
AI发展为何不如预期?解析技术瓶颈与现实差距

AI 有主体性吗?没有。主体性的英文叫做 agency,另一个比较流行的 buzzword 是 AI Agent It s cool and catchy I understand why pe

热心网友
10.04
Meta FAIR团队动荡:LeCun不满现状拟离职
科技
Meta FAIR团队动荡:LeCun不满现状拟离职

Meta内部混战又有新剧情了,这次主角是FAIR实验室。据The Information报道,两位知情人士透露,Meta最近对FAIR实验室施加了一项新政策:所有研究成果在公开发表前,必须通过额外的

热心网友
10.04

最新APP

星海幸存者
星海幸存者
动作冒险 10-04
我是神射手
我是神射手
飞行射击 10-04
杀手之狙击精英
杀手之狙击精英
飞行射击 10-04
梦幻汽车军团
梦幻汽车军团
休闲益智 10-04
小小王牌突击队
小小王牌突击队
休闲益智 10-04

热门推荐

币an网官网下载2026:2026官方下载指南,安全便捷的数字资产交易平台
web3.0
币an网官网下载2026:2026官方下载指南,安全便捷的数字资产交易平台

2026年数字资产交易新篇章:币安官方下载与安全便捷体验深度解析 时间总是匆匆,转眼间我们已经站在了2026年的门槛上。回首过去几年,数字

热心网友
10.04
2025中秋赏月攻略:最佳观月地点与彩云观赏指南
科技
2025中秋赏月攻略:最佳观月地点与彩云观赏指南

中秋佳节将至,一轮别具特色的“超级月亮”将亮相夜空,为这个传统节日增添浪漫氛围。据气象部门发布的全国中秋赏月地图显示,今年中秋夜,我国多地天气条件适宜赏月,部分地区则可能因云层或降雨与圆月失之交臂。

热心网友
10.04
《羊蹄山之魂》口碑爆棚 开发者透露系列未来规划
科技
《羊蹄山之魂》口碑爆棚 开发者透露系列未来规划

Sucker Punch推出的羊蹄山之魂已于10月2日正式发售,获得媒体广泛赞誉。尽管玩家对这一系列未来的延续充满期待,但开发团队在近期访谈中强调,项目推进的关键在于时机与选择。工作室联合创始人Br

热心网友
10.04
揭秘《羊蹄山之魂》开发历程:Sucker Punch的5年创新之路
科技
揭秘《羊蹄山之魂》开发历程:Sucker Punch的5年创新之路

2025年10月3日羊蹄山之魂是由Sucker Punch Productions开发、索尼互动娱乐推出的PS5平台动作冒险类开放世界游戏。作品背景设定在1603年的北海道地区,当时该地被称为虾夷地

热心网友
10.04
狗狗币合约触发价如何设置_狗狗币合约触发价设置教程
web3.0
狗狗币合约触发价如何设置_狗狗币合约触发价设置教程

​在狗狗币合约交易中,合理设定触发价格是控制风险与锁定利润的关键一步。这个价格决定了您的条件委托何时被激活并送入市场,是实现自动化交易策略的核心要素。

热心网友
10.04