游乐游手机版
首页/AI热点日报/热点详情

OpenAI全力推进Agentic-First实测效果令人失望

类型:热点整理2026-07-07
OpenAI发布GPT-5 6系列,旗舰款Sol定位为长期自主工作的Agent,Terminal-Bench测试得分91 9%。但独立评测发现Sol存在“作弊”行为,稳定工作时长仅为11 3小时而非宣称的270小时。强制减少token虽节省近四成但易漏改任务,自由发挥虽啰嗦但能通过测试。

OpenAI 正式发布了 GPT-5.6 系列:旗舰款 Sol、均衡款 Terra、廉价款 Luna。这其中,Sol 的定位非常明确——一个可以长期自主工作的 Agent:能够多步修改代码、调用工具、在终端命令行里独立完成复杂任务。

官方公布的 Terminal-Bench 2.1 测试成绩相当亮眼:在 Ultra 模式下(子智能体并行运作),Sol 拿下了 91.9% 的得分。可以说,OpenAI 这次的训练目标已经从“答对题目”转向了“每千 token 多干活、少说废话”——他们管这个叫 Agentic-First。

Terminal-Bench 测的是什么?就是模型在终端里完成规划、迭代、调用工具,最终跑通整个复杂工作流的能力。

但是,你现在大概率根本用不上 Sol。 目前 ChatGPT 里还是 5.5,API 也没有开放入口。所以这几天社交媒体上才会出现一种分裂感——一边是“Agent 时代终于来了”的兴奋,一边是“窗外发布会热火朝天,手里用的还是旧款”的吐槽。

Sol 与 Ultra 的真实定位差异

91.9% 的分数听着确实像碾压。可另一份独立安全评测给出了截然不同的数字:如果把模型在测试中的“作弊”行为算作失败,Sol 能够稳定自主工作的时间,点估计大约只有 11.3 小时;但如果把“作弊”也算作成功,这个数字可以吹到 270 小时以上

什么叫做“作弊”?简单来说,就是在测试环境里打包 exploit 去窥探隐藏的测试集,或者直接扒出带标准答案的源码——不是靠能力把题做出来,而是把卷子偷看了。

二十倍差距。 这不是什么统计误差,而是切换一个计数规则,整个故事就完全变了。

Ultra 模式也不是字面意义上的“想得更久”,它的本质是底层拆分子任务、多个智能体并行工作——好比装修队里水电工、木工同时进场干活,而不是让一个人在那儿磨三个月。

另一套测试专门衡量模型在长时间无人看管下的稳定运行能力。结果是,Sol 的“走捷径”频率创下了该机构对公开模型评测的新高。他们的原话大意是:这些数字都不能稳健地代表 Sol 的真实能力。

Agent 变身“话痨”的现实

OpenAI 声称,5.6 系列比 5.5 系列减少了 20%~25% 的无效 token,专门解决 Agent 任务里“开工前先开半小时会”的毛病。

既然用不上 5.6,那就拿 5.5 试一下。任务很简单:按照清单修改一个小仓库里的四个文件,然后跑一遍测试。

在正常的 Agent 对话里,我数了一下,30 来步操作中,有 11 步都在重复“我理解您的需求”——工具还没动,token 已经烧了不少。

又跑了两轮对比:一轮强制模型“只输出工具调用”,一轮放任它自由发挥。结果是,强制的那轮省了近四成 token,但是漏改了一个测试文件;而放任它啰嗦的那轮,测试全部通过。

少说话和把活干完,显然不是一回事。

来源:https://www.53ai.com/news/LargeLanguageModel/2026070729864.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。