摒弃模板化结构，平衡口语化节奏与客观性表达

过去在 SWE-Bench 上获得 80 分的模型，一旦投入真实场景，十次任务往往难以通过三次。榜单得分与实际使用体验之间的巨大差距，几乎是每一位 Agent 开发者都曾踩过的坑。

2025年6月4日，Arena.ai 正式发布了 Agent Arena 排行榜，基于 373,431 次真实会话 的数据，对 18 个主流模型的 Agent 能力进行了排名。该榜单的独特之处在于不再依赖标准化测试题，而是直接评估模型在真实用户操作环境中的实际表现。

战力榜首：GPT-5.5 High 领跑，前五名被 OpenAI 与 Anthropic 包揽

先看总榜。Agent Arena 的排名依据是“净改进”（Net Improvement），即通过因果推断方法计算每个模型相对于随机基线的性能提升幅度。正值代表比随机选择更好，负值则说明甚至不如随机。

GPT-5.5 High 以 +10.66% 的净改进位列第一，Claude Opus 4.7 Thinking 紧随其后（+9.47%）。GPT-5.4 High 位居第三（+8.92%），Claude Opus 4.6 排名第四（+8.14%），GPT-5.5 标准版名列第五（+7.47%）。前五名全部被 OpenAI 和 Anthropic 占据，这两家公司在 Agent 能力上的领先优势十分显著。

国产模型方面，智谱的 GLM-5.1 以 +3.38% 排在第八位，在 Bash 恢复方面表现亮眼，达到 10.37%，接近第一梯队水平。Kimi K2.6 和 DeepSeek V4 Pro 也出现在总榜单上，但分项指标各有短板。整体而言，国产模型在工具稳定性上仍有提升空间，不过任务恢复能力已经具备一定竞争力。

分项指标的差异比总榜更有参考价值。Claude Opus 4.7 Thinking 在“确认成功”上的净改进达到 7.95%，是所有模型中最高的，表明它在“把任务真正做完”这方面最为可靠。GPT-5.5 High 在“表扬与抱怨”上的净改进以 14.95% 大幅领先，比 Opus 4.7 Thinking 的 12.18% 高出不少。

确认成功：指用户在 Agent 完成整个任务后，是否明确认可最终结果。简单说就是“任务有没有真正做完，用户认不认可”。（结果导向）

表扬与抱怨：系统通过自然语言分析自动识别用户在整个交互过程中发出的正面评价（表扬）和负面评价（抱怨）。表扬多于抱怨记为积极结果，抱怨多于表扬则记为负面结果。（体验导向）

Agent Arena：让模型离开考场，回归真实世界

传统基准（SWE-Bench、MMLU 等）测试的是标准化题目，一次问答、一次打分。但实际工作中，Agent 需要面对多轮交互、工具调用失败、shell 报错、用户中途更改需求等各种复杂情况。传统基准无法覆盖这些维度，分数自然难以反映真实表现。

Agent Arena 的做法完全不同。它没有预设题目，而是记录真实用户在平台上使用 Agent 完成任务的完整会话。每次会话包含多轮交互，用户可以在过程中批准、纠正、表达不满，Agent 则需要应对 shell 报错、工具调用失败等实际环境反馈。一个会话记录的不只是最终结果，还有每一轮的工具调用链、bash 命令的退出码以及用户对结果的实际评价。

本次排行榜共记录了 373,431 次会话，有 18 个模型参与评估。仅最近一周就记录了 160,480 个任务、206 万次工具调用，Agent 生成的代码共 4,030 万行。任务类型覆盖了开发者日常的大部分场景：代码编写占 17.5%、研究查找占 10.8%、规划与头脑风暴占 10.6%、图片视频处理占 10.2%、文档创建占 9.1%、代码调试占 8.9%——基本上涵盖了开发者日常用到的各类场景。

排行榜通过五个独立分项指标来拆解 Agent 表现，每个指标对应实际工作中的一项核心能力：

确认成功：用户最终是否点击“批准”按钮。这是最直接的成败指标，统计每次会话中用户对最终结果的判定。Claude Opus 4.7 Thinking 在该信号上以 +7.95% 领先。

表扬与抱怨：系统自动识别用户消息中的正面和负面表达。表扬多于抱怨则任务记为成功。GPT-5.5 High 以 +14.95% 排名第一，说明它产出的结果最令用户满意。

可控性：Agent 被用户纠正后能否正确调整。实际工作中错误难以避免，能否顺利被纠正是衡量硬实力的关键。GPT-5.5 High 以 +12.03% 领先，GLM-5.1 该项为 -3.41%，被纠正后容易无法恢复。

Bash 恢复：统计 Agent 执行 bash 报错后需要多少轮才能恢复正常，放弃恢复会额外扣分。GPT-5.5 High（+17.73%）和 Claude Sonnet 4.6（+17.23%）表现最强。Grok 4.3 该项仅为 -89.43%，几乎不具备恢复能力；Gemma 4 31B 也是 -21.86%。

工具幻觉：Agent 是否调用不存在的工具、编造工具名或将内部标记泄露到工具字段。一旦出现直接标记失败。该信号上各模型分化严重：GPT-5.5 和 Kimi K2.6 都控制在 +1.52%，DeepSeek V4 Pro 为 -5.48%，Gemma 4 31B 达到 -32.64%。

Agent Arena 测试方法的核心是因果推断：把“使用哪个模型”当作一个随机变量——用户被随机分配模型，然后对比不同模型在相同类型任务上的表现差异。排行榜上的“净改进”就是这个差值。该方法的好处是模型无法靠背题刷分，每次任务都由真实用户随机分配，保证了评估的公平性。

榜单背后，藏着几个容易被忽略的信号

分项指标揭示了明显的风格分化。简单总结：Claude 偏稳健，GPT 偏“让人满意”。

用户行为数据也展现出一些有趣的规律。Agent Arena 的统计显示，45% 的用户一上来就把整个任务直接交给 Agent（“交付完整成果”模式），只有 28% 是来寻求建议的。但 Agent 第一次回复后，用户收回控制权的频率是再次授权的 2.3 倍。也就是说，用户一开始很愿意放手，看到初步结果后反而更谨慎了——信任的建立并不容易。

被纠正后的 Agent 还有一个普遍现象：虚张声势。数据显示，Agent 被纠正后，有 26% 的情况听起来自信满满，但真正拒绝修改的只有 2.7%，敢说用户错了的仅占 1.4%。大多数 Agent 的应对策略是口头答应“好的我改”，实际是否改对则另当别论。开发者在调试 Agent 行为时，这个现象值得特别关注。

成本也是一个容易被忽略的维度。Agent Arena 统计了每次会话的实际花费，发现有些模型理论定价低但实际成本更高。行为模式差异导致：有的模型每轮调用工具更多、执行步骤更长，或者需要用户反复操作才能满意，最终账单超过预期。选模型时单看 Token 单价容易陷入误区。

排名≠生产力，选模型要看功能需求

排行榜终究只是参考。不同场景下各信号的权重完全不同。

在写代码和调试 bug 的场景中，Bash 恢复和确认成功应优先考虑。shell 报错是家常便饭，恢复能力直接决定使用体验。从数据看，GPT-5.5 High 和 Claude Sonnet 4.6 在 Bash 恢复上表现最为稳定，Grok 4.3 和 Gemma 系列在这方面有明显短板。

在做内容生成或需要频繁与技术人员协作的场景中，可控性以及表扬与抱怨更关键。需求来回调整较多，模型能否被顺利纠回来直接影响效率。GPT-5.5 系列在可控性上大幅领先（+12.03%），Claude Opus 4.7 Thinking 也不错（+9.04%）。GLM-5.1 可控性为负值（-3.41%），此类场景下需要谨慎选择。

如果你在意成本，还需要结合 Tool Hallucination 和会话长度来算总账。工具幻觉高的模型会导致大量无效调用，实际花费远超理论定价。DeepSeek V4 Pro（-5.48%）和 Gemma 4 31B（-32.64%）在这个维度上是明显短板。

写在最后

Agent Arena 榜单展现出一个趋势：Agent 评测正从过去的“考试模式”转向“工作考核模式”，榜单结果也更贴近真实的用户体验。37.3 万次真实会话数据评测出的结果，可以作为选型参考。但最终哪个模型更适合，还需要回到自己的实际场景中去验证。

你目前的主力 Agent 模型是哪一款？它在 Bash 恢复和可控性上表现如何？如果已经在实际项目中踩过“榜单高分、干活掉链子”的坑，欢迎留言分享——看看大家踩的是不是同一款。

参考链接：
https://arena.ai/leaderboard/agent