游乐游手机版
首页/AI教程/文章详情

Grok4.5基准测试深度解读xAI最新发布内容分析

时间:2026-07-11 14:28
xAI发布Grok4 5的四项编程基准测试与效率图表显示,其表现相当于第二梯队模型,与ClaudeOpus4 8互有胜负,但落后顶尖模型。最大亮点是输出效率,每个任务平均输出token仅为Opus4 8的四分之一。数据来源混合第三方与厂商自报,缺乏独立评估和非编程领域测试。

xAI 在 2026 年 7 月 8 日正式发布了最新模型 Grok 4.5,同时公布了四项编程基准测试结果与一张效率对比图表。这些数据极具参考价值,显然是经过精心挑选的。我们不必急于查看排行榜更新,先来深入分析这些数据究竟说明了什么、来源何处、缺失了哪些信息,以及如何自行运行评估测试。

一句话概括:Grok 4.5 在基准测试中的表现,堪称实力强劲的第二梯队编程模型,与 Claude Opus 4.8 互有胜负,但与顶尖模型相比仍存在差距。它最突出的亮点并非准确率,而是输出效率。

xAI 官方发布的核心数据一览

根据官方公告,xAI 提供了四张图表,具体数据如下:

DeepSWE 1.0 (pass@1)

模型得分
Claude Fable 5 (max)66.1%
GPT 5.5 (xhigh)64.31%
Grok 4.562.0%
Claude Opus 4.8 (max)55.75%
Claude Opus 4.7 (max)40.12%

DeepSWE 1.1

模型得分
Claude Fable 5 (max)70%
GPT 5.5 (xhigh)67%
Claude Opus 4.8 (max)59%
Grok 4.553%
GLM 5.244%

Terminal Bench 2.1

模型得分
Claude Fable 5 (max)84.3%
GPT 5.5 (xhigh)83.4%
Grok 4.583.3%
Claude Opus 4.8 (max)78.9%
Claude Opus 4.7 (max)78.9%

SWE Bench Pro (解决率)

模型得分
Claude Fable 5 (max)80.4%
Claude Opus 4.8 (max)69.2%
Grok 4.564.7%
Claude Opus 4.7 (max)64.3%
GLM 5.262.1%
GPT 5.5 (xhigh)58.6%

此外,xAI 还提供了一张效率对比图:Grok 4.5 在每个 SWE Bench Pro 任务中平均输出 15,954 个 token,而 Opus 4.8 (max) 的同类指标为 67,020 个 token,两者相差约 4.2 倍。

Grok 4.5 基准测试:xAI 发布了什么,以及如何解读

这些数据的来源详解

xAI 图表上的注释比以往任何时候都更具参考价值:

  • DeepSWE 1.0 由 Datacurve 创建,并由 AA 使用各模型提供商的 harness 负责运行。
  • DeepSWE 1.1 采用了由 Datacurve 运行的 mini-swe-agent harness。
  • “竞争对手的数据摘自各自开发商发布的系统卡或基准测试排行榜。”

这意味着什么?这构成了一幅典型的“拼凑”图景。部分数据源于第三方评估机构,部分来自竞争对手的官方营销页面,最后由带有销售目标的厂商汇总而成。这种做法比纯粹的自我报告更透明,且 Datacurve 的参与提升了可信度。但问题在于,它仍然不是独立的评估:不同来源的 harness、脚手架和努力程度设置各不相同,其中任何一项变化都可能导致智能体评分波动数个百分比。目前,除了这份“拼凑图”之外,尚未有任何人发布过关于 Grok 4.5 的独立测试数据。

对相同图表的三种不同解读

第一种解读:与 Opus 4.8 相比,两者棋逢对手。Grok 在两项测试中胜出(DeepSWE 1.0 领先 6.25 分,Terminal Bench 领先 4.4 分),在两项测试中落败(DeepSWE 1.1 落后 6 分,SWE Bench Pro 落后 4.5 分)。马斯克关于“Opus 级别”的定位,在他发布的数据中是可以成立的;但更激进的声明则难以自圆其说。请注意,Grok 在终端导向的评估和较旧的测试中获胜,而 Opus 则在较新的、更复杂的仓库级评估中占据优势。如需了解包括定价在内的全面对比,可参考 Grok 4.5 与 Claude Opus 4.8 的详细比较。

第二种解读:与顶尖模型相比,Grok 4.5 完全不具备竞争优势,而且 xAI 也并未刻意掩饰这一点。在他们自己的官方页面中,Claude Fable 5 (max) 在所有四张图表中均位居榜首,而 GPT 5.5 (xhigh) 在四项测试中有三项胜过 Grok 4.5。有趣的是,xAI 选择将这些数据公之于众,而非刻意裁剪。他们的宣传重点非常明确:性价比,而非绝对霸权。关于 Fable 数据在实际应用中的意义,我们在 Fable 5 基准测试分析中进行了深入探讨。

第三种解读:与其前代产品相比,此次升级是真实存在的,但幅度有限。在这些图表中,从 Opus 4.7 到 4.8 的跨越,让大多数代际差距显得微不足道。而 Grok 4.5 领先于 GLM 5.2(其成本仅为前者的一小部分)的优势,在两项共同的基准测试中仅为 9 到 11 分。追求“单位美元能力”的买家,应当仔细权衡这两个方向的差距。

xAI 希望你重点关注的核心指标

效率图表是此次发布会的战略核心。每个解决的任务仅需 15,954 个输出 token,而 Opus 4.8 (max) 需要 67,020 个。这意味着 Grok 4.5 以不到四分之一的输出量完成了同等的工作,同时交付速度达到每秒 80 个 token。

这是一个非常合理的指标,绝非噱头。输出 token 直接关联到成本与时间;在智能体循环中,这些成本会在每一步中不断累加。一个在 SWE Bench Pro 上得分低 4.5 分,但输出 token 少 4.2 倍的模型,对于高吞吐量的流水线来说,仍然是理性的选择。这正是我们的定价分析所量化的权衡:按牌价计算,每个解决任务的输出成本分别为约 0.10 美元与约 1.68 美元。

这里有两个注意事项需要牢记。首先,这是厂商测量的单一基准测试。其次,对于对比模型来说,输出冗长并非等同于浪费:Opus 的长输出是其扩展推理的体现,这也是它在某些评估中获胜的部分原因。效率与深度是真实的权衡,而非免费的午餐。

目前缺失的关键信息

在未来几周内保持观望的理由依然充分:

  • 缺乏独立的第三方评估。截至 7 月 9 日,Artificial Analysis 智能指数尚未收录,LMArena 尚未给出排名,社区也未进行 SWE-bench 复现验证。
  • 仅限编程领域。xAI 未为这款同样定位为“知识工作”的模型发布任何通用推理、数学、科学或安全基准测试。办公能力仅以演示而非正式评估的形式发布。
  • 未披露 Grok 自身的推理模式。竞争对手均标注了其模式(max、xhigh);Grok 4.5 的得分反映的是其默认配置还是最高配置,目前尚不明确。
  • 发布首周的模型。在任何模型发布后的第一个月内,性能回退、服务不稳定以及悄无声息的能力变更都很常见。

运行真正重要的基准测试:你自己的测试

公开基准测试预测的是平均水平,而非你的具体工作负载。在做出切换决策时,轻量级的私有评估胜过上述所有数据:

  1. 从你自己的待办事项中收集 10 到 20 个真实任务:包括 prompt、代码库上下文和预期结果。
  2. 为每个候选模型构建一个保存的请求。由于 xAI 和 Anthropic 都提供兼容 OpenAI 的接口,因此测试框架只是一个带有模型变量的集合,而非三个独立的代码库。
  3. 针对 grok-4.5 和你当前使用的模型运行每个任务。对 usage 对象进行断言并记录延迟,这样你就可以在同一次运行中对质量、速度和 token 消耗进行综合评分。
  4. 如果可能,进行盲测评分;模型名称对评审者偏见的影响远比你承认的要大。

最后一步是检验“效率论”是否符合实际应用场景的关键:如果 Grok 4.5 在你的 prompt 下输出并未明显变短,那么头条新闻中的经济效益就不适用于你。

常见问题解答

xAI 为 Grok 4.5 发布了哪些基准测试? 四项编程评估(DeepSWE 1.0 和 1.1、Terminal Bench 2.1、SWE Bench Pro)以及与 Opus 4.8 的 token 效率对比。没有发布编程领域以外的数据。

是否有独立的 Grok 4.5 基准测试? 目前还没有。已发布的数据混合了 Datacurve 运行的评估结果以及其他厂商系统卡上的数据。独立指数通常会在重大发布后的几周内出现。

Grok 4.5 击败了 Claude Opus 4.8 吗? 在已发布的四项基准测试中,它胜出两项,并且成本更低。Opus 在两项更难的仓库级评估中获胜。可以参考完整对比。

Grok 4.5 是目前最强的编程模型吗? 不是,xAI 自己的图表也清晰表明了这一点:Claude Fable 5 (max) 在每项已发布的基准测试中都处于领先地位。Grok 4.5 竞争的是“单位美元智能”这一维度。

来源:https://apifox.com/apiskills/grok-4-5-ji-zhun-ce-shi-xai-fa-bu-liao-shi-yao-yi-ji-ru-he-jie-du/
上一篇Cursor使用Grok 4.5操作指南 下一篇HCIE-AI提示工程原理详解:核心概念、应用场景与优化方法论
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
SAM3与FastAPI实战:搭建智能图像标注工具
AI教程 · 2026-07-11

SAM3与FastAPI实战:搭建智能图像标注工具

基于SAM3与FastAPI构建智能图像标注工具,解决传统标注耗时痛点。SAM3支持开放词汇分割,输入文本即可自动分割。后端封装SAM3Service实现懒加载、特征缓存及多种分割模式,掩码可视化由后端生成PNGbase64。前端采用react-konva实现画布交互,API遵循RESTful风格,支持批量标注与导出。

开源SKILL让公众号排版不再是噩梦
AI教程 · 2026-07-11

开源SKILL让公众号排版不再是噩梦

一个开源SKILL(gzh-design-skill)可将Markdown转为样式全内联的HTML,粘贴到公众号编辑器后格式不丢失。内置六套主题,支持主题生成器,通过组件库和校验脚本保障排版效果,不依赖特定AI模型,适配多种国产模型。

年AI Agent生态全面爆发:从MCP协议到智能体协作开发者必抓浪潮
AI教程 · 2026-07-11

年AI Agent生态全面爆发:从MCP协议到智能体协作开发者必抓浪潮

2026年AIAgent生态全面爆发,MCP协议成为行业标准,推动工具统一调用。ClaudeCode等自主编码Agent实现多文件重构与自主排错。多Agent协作系统成熟,开发效率提升超400%。LangGraph、CrewAI等开源框架加速落地,Agent从概念转向生产力工具。

图片放大模糊原因:从插值到AI的超分辨率演进
AI教程 · 2026-07-11

图片放大模糊原因:从插值到AI的超分辨率演进

图片放大模糊源于信息量固定,摊薄后需补像素。插值仅做数学过渡,无法恢复细节。深度学习超分通过数据学习先验,GAN生成逼真纹理但会编造细节。超分是合理推断,不可用于还原真相。

豆包AI对话数据高效导出与智能体资产迁移实战方案
AI教程 · 2026-07-11

豆包AI对话数据高效导出与智能体资产迁移实战方案

针对豆包AI平台缺少批量导出功能的问题,提出一套技术方案:通过浏览器控制台脚本、自动化框架或社区扩展实现对话记录全量加载与结构化导出,支持JSON、Markdown等格式,并可应用于模型微调、行为分析、知识沉淀及跨平台迁移,同时强调数据隐私与平台合规要求。