近几个月来，国内外大模型领域竞争日趋激烈，几乎进入白热化阶段。国内一线厂商不断推陈出新，中美之间的能力差距正在以肉眼可见的速度缩小。正是在这样的行业背景下，本期测评显得尤为关键——我们汇集了当前最受关注的20款主流大模型，在AiPy真实业务场景中完成了多达1380次标准化测试，旨在为广大用户提供一份真正客观、可落地的大模型选型参考。

本次测评样本全面覆盖国内外头部厂商。国产模型方面，包括了DeepSeek V4 Pro、Qwen3.7 Max、豆包 Seed 2.1 Turbo、GLM5.2等最新版本；国际方面则涵盖了Anthropic Claude、Google Gemini、OpenAI GPT、xAI Grok等旗舰模型。既保证了覆盖面，也方便用户进行横向对比选型。

整个报告围绕模型在AiPy平台中的实际可用性展开，依托统一的测试框架与标准化任务设计，重点评估了18大核心应用场景中的适配能力：视觉理解、音频生成、生成创作、HTML制作、UI设计、本地分析、格式转换、联网搜索、批量处理、网络爬取、图表制作、数据分析、Word制作、PDF制作、编程开发、工具调用、日志分析及软件控制。

本次测评累计完成了1380次标准化测试，与模型实际交互总时长超过90小时，总消耗约3800万Tokens。整体平均成功率为77.5%。这一数据表明，主流大模型在AiPy平台上的适配度已经趋于成熟。但需要注意的是——不同模型在成功率和稳定性方面的差异依然非常显著，最高达到91.3%，最低仅为49.3%，差距高达42个百分点。

一、榜单结果

综合排名以成功率为首要指标，成功率相同时按平均Tokens消耗排序（消耗越少排名越优）。平均Tokens和平均执行时间均采用去除最高值和最低值后的均值，以此减少异常值干扰，让数据更具参考价值。

• 冠军：Claude Opus 4.8 —— 以91.3%的最高成功率稳居榜首，任务完成率和稳定性均表现出色，平均执行时间仅157秒，响应效率出众。实至名归。
• 亚军：Claude Sonnet 4.8 —— 89.9%的成功率紧随其后，平均Token消耗仅24,853，实现了高成功率与资源效率的兼得。Anthropic两款模型包揽冠亚军，在该赛道优势非常明显。
• 季军：Gemini 3.5 Flash —— 88.4%的成功率，平均Token消耗仅24,834，在效果与效率之间找到了最佳平衡点。Google此次表现令人眼前一亮。
• DeepSeek V4 Pro —— 国产模型冠军，88.4%的成功率与Gemini 3.5 Flash持平（按Token消耗排序位列第4）。在编程开发、数据分析等硬核场景中表现突出，证明国产模型已跻身国际一流水平。
• Qwen3.7 Max 及豆包 Seed 2.1 Turbo —— 均以85.5%的成功率并列全球第5-6名。Qwen3.7 Max平均执行时间206秒，响应速度堪称小能手；豆包 Seed 2.1 Turbo则在联网搜索、HTML制作等内容生成类任务上表现优异。
• GLM系列 —— GLM5.2以82.6%的成功率和仅23,213的平均Token消耗位列第7，资源效率令人瞩目。GLM5（81.2%）和GLM5.1（79.7%）同样表现不俗，智谱华章三款模型全部入榜，实力值得关注。
• 表现不及预期：GPT-5.5、Grok-4.3、Kimi K2.6 —— OpenAI的GPT-5.5仅获59.4%的成功率，xAI的Grok-4.3也只有60.9%。Kimi K2.6以49.3%垫底。显而易见，品牌知名度并不等同于实战能力，真实数据才是硬道理。

国内模型表现分析

本次参测的国内模型共15款，来自深度求索、阿里、字节跳动、智谱华章、腾讯、稀宇极智、月之暗面等厂商。整体来看，国内模型表现参差不齐，但头部产品已展现出很强的竞争力。

DeepSeek系列： DeepSeek V4 Pro以88.4%的成功率拿下国内冠军，全球总榜第4名。在编程开发、数据分析等高难度任务上尤为出色。DeepSeek V4 Flash则以82.6%的成功率和仅138秒的平均执行时间，成为国产模型中响应速度最快的之一。

Qwen3.7 Max： 阿里Qwen3.7 Max以85.5%的成功率位列国内第二，平均执行时间206秒，在保证任务完成率的同时也保持了不错的响应速度。不过Qwen3.7 Plus成功率只有65.2%，同系列内部差异较为明显。

豆包Seed系列： 字节跳动豆包Seed 2.1 Turbo成功率达85.5%，在联网搜索、HTML制作等内容生成类任务上表现亮眼。豆包Seed 2.0 Pro（79.7%）和豆包Seed 2.1 Pro（76.8%）同样表现稳定。

GLM系列： GLM5.2、GLM5、GLM5.1分别位列国内榜单第4、第6、第8，基础盘相当扎实。GLM5.2以82.6%的成功率和仅23,213的平均Token消耗，在资源效率方面的优势尤为突出。

Kimi K2.6： 月之暗面Kimi K2.6的成功率仅49.3%，在AiPy适配度上还有较大的提升空间，建议关注后续版本迭代。

国外模型表现分析

Claude系列： 前两名由Anthropic Claude系列包揽，Claude Opus 4.8以91.3%的成功率位居全球总榜第一，Claude Sonnet 4.8以89.9%紧随其后。Anthropic这次展现出的优势是压倒性的。

Gemini系列： Google Gemini 3.5 Flash以88.4%的成功率和仅24,834的平均Token消耗位列第三，两个效率维度都表现最优，真正实现了高性能与高效率的统一。

Grok： xAI的Grok-4.3平均执行时间只有78秒，是所有模型里响应最快的。不过成功率只有60.9%，速度与精度之间的平衡还需要继续打磨。

GPT-5.5： OpenAI的GPT-5.5以59.4%的成功率表现略显逊色。顶着OpenAI的光环，在AiPy场景下却不如预期，再次印证了实战数据比品牌光环更有说服力这一事实。

二、核心指标分析

1、成功率

优秀（成功率85%以上）：Claude Opus 4.8、Claude Sonnet 4.8、Gemini 3.5 Flash、DeepSeek V4 Pro、Qwen3.7 Max、豆包Seed 2.1 Turbo

良好（75-84%）：GLM5.2、DeepSeek V4 Flash、GLM5、豆包Seed 2.0 Pro、Qwen3.7、GLM5.1、Hunyuan3 Preview、豆包Seed 2.1 Pro

一般（65-74%）：豆包Seed 2.0 Lite、MiniMax M2.5、Qwen3.7 Plus

低于65%：Grok 4.3、GPT-5.5、Kimi K2.6

总体来看，20款模型中，成功率达到85%以上优秀水平的有6款，占比30%；达到75-84%良好水平的有8款，占比40%；处于65-74%一般水平的有3款；低于65%的有3款。整体成功率均值为77.5%，就这个水平而言，AiPy平台的可用性还是相当可靠的。

2、Tokens消耗

Grok 4.3平均消耗约16,501 Tokens，是本次测试中消耗最低的；GPT-5.5以19,820 Tokens紧随其后。但低Token消耗不一定意味着高成功率，性价比需要综合成功率与消耗量两个维度来考量。真正在效果与效率之间做到平衡的，是Gemini 3.5 Flash（88.4%成功率 + 24,834 Tokens）和GLM5.2（82.6%成功率 + 23,213 Tokens）。

3、场景适配分析

本次测评覆盖了18大任务类型。从热力图上看，视觉理解和音频生成任务的成功率普遍较高，在AiPy上发挥稳定；但软件控制和编程开发类任务，只有少数模型表现优秀。各模型在不同任务类型上的成功率分布，可以看下图。颜色越绿表示成功率越高，越红表示越低，每个模型的优势和短板一目了然。

4、不同任务类型选用模型建议

• 视觉理解/音频生成/生成创作场景： 整体成功率均在90%以上，多数模型表现优秀，按需选择即可。
• HTML制作/UI设计/本地分析场景： Claude系列和Gemini系列都表现优异。如果成本敏感，DeepSeek V4 Pro、Qwen3.7 Max、豆包Seed 2.1 Turbo在内容生成场景中展现出良好的性价比。
• 软件控制场景： 这个场景整体成功率偏低，多数模型都面临挑战。建议选择Claude Opus 4.8或Claude Sonnet 4.8，并且配合充分的任务描述提示词来提升成功率。
• 编程开发场景： DeepSeek V4 Pro和Claude Opus 4.8表现突出，推荐优先选择。

5、综合性能趋势

这张组合图把成功率、执行时间和Token消耗三条关键曲线融合在了一起。Claude Opus 4.8以91.3%的成功率位居榜首，综合性能顶尖。国产阵营中，DeepSeek V4 Pro以88.4%的成功率领跑，全球总榜第4名，绝对是国货之光。

雷达图从成功率、Token效率、时间效率、稳定性、综合得分五大维度，全面展示了综合排名前5的模型的能力分布。Token效率以平均Tokens消耗归一化衡量（越省越高）；时间效率以平均执行时间归一化衡量（越快越高）；稳定性以执行时间标准差衡量（越稳定越高）；综合评分由成功率（40%）、时间效率（20%）、Token效率（20%）、稳定性（20%）加权计算得出。

6、表现总结：

• Claude Opus 4.8在综合得分和成功率上全面领先。
• Gemini 3.5 Flash在两个效率维度上都表现最优——又快又省，效率至上的典范。
• DeepSeek V4 Pro作为唯一入选TOP5的国产模型，在成功率上与顶尖国际模型并驾齐驱，竞争力十足。

三、失败原因分析

本次测评共记录了311次未成功（含251次失败 + 60次超时）。对失败原因进行系统梳理后，发现主要集中在以下几类问题：

• 1、输出内容质量不达标（150次/48.2%）： 代码逻辑错误、生成内容不符合要求，这是最主要的失败原因。建议厂商重点优化代码生成和内容自检能力。
• 2、预期输出文件缺失（84次/27.0%）： 模型没能按预期生成或保存输出文件。文件操作的可靠性还需要加强。
• 3、任务超时（54次/17.4%）： 部分复杂任务执行时间过长，导致超时。优化任务分解和执行效率是正道。
• 4、其他原因（23次/7.4%）： 包括任务理解偏差、网络异常等，占比都小于3%，合并统计。

测试任务分类表（部分题目展示）

以下是本次测评中的10道代表性题目，涵盖视觉理解、数据分析、编程开发、联网搜索等AiPy用户最常遇到的任务类型。全部69道题目覆盖了18种任务类型。（完整题目清单可与AiPy最新联系获取）

四、深度洞察

基于本次1380次完整测试数据，从多个维度进行深度分析，提炼出以下关键洞察，供大家在模型选型和使用策略时参考。这些数据客观反映了当前主流大模型在AiPy平台上的真实表现，每个模型都有其独特的优势场景和改进空间。

1、性能冠军分析

Claude Opus 4.8以91.3%的最高成功率拿下总冠军，平均执行时间仅157秒。这是成功率与效率的完美结合。Anthropic Claude系列包揽全球前两名，在AiPy平台上的适配能力堪称卓越。

国内冠军DeepSeek V4 Pro以88.4%的成功率表现亮眼，与国际顶级模型的差距正在快速缩小，在编程开发场景中甚至已经并驾齐驱。

2、亮点发现

• Anthropic双雄：Claude Opus 4.8和Claude Sonnet 4.8包揽全球前两名，稳定性极强。
• 国内黑马DeepSeek V4 Pro：进步明显，以88.4%的成功率追上国际顶级水平，在编程开发、数据分析等硬核场景中表现坚挺。
• 效率标杆Gemini 3.5 Flash：88.4%成功率+24,834 Token消耗，在效果与资源消耗之间找到了最佳平衡点。
• 速度之王Grok-4.3：平均响应仅78秒，是所有模型中响应最快的，适合对速度敏感的场合。

3、改进建议

• 输出质量：48.2%的失败源于输出内容质量不达标，建议厂商重点优化代码生成和内容自检能力。
• 文件操作：27.0%的失败涉及预期输出文件缺失，模型需加强文件操作的可靠性。
• Kimi K2.6：成功率仅49.3%，建议针对AiPy平台的工具调用场景进行专项优化。
• 软件控制场景：整体成功率仅52.5%，是所有模型共同的薄弱环节，需要重点突破。

4、选型建议矩阵

• 追求最高成功率：首选Claude Opus 4.8（91.3%）
• 国内最佳选择：DeepSeek V4 Pro（88.4%，国内冠军）
• 效率与效果平衡：Gemini 3.5 Flash（88.4% + 24,834 Tokens）
• 代码开发场景：Claude Opus 4.8或DeepSeek V4 Pro
• 速度优先：Grok-4.3（78秒平均响应）或DeepSeek V4 Flash（138秒）
• 国内性价比：GLM5.2、豆包Seed系列、Qwen3.7 Max

AiPy将持续开展模型测评工作，为所有用户提供客观、权威的模型适配度参考。这次的数据和建议，希望能帮到每一位正在选型路上纠结的朋友。我们下期再见！