代码生成能力已成为大语言模型当前最受关注的应用场景，但究竟哪款模型能在各类开发任务中全面胜出，仍是一个悬而未决的问题。今年早些时候，谷歌为此专门推出了一个基准测试——Android Bench，旨在评估大语言模型在Android应用开发中的实际表现。如今，这一测试体系迎来了重要升级。

尽管大模型编程工具风头正盛，但并非无所不能。要从海量输出中筛选出真正有价值的代码，选对工具才是关键。Android Bench正是为此而生——它设置了100项Android开发任务，用于衡量各家AI智能体的综合能力。自今年3月上线以来，谷歌陆续引入了成本、效率等新指标，同时纳入了更多开放权重模型。

为了保持时效性，谷歌此次一口气新增了八款模型，基本覆盖了市场主流旗舰：Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 以及 Qwen 3.7 Max。

回顾Android Bench刚发布时的情况，谷歌自家的AI模型并未占据榜首——当时OpenAI的模型以微弱优势领先。如今参赛选手越来越多，Gemini的处境反而更加尴尬。最新排行榜显示，Gemini 3.1 Pro排名第五，落后于GPT 5.4、Claude Sonnet 5和Claude Fable 5。其中Fable 5表现尤为抢眼，测试准确率达到84.5%，遥遥领先。

不过，高分的背后也伴随着高昂成本。Fable 5和GPT 5.5的运营成本相当高——在100道题、10次运行的基准测试中，仅Token消耗费用就超过了130美元。Gemini 3.1 Pro虽然得分不如它们，但运行成本仅为87美元。有意思的是，定位为轻量、低成本的Gemini 3.5 Flash，反而成了排行榜上最昂贵的模型——原因在于它完成测试的速度实在太慢：每次运行花费165美元，耗时长达28小时。

谷歌自家模型在Android编程上的短板，在其大力推动智能体化开发转型的背景下显得格外扎眼。毕竟，谷歌自然希望Android开发者在日常工作中优先使用自家的工具。这或许也是为什么有报道称，谷歌已开始向开发者购买应用源代码用于AI训练。

Android Bench本身也将持续演进，不断加入新的工作流来测试各类模型。谷歌希望更多开发者能够参与进来，贡献基准测试和开发任务。为了让这一过程更便捷，他们将测试框架切换到了Harbor。按照官方说法，这个测试沙盒能让开发者更轻松地运行、评估和分享Android Bench的测试结果。

另外需要注意的是，谷歌已基于Harbor框架重新运行了所有历史测试，以此重置大语言模型性能的基准线。因此，即使底层测试内容未变，此前公布的部分分数也出现了偏移。不过历史数据仍会以存档形式继续在线保留。

借助这个更加易用的新框架，开发者可以将自己的开发任务接入Android Bench进行测试，并将结果提交给官方，看是否能够纳入正式测试集。Android Bench的GitHub页面也已更新，发布了最新数据集和参与指南。

Q&A

Q1：Android Bench 是什么？它主要用来测试什么？

A：Android Bench 是谷歌于2023年3月推出的基准测试工具，专门用于评估大语言模型在Android应用开发任务中的表现。测试内容涵盖100项开发任务，涉及代码生成等核心能力，并提供准确率、成本、效率等多维度指标，帮助开发者找到最适合Android开发的AI工具。

Q2：最新 Android Bench 排行榜中，哪款模型表现最好？

A：最新排行榜上，Claude Fable 5 以84.5%的准确率位居第一，表现最为突出。GPT 5.4 和 Claude Sonnet 5 紧随其后。谷歌自家的 Gemini 3.1 Pro 仅排第五，而 Gemini 3.5 Flash 虽然定位轻量低价，却因运行时间过长，每次测试费用高达165美元，成为榜单上成本最高的模型。

Q3：开发者如何参与 Android Bench 的测试贡献？

A：谷歌已将 Android Bench 切换到 Harbor 测试框架，大幅降低了参与门槛。开发者可以在本地运行自定义开发任务并在Android Bench中评估，之后将结果提交给官方，供其考虑纳入正式测试集。相关数据集和参与说明已更新至 Android Bench 的 GitHub 页面。