7月9日,谷歌突然对Android Bench代码开发者排行榜来了次大改版——全面引入标准化的Harbor沙箱框架。这次调整将测试迁移到安全隔离环境,目的很明确:让全球开发者跑独立评估、定制开发环境、共享数据,流程更顺畅。伴随架构升级,谷歌还通过GitHub向全球开源了这套基准测试,允许社区提交自定义的Android开发任务与模型评估。

不过,排名重新测定后,谷歌自家模型的表现有点尴尬。Anthropic旗下的旗舰模型Claude Fable5以84.5%的准确率拿下第一,OpenAI的GPT-5.5以80.2%紧随其后。相比之下,谷歌的Gemini 3.1 Pro只排到第五。虽然Gemini在测试成本上有点优势——单次迭代约87美元,而顶级模型普遍超过130美元——但轻量级的Gemini 3.5 Flash在解析百题评估数据集时,效率短板暴露得很明显:单次运行耗时28小时,成本还飙到165美元。
当前,核心工程项目向自主智能开发工作流程转型,已经是行业共识。谷歌在本土移动开发基准测试上落后,无疑给它的AI战略推进带来了技术挑战。但话说回来,Android Bench凭借客观透明的评测机制,加上Harbor框架的开放性,正在逐步确立自己作为行业公认、去营销化的权威AI代码评估平台的地位。
