7月9日,谷歌对Android Bench代码开发者排行榜进行了一次重大调整——全面重构,核心动作是将标准化的Harbor沙箱框架深度融合。这意味着,所有测试都迁移到了高度隔离的安全环境中运行,目标很明确:让全球开发者能够更便捷地进行独立性能评估、灵活配置开发环境,并协作共享测试数据,技术门槛显著降低。底层架构升级后,谷歌也没有保留,直接在GitHub上开源了完整的基准测试套件,社区想参与?没问题——开发者可以自主提交定制化的Android开发任务与模型评测方案。

值得关注的是,此次更新后的权威排名中,谷歌自家模型的表现并不突出。Anthropic旗下的旗舰大模型Claude Fable5夺得榜首,准确率84.5%;OpenAI的GPT-5.5紧随其后,以80.2%的得分位列第二;而谷歌的Gemini 3.1 Pro只排到了第五位。
当然,Gemini系列在成本方面仍有一定底气。单次推理来看,Gemini 3.1 Pro一次测试约需87美元,而头部竞品普遍超过130美元,差距较为明显。但轻量版Gemini 3.5 Flash在百题规模的评估数据集上就显得有些吃力——单次完整运行耗时28小时,总成本直接飙升至165美元。两相对比,成本优势就没那么突出了。
目前行业的主流方向已十分明确:构建以自主智能为核心的端到端开发工作流。谷歌在这一关键移动生态基准测试上的相对落后,客观上给其整体AI战略落地带来了不小的压力。不过,依托公开透明的评测逻辑,结合Harbor沙箱框架的深度开放能力,Android Bench正加速成为业内公认的、非商业导向的权威AI编程能力评估基础设施。这一点,已成为不争的事实。
