先说几个核心判断。

OpenAI最新的o3系统，在ARC-AGI-1公共训练集上完成训练后，于一个半私有评估集中交出了一份令人瞩目的成绩单——在10,000美元的算力预算限制内，达到了75.7%的准确率。如果把算力拉满（按172倍的配置来算），这个数字甚至能飙到87.5%。

这不只是一个技术指标的突破，它代表的是AI能力的一次质的飞跃。回头看一组数据就能感受到这种跨越有多猛：ARC-AGI-1测试从2020年GPT-3的0%，到2024年GPT-4o的5%，用了整整四年时间。而o3的出现，直接把这条增长曲线拉到了一个完全不同的量级。

ARC Prize的设立初衷，并不是搞一个静态的排行榜就完事了。它的使命是为通用人工智能（AGI）的探索提供方向指引。接下来，我们期待能在明年与OpenAI团队及其他机构合作，共同设计新一代的持久性AGI基准测试。ARC-AGI-2将保持与现有测试相同的格式——对人类来说依然容易验证，但对AI来说，挑战性将显著升级。这套新基准预计将与2025年的ARC Prize同步推出。

那么，具体到测试数据，我们来看看细节。

OpenAI o3在ARC-AGI测试中的表现

测试采用了两组ARC-AGI数据集：

• 半私有评估：包含100个私有任务，主要用于检测模型是否存在过拟合现象。
• 公共评估：包含400个公共任务，用于衡量通用性能。

在OpenAI的协助下，测试分别采用了两种计算资源配置，对应不同的样本量：6（高效模式）和1024（低效模式，算力消耗约为高效模式的172倍）。

结果如下：

半私有评估（100个任务）：

• 高效模式：准确率75.7%，总成本2,012美元，每任务处理3,300万个标记，单任务成本20美元，平均用时1.3分钟，样本大小6。
• 低效模式：准确率87.5%，处理57亿个标记，每任务用时13.8分钟，样本大小1024（具体成本暂未公布）。

公共评估（400个任务）：

• 高效模式：准确率82.8%，总成本6,677美元，每任务处理1.11亿个标记，单任务成本17美元。
• 低效模式：准确率91.5%，处理95亿个标记（成本和用时暂未公布）。

需要说明的是，由于o3的定价和具体功能仍在确定中，高算力模式的成本暂时无法获知。我们只知道它消耗了约为低算力模式172倍的计算资源。

关于模型调优方面：OpenAI透露他们使用了公共训练集的75%来训练我们测试的这个o3版本，但未提供更多细节。我们目前还没有测试未经ARC训练的原始模型，因此无法量化多少性能提升来自ARC-AGI数据的直接训练。

随着推理预算的可变性成为常态，效率指标（如计算成本）已经进入了性能报告的必要清单。这次我们记录了总成本和单任务成本作为初步的效率参考。行业最终需要确定最合适的效率衡量标准，但从趋势来看，成本是一个不错的切入点。

在ARC-AGI-Pub规定的10,000美元预算限制内，o3拿下的75.7%高效成绩，足以让它问鼎公共排行榜榜首。

虽然87.5%的低效模式成本高昂，但它清楚地证明了一个事实：增加计算资源确实能提升模型在新任务上的表现——至少在当前测试范围内是这样。

每个任务动辄17-20美元的成本确实不菲，但这样的成绩并非纯粹靠砸算力堆出来的。OpenAI的o3模型代表了AI在适应新任务能力上的一次重大突破。这不是简单的性能提升，而是一种能力上的质变，彻底跳出了传统大语言模型的局限。o3展现出了适应全新任务的能力，在ARC-AGI领域的表现已经逼近人类水平。

当然，这种通用性的代价目前还称不上经济实惠：雇佣人类解决一个ARC-AGI任务只需要大约5美元（我们确实这样测试过），能耗仅需几美分。相比之下，o3即使在低算力模式下，每个任务也要花费17-20美元。但事情的另一面是，成本效益有望在未来数月乃至数年内显著改善。以这种速度发展下去，这些能力很可能在较短时间内就能与人类劳动正面竞争。

o3超越GPT系列的表现，从架构层面证明了方向的重要性。单纯给GPT-4增加算力是达不到这种效果的。延续2019-2023年的老思路——用相同架构训练更大模型、投入更多数据——已经不够用了。未来的进展需要新的突破。

那么，o3算是真正的通用人工智能（AGI）吗？

ARC-AGI作为一个关键基准，能以其他测试无法企及的方式检测这类突破性进展，尤其是在泛化能力方面。但这里需要明确一点：正如我们在过去一年里反复强调的，ARC-AGI并不是AGI的最终判决测试。它更像是一个研究工具，旨在引导研究人员关注AI领域最具挑战性的未解问题。在过去的五年中，它很好地完成了这个使命。

通过ARC-AGI测试并不意味着实现了AGI。从当前的表现来看，o3距离真正的AGI还有距离。它在一些非常基础的任务上仍然会失败，这恰恰说明它与人类智能之间存在本质差异。

更值得关注的是，早期数据显示，即将推出的ARC-AGI-2基准测试对o3来说依然是一个巨大的挑战。即使在低效模式下，o3的得分可能还不到30%，而普通人无需任何特殊训练就能轻松达到95%以上。这说明，我们仍然能够设计出具有挑战性的新基准，而不必依赖于专业领域知识。真正的AGI到来时，你会发现“设计一个对普通人简单但对AI困难的任务”这件事本身，会变得不可能。

o3与之前的模型有何不同？

为什么o3能远超o1的表现？为什么o1又能大幅领先GPT-4o？这一系列结果为我们探索通用人工智能提供了非常宝贵的参考。

对于大语言模型的理解，可以用这样一个框架：它们本质上是向量程序的数据库。当收到提示时，模型会调取与提示相匹配的程序，并在当前输入上“执行”。大语言模型通过被动吸收人类创造的内容，存储和运行着数以百万计的实用小程序。

这种“记忆-检索-应用”的模式，在有足够训练数据的情况下，可以在任何任务上达到任意水平的熟练度。但它有一个致命缺陷：无法适应新情况，也无法快速掌握新技能——换句话说，它缺乏流动智力。这一点，从大语言模型在ARC-AGI测试上的表现就能看得清清楚楚。ARC-AGI是唯一专门用来测试新颖性适应能力的基准，而GPT-3得分为0，GPT-4接近0，GPT-4o也仅达到5%。即使把这些模型的规模推到极限，它们的ARC-AGI分数也无法接近多年前简单暴力枚举方法就能达到的水平（50%）。

适应新环境需要两个要素。第一是知识储备——一系列可重复使用的函数或程序。大语言模型在这方面已经做得相当不错。第二是重组能力——面对新任务时，能够将这些函数重新组合成一个新程序，为当前任务建立模型。这就是程序合成能力。大语言模型一直缺失的正是这项能力，而o系列模型终于把这个短板补上了。

目前我们只能推测o3的具体运作方式。但核心机制可以这样理解：它似乎是在标记空间中进行自然语言程序的搜索和执行。在测试阶段，模型会搜索可能的思维链（CoTs），描述解决任务的步骤，这个过程类似于AlphaZero的蒙特卡洛树搜索。在o3中，这种搜索很可能由某种评估模型来引导。值得一提的是，Demis Hassabis在2023年6月的采访中曾暗示DeepMind一直在研究这个方向——这项技术发展的脉络其实由来已久。

所以，与传统大语言模型在处理新问题时的困境不同，o3通过生成和执行自己的程序跨越了这一限制。这里的“程序”本身（思维链）成为了知识重组的具体体现。虽然这不是测试时知识重组的唯一方法（还可以采用测试时训练或潜在空间搜索），但从最新的ARC-AGI测试结果来看，这代表了当前的最高水平。

实际上，o3代表的是一种由深度学习引导的程序搜索方式。在测试过程中，模型会在“程序”空间中搜索——这里的“程序”指的是自然语言程序，也就是描述解决当前任务步骤的思维链，并由深度学习模型（基础大语言模型）来引导方向。这也解释了为什么解决一个ARC-AGI任务需要处理数千万个标记、花费数千美元：搜索过程需要在程序空间中探索大量路径，包括那些需要回溯的情况。

不过，当前的实现与之前提出的“通往AGI的最佳路径是深度学习引导的程序搜索”这一观点，存在两个明显的区别。关键在于，o3生成的是需要由大语言模型“执行”的自然语言指令，而不是可直接执行的符号程序。这带来了两个重要影响。

第一，这些程序无法通过直接执行和评估与现实世界建立联系——它们必须依赖另一个模型来评估适用性。这种评估在遇到分布外的情况时可能会出错，因为缺乏实际的基础。第二，系统无法像AlphaZero那样自主学习生成和评估程序的能力，而必须依赖专家标注的人工思维链数据。

目前我们还不清楚这个新系统的具体局限性和潜在发展空间。要得出更确定的结论，还需要进一步的测试。但无论如何，当前的成果已经是一个重大突破，并且它证实了一个方向：在直觉引导下进行程序空间的实时搜索，是构建通用AI系统的一条有效路径。

总结

o3的出现标志着一个重要的里程碑。它在ARC-AGI测试中展现出的适应性和泛化能力突破，是以其他任何基准测试都无法企及的方式证明的。

o3通过一种由大语言模型引导的自然语言程序搜索方法，解决了LLM范式的根本局限——无法在测试时重组知识。这不是简单的进步，而是开创了一个全新的领域，值得学术界认真对待和深入研究。