在过去的24小时里，我们终于获得了OpenAI最新发布的o1-preview与o1-mini模型的使用权限。这两款模型经过了专门的训练与调校，其核心思路在于模拟人类的推理过程——在给出最终答案之前，它们会花费更多时间生成并逐步修正自己的推理步骤。换句话说，它学会了“先想清楚再表达”。 大家最关心的问题是：o1在ARC奖项上究竟能获得多少分数？于是我们直接对其进行了基线测试，所使用的工具和评估方式与之前测试Claude 3.5 Sonnet、GPT-4o以及Gemini 1.5时完全一致。 先来看结果。 o1是否代表了一种通向AGI的新范式？它真的具备可扩展性吗？为什么它在IOI、AIME等多个基准测试中表现优异，却在ARC-AGI上表现平平？这些问题没有一个容易回答，但非常值得深入拆解。 我们先从最核心的机制说起。

连锁推理

o1完全实现了“逐步思考”的连锁推理范式，并将这一逻辑贯穿于训练与测试两个阶段。 具体而言，OpenAI在训练过程中采用了一种新型的强化学习算法，并结合高效的数据处理流程，核心发力点就是连锁推理。 训练的基础数据仍来自固定的预训练数据集，但关键在于，OpenAI有能力生成大量模拟人类推理过程的合成连锁推理数据，并利用这些数据进一步强化模型。目前一个悬而未决的问题是：在众多生成的推理链中，OpenAI是如何挑选出用于训练的？ 在实际运行中，o1对于那些在合成训练数据中已有良好表示的中间步骤序列，犯错的概率确实显著降低。 虽然公开的细节有限，但推测来看，强化学习的奖励信号可能来自两个方向：一是通过形式化验证（如数学和编程领域），二是通过人工标注（如任务分解和计划这类非形式化场景）。 到了推理阶段，OpenAI表示他们继续用RL来优化o1的连锁推理，并改进其策略。顺着这个逻辑推测，奖励信号很可能来自类似他们之前发布的actor+critic系统架构，而且在推理过程中，系统会对生成的每一步进行搜索或回溯。

测试时计算

o1身上最引人注目的特性，是它展示了如何将连锁推理搜索应用到非形式化的语言上——而不仅仅是数学、编程或Lean这类格式化语言。 训练时的扩展固然重要，但测试时的扩展才是真正的亮点。 从实际效果来看，迭代式的连锁推理确实解锁了更大范围的泛化能力。自动化的迭代重提示，使模型能更好地适应新情况，这个思路与MindsAI团队利用测试时微调的做法非常相似。 如果只做一次推理，我们其实只是重新调用了记忆中的程序。但通过为每个任务生成中间输出的连锁推理或程序，我们就能组合学习程序的不同组件，从而实现真正的适应性——这恰恰是解决大规模语言模型泛化问题的关键所在。 这里有一个值得注意的细节：当AI系统在测试时允许可变计算量（比如推理步骤数或搜索时间），就没有一个客观的方法去报告单一的基准分数。这也解释了为什么下面那张图看起来是这样的。 更多的计算意味着更高的准确性 OpenAI发布o1时，原本可以选择让开发者自己指定测试时的计算量或时长。但他们选择了另一条路径——在连续计算范围里硬编码了一个点，并且隐藏了实现细节。 这样一来，当我们面对可变的测试时计算量时，就不能简单比较两个AI系统的输出来评判它们的相对智能水平。我们还需要比较它们的计算效率。 OpenAI的声明中没有分享效率数据，但值得兴奋的是，我们正进入一个以效率为核心比拼的时期。效率对于AGI的定义其实至关重要，这也是ARC奖项对获胜解决方案设置效率限制的根本原因。 可以预见的是，今后你会看到越来越多基准图表，它们比对的不仅仅是准确性，还有测试时计算量。

ARC-AGI-Pub 模型基线

在ARC-AGI公共评估数据集上，o1-preview和o1-mini都跑赢了GPT-4o。o1-preview的准确性与Anthropic的Claude 3.5 Sonnet相当，但代价是需要更长的处理时间。 | 模型 | 公共评估分数 | 半私密评估中的验证分数 | 每任务平均时间（分钟） | |--------|-----------------|----------------------------|-------------------------| | o1-preview | 21.2% | 18% | 4.2 | | Claude 3.5 | 21% | 14% | 0.3 | | o1-mini | 12.8% | 9.5% | 3.0 | | GPT-4o | 9% | 5% | 0.3 | | Gemini 1.5 | 8% | 4.5% | 1.1 | 为了得到基线分数，我们使用了与测试GPT-4o完全相同的基线提示。这样做的目的是尽可能测量基模型的真实性能，不加任何优化层。 当然，也欢迎其他人找到更好的提示连锁推理模型的方法，欢迎验证后加入排行榜。 不过必须承认，o1的性能提升是用时间换来的。处理400个公共任务花了70个小时，而GPT-4o和Claude 3.5 Sonnet只需要30分钟。 另外提一句，公共排行榜上目前最优秀的提交结果，往往是巧妙技术与尖端模型的结合。也许你能找到如何利用o1作为基础组件，获得更高分数。

AGI 到来了？

OpenAI在报告中展示了一张图，揭示出在AIME基准上，准确性与测试时计算量之间存在对数线性关系。换句话说：计算量指数级增长，准确性线性提高。 很多人问：这种方法到底能扩展到什么程度？ 这种扩展的唯一概念限制，是所提出问题的可判定性。只要搜索过程包含有答案的外部验证器，准确性就会随着计算量呈对数关系扩展。 实际上，这个结果与Ryan Greenblatt在ARC奖项中的顶尖方法非常相似。他让GPT-4o为每个任务生成k=2,048个解决方案程序，再通过任务演示进行确定性验证，最终获得43%的得分。然后他又评估了不同k值下的准确率变化。 但这种对数线性关系，是否意味着只要扩大测试时计算量，AGI就能到来？ 恐怕没那么简单。 要知道，任何O(x^n)级别的暴力搜索，都能画出类似的指数扩展曲线。而且据我们所知，至少50%的ARC-AGI任务是可以靠暴力搜索加零AI方法解决的。 想用这种方式彻底攻破ARC-AGI，需要为每个任务生成超过一亿个解决方案程序——单从实用性角度看，O(x^n)搜索已经被排除在外了。 更关键的是，人类解决ARC任务的方式，并不是生成成千上万个潜在方案再慢慢筛选。人类利用大脑中的感知网络“看到”少数几个潜在方案，然后用系统2式的思维做一次确定性检查。 说白了，我们可以变得更聪明。

新的思想是必需的

衡量一个系统的智能，可以观察它在不同情境下如何把信息转化为行动。这是一个转化率，总归会趋近一个极限。一旦达到完美智能，唯一的进步方式就是去收集新信息。 低智能系统可以通过不同方式显得很聪明，但实际上并没有提高智能。 一种方式是系统只记住最佳行动——这种方式非常脆弱，在一个领域表现惊艳，换一个环境就可能崩盘。 另一种方式是试错法。如果系统能拿到正确答案，但需要100次尝试，那也只能说它显得不那么智能。 未来的测试时计算研究，应该朝着更高效地扩展搜索和优化的方向迈进。也许可以用深度学习来指导搜索过程。 但即使如此，也不足以完全解释o1在ARC-AGI上与其他困难基准（比如IOI或AIME）之间的巨大差异。 更合理的解释是：o1仍然主要在预训练数据的分布内运作——只不过现在，这个分布包括了所有新生成的合成连锁推理数据。 额外的合成连锁推理数据，增加了模型在解答分布上的关注度（更多计算量花在了“怎么得到答案”上，而不是“答案是什么”）。所以，像o1这样的系统，在使用已知的模拟推理模板（程序）时表现更好，但在需要即时生成全新推理路径的问题上，仍然会遇到很大的困难。 测试时的连锁推理优化能修正推理错误，但也只能修正到一定程度。这也就解释了为什么o1在某些领域让人印象深刻——当基础模型以类似的方式预训练时，测试时的连锁推理优化会获得额外的提升。 单靠任何一个单一方法，都不太可能带来质的飞跃。 综上所述，o1代表的是一次范式转移：从“记住答案”转向“记住推理”。但它并没有脱离通过拟合分布曲线来提升性能的广泛范式。 我们仍然需要新的想法，才能真正实现AGI。