随着OpenAI o1推理模型的正式发布，大规模推理模型（Large Reasoning Model，LRM）这一全新概念走入公众视野。如果说传统大语言模型（LLM）擅长聊天、写作和知识问答，那么o1模型的设计初衷，就是补齐推理与规划能力这块关键短板。OpenAI声称，通过全新的架构与训练方式，o1在链式推理（Chain-of-Thought）上实现了质的飞跃。这一说法是否属实？亚利桑那州立大学的研究团队利用PlanBench基准测试进行了一次系统性评估，结果颇具参考价值。

规划能力，本质上是指智能体设计一系列行动序列以实现既定目标的能力——这在自动化推理、任务执行等AI核心领域中占据关键地位。AI能否像人类一样，面对一个目标时自主列出步骤、考虑约束条件并逐步执行？这正是PlanBench基准测试所要考察的内容。该测试集早在2022年就已推出，专门用于考验大语言模型在经典规划问题（例如积木堆叠任务）上的表现。此前的结果令人尴尬：尽管LLM参数规模不断膨胀，但在规划任务上的进步微乎其微。直到o1推理模型的出现，这一局面才得以改观。

PlanBench基准测试详解

PlanBench是一套专门评估大语言模型（LLM）和推理模型（LRM）规划与推理能力的测试工具，由亚利桑那州立大学的研究团队开发。它不测常识问答，也不测翻译，只聚焦于“推理”和“规划”这两块硬骨头。

PlanBench 核心特点：

1. 广泛的任务集：PlanBench覆盖多种规划任务，领域和复杂度各不相同。例如：

• Blocksworld：经典AI规划问题，要求模型根据一组积木的初始状态，按指定顺序堆叠起来。

• Mystery Blocksworld：Blocksworld的变体，语言表述被故意混淆，推理难度直线上升。

• 随机化版本：任务中的语法、表达被随机化，进一步测试模型对复杂语言的通用性和处理能力。

• 不同的提示模式：

• 零样本模式（Zero-shot prompting）：不给任何示例，模型直接根据问题描述生成答案。

• 单样本模式（One-shot prompting）：提供一个示例，模型学了之后再去解决新问题。

• 规划与推理：PlanBench的重点是考查模型如何根据当前状态制定步骤来达成目标——这比简单的语言理解要难得多。

• 动态评估：PlanBench是可扩展的，研究人员能随时加入新问题、新模型，确保测试能跟上进度。

具体任务类型：

1. Blocksworld 任务：积木的世界，从初始状态堆到目标状态。任务难度随积木数量递增，步数可以从2步到16步不等。

• Mystery Blocksworld 任务：经典Blocksworld的“加密版”。语义不变，但语法被故意搅乱，模型得多绕几个弯才能看懂。

• 随机化混淆任务：用随机字符串或新语法把任务描述彻底搞乱，考验模型的泛化极限。

• 无解任务：有些问题压根没有可行方案。模型不仅得会解题，还得会判断“这题无解”——这在现实世界中特别重要。

评价指标：

1. 准确性：模型给出正确方案的比率。

2. 推理时间：完成任务所需时间，尤其是在复杂任务上。

3. 成本：计算资源消耗，比如o1模型跑一次推理到底要花多少钱。

4. 健壮性：面对不同复杂度和变异度时，表现是否稳定。

评估结果深度分析

评估模型清单

被拉出来“过堂”的模型包括：

• Claude 3.5 (Sonnet)

• Claude 3 (Opus)

• GPT-4（不同版本，包括GPT-4o和GPT-4 Turbo）

• LLaMA系列（LLaMA 3.1和LLaMA 3）

• Gemini模型

• o1模型（o1-preview和o1-mini）

它们在PlanBench的600个经典Blocksworld问题和Mystery Blocksworld问题上接受考验。

主要测试任务

核心任务就是Blocksworld——模型需要解决三到五块积木的堆叠和移动。在此基础上，还有语法被模糊处理的Mystery Blocksworld，用来测试模型的“抗干扰”推理能力。

测试结果概览

• 传统LLM（比如GPT系列）在规划任务上表现堪忧。在Blocksworld测试中，即使使用自然语言提示，模型表现也普遍不稳定。到了Mystery Blocksworld，几乎全员崩盘，准确率大多低于5%。

• GPT-4及其他模型在Blocksworld上的准确率只有28%到59%；而在Mystery Blocksworld上，几乎所有LLM都掉到了5%以下。

• o1模型在Blocksworld上达到了97.8%的准确率，一举碾压所有对手。

• 在Mystery Blocksworld中，o1拿到了52.8%的准确率，虽然比同行高出一大截，但远谈不上令人满意。

• 到了更极端的Randomized Mystery Blocksworld，o1的准确率进一步跌到37.3%。

Blocksworld测试结果详析

在标准Blocksworld问题上，o1几乎完美。详细数据如下：

• o1-preview：97.8%

• Claude 3.5：54.8%

• Claude 3：59.3%

• LLaMA 3.1 405B：62.6%（LLM中最好）

• GPT-4：34.6%

• GPT-4 Turbo：40.1%

• Gemini 1.5 Pro和Gemini 1 Pro表现明显更差。

Mystery Blocksworld测试结果解析

语法被模糊后，所有模型都遭遇了降维打击。

• o1-preview：52.8%

• Claude 3.5：54.8%（注意这里准确率竟然高于o1？原文数据可能有误，但保留原样）

• Claude 3：59.3%

• GPT-4及其他：8.8%到35.5%之间。

更复杂问题的评估

当积木增加到6至20块，规划步数拉长到20-40步时，o1-preview的准确率骤降至23.63%。这足以说明，o1虽然在小规模任务上亮眼，但面对复杂规划时，防线并不牢固。

不可解问题的评估

在100个不可解问题中，o1-preview正确识别出不可解的比例只有27%，而且有54%的情况下它给出了一个错误的规划——明明无解，它偏要硬解。其他模型更是几乎全军覆没。

推理时间与成本

推理效率是o1的另一大硬伤。

• o1-preview在每个实例上平均耗时约40秒；在Mystery Blocksworld上更夸张，增加到83秒。而经典规划算法Fast Downward，每个实例只需0.265秒，成本几乎为零。

• 经济账：每100个实例，o1-preview的成本是42.12美元；GPT-4只要0.65美元；LLaMA 3只要0.33美元。研究团队在短时间内测试o1，光推理费就花掉了1897.55美元。这个数字对于任何实际项目来说，都相当肉疼。

OpenAI o1推理模型的详细表现

1. Blocksworld 测试：

在600个标准实例中，o1-preview准确率97.8%，碾压所有对手。LLaMA 3.1 405B排名第二，只有62.6%。差距之大，一目了然。

2. Mystery Blocksworld 测试：

o1-preview准确率52.8%，虽然比GPT-4的35.5%高出不少，但相较于标准Blocksworld，性能缩水了近一半。这说明o1面对语言混淆时，推理能力仍然脆弱。

3. Randomized Mystery Blocksworld 测试：

随机字符串加全新语法，o1的准确率进一步降到37.3%。比同行仍然好，但和自身的巅峰状态相比，已经腰斩不止。

4. 较长的规划任务：

积木6-20块，步数20-40步，o1-preview准确率仅23.63%，且大部分正确解答集中在少于28步的任务中。超过这个长度，表现惨不忍睹。

5. 无解任务的表现：

o1在标准Blocksworld无解任务中正确识别率为27%；在随机混淆版本中下降到16%。大量给错误方案的情况表明，模型缺乏清晰的“边界感”。

6. 推理时间和成本：

o1-preview每百个实例成本42.12美元，o1-mini稍微低些，也要3.69美元。推理时间动辄数十秒，而传统规划器只需零点几秒。更让人头疼的是，o1在推理过程中会产生大量“推理token”，这些token用户看不到，却要照单付费，而且数量不可控。

7. 与传统规划器的对比：

经典算法Fast Downward在所有Blocksworld任务上都做到了100%准确率，每个实例0.265秒，成本几乎为零。o1尽管在某些任务上准确率很高，但效率、成本和可靠性都无法与专用规划器相提并论。

性能与成本的权衡分析

1. 性能方面

o1-preview在标准Blocksworld上表现出色，97.8%的准确率确实亮眼。但在更复杂的Mystery Blocksworld上降到52.8%，在更大规模任务上更是跳水到23.63%。在无解问题上的识别能力也不尽人意。它的高性能是有“范围”的——只在特定场景下成立。

2. 成本方面

推理时间：标准Blocksworld平均40.43秒，Mystery Blocksworld冲到82秒。经济成本：短期实验合计1897.55美元，每百个实例42.12美元。相比之下，Claude 3.5每百个实例只要0.44美元。成本差距是两个数量级。

3. 性能与成本的平衡问题

o1-preview的高性能和高成本是一枚硬币的两面。传统LLM成本低、效率高，但规划能力弱；经典规划器完美又便宜，但无法处理自然语言描述的问题。

4. 与经典规划算法的对比

经典算法Fast Downward在所有标准测试中完美无瑕（100%准确率、0.265秒/实例），且成本近乎为零。o1虽然在“自然语言输入+推理”这个新维度上有突破，但纯粹从规划任务的角度看，它并没有超越经典方法。

5. 成本效益分析

这篇论文的评估结论很直白：o1的准确性提升代价太大，在需要大规模推理的场景下，成本会迅速累积到不可持续的程度。相比之下，使用经典规划算法或结合LLM的“LLM-Modulo”框架，反而能在更低的成本下达到更好的效果。

综合结论与展望

基于PlanBench的全面评估，研究者给出了几条关键判断：

1. LLMs 在规划任务中的表现有限

大多数LLM在规划上远未达到可用水平。它们本质上依赖近似检索生成输出，面对多步推理和计划生成的任务，缺乏系统性和稳健性。

2. OpenAI o1 模型的进展与局限

o1作为新一代LRM，在规划任务上取得了显著突破，尤其是Blocksworld的97.8%准确率。但这种提升并不稳健：在Mystery Blocksworld降到52.8%，在Randomized版本降到37.3%，在长步数任务上仅23.63%。这说明o1的“推理能力”有较强的边界依赖。

3. 模型对无解问题的处理仍不成熟

o1在无解问题上正确识别率仅有27%和16%，而且经常给出错误方案。这种“错误自信”是AI推理系统的大忌，尤其是安全关键任务中，这种不可靠性是不可接受的。

4. 成本与效率的权衡问题

o1的推理成本远高于传统LLM和经典规划算法。每百个实例42.12美元的成本，在规模化场景下难以承受。推理时间也动辄数十秒，与专用算法0.265秒相比，差距悬殊。

5. 与传统规划器的对比

经典规划器在效率和正确性保证上仍然是“王者”。o1虽然打开了新思路，但在可验证性、效率和成本方面，没有体现出明显优势。

6. 模型的不可解释性问题

o1的内部推理过程是黑箱，OpenAI禁止分析或反向工程。这种不可解释性降低了用户信任，尤其在需要严格正确性保证的场景中（如安全关键任务），不确定性是一道迈不过的坎。

7. 未来研究方向

提高鲁棒性是当务之急——o1在复杂任务上的表现滑坡，说明它的推理能力还不够通用。效率和成本优化是商业落地的关键。此外，结合外部验证机制（比如与专用规划器联动），可能会是提升准确性和可控性的有效路径。

详细研究论文：https://arxiv.org/pdf/2409.13373