简单说，OpenAI这次推出的o1系列，核心卖点就是“会思考”——它在回复你之前，会花更多时间琢磨问题，然后才给出答案。这跟以往“问即答”的模式很不一样。它不是简单地在语料库里找答案，而是经过了一整套推理流程。具体来说，o1系列是OpenAI首个经过强化学习训练出来的模型，它在输出回答之前，内部会先产生一个很长的思维链，相当于在心里把解题步骤过了一遍，从而增强了自己的推理能力。

这里有个很有意思的规律：内部思维链越长，o1花费的思考时间就越长，模型在推理任务上的表现就越好。换句话说，思考的深度跟模型的效果直接挂钩。

o1到底有多强？

来看几个硬核数据。CEO奥特曼给出了答案：在刚刚结束的2024 IOI信息学奥赛题目中，o1的微调版本在每题尝试50次条件下取得了213分，这成绩已经进入了人类选手的前49%。更惊人的是，如果允许它每道题尝试10000次，它就能获得362.14分，直接高于金牌选手的门槛，可以拿金牌。

不仅如此，它在竞争性编程问题 (Codeforces) 中也排名前89%，在美国数学奥林匹克 (AIME) 预选赛题目中，它的成绩能挤进全美前500名学生之列。与GPT-4o相比，o1在数理化生、英语法律经济等各个科目上都有着不同程度的性能提升。

发布的模型有哪些？

这次OpenAI发布的是一个模型系列，包括三个版本：

• o1：完整版本，暂未对外开放使用。
• o1-preview：o1的先行预览版，可以直接提供给ChatGPT付费用户和Tier 5级API用户。
• o1-mini：速度更快、性价比更高，非常适合那些需要推理但不需要广泛世界知识的任务。

OpenAI o1的原理

这个模型的核心，是通过强化学习训练来执行复杂推理。它在响应用户之前，会内部产生一个很长的思维链。这就像我们在解一道难题时，会在草稿纸上一步步推导，尝试不同的思路，并随时纠正错误。通过强化学习，o1学会了如何更高效地进行这种“内心演练”。

可以说，对于复杂的推理任务来说，这算是一个重大进步，OpenAI自己都称这代表了人工智能的最高水平。也正因如此，他们把计数器重置，将这一系列模型命名为OpenAI o1。

关键在于，OpenAI的大规模强化学习算法，教会了模型如何在数据高度有效的训练过程中，利用其思维链进行高效思考。这有点像强化学习领域的“规模定律”（Scaling Law）。他们发现，随着投入的强化学习（训练时计算）和更多的思考时间（测试时计算）的增加，o1的性能会持续提升。而且，这种方法的扩展限制，跟传统的大模型预训练扩展限制完全不同，OpenAI目前也还在继续研究这个方向。

模型评估

为了直观展示o1相比GPT-4o的推理能力进步，OpenAI在大量人类考试和机器学习基准测试中进行了测试。结果很明确：在绝大多数推理任务中，o1的表现都明显优于GPT-4o。

在很多推理密集型的基准测试中，o1的表现已经能与人类专家相提并论。以前的一些热门基准（比如MATH和GSM8K），因为前沿模型得分都太高了，已经很难用来区分模型好坏。所以OpenAI转用AIME（面向美国最顶尖高中生的数学考试）来评估数学能力。在GPQA Diamond这个高难度的智力基准上（主要测试化学、物理和生物学专业知识），OpenAI还专门请了博士学历的专家来回答。结果非常惊人：o1超越了人类专家的表现，成为第一个在这项测试中做到这一点的模型。

启用视觉感知能力后，o1在MMMU基准上得了78.2%，同样成为第一个能与人类专家匹敌的模型。此外，o1在57个MMLU子类别中的54个上，都超过了GPT-4o。

思维链（Chain of Thought）

这个机制是o1性能提升的关键。就像人类思考复杂难题一样，o1在尝试解决问题时，会通过强化学习不断磨练自己的思维链，改进所用策略。它学会了识别和纠正错误，能把棘手的难题分解成更简单的步骤；当前思路走不通时，还能主动尝试其他方法。这个过程极大地提升了模型的推理能力。

编程能力（Coding）

在编程能力上，OpenAI基于o1初始化，并专门针对编程技能进行了强化训练，最终得到了一个超强的编程模型o1-ioi。它在2024年信息学奥赛（IOI）上的成绩是213分，达到前49%的水平。这个成绩的取得条件跟人类参赛者完全一样：10小时，6道高难度算法题，每个问题仅限提交50次答案。

更有趣的是，如果将提交次数限制放宽，性能的提升是爆炸性的。如果每个问题允许提交1万次答案，即使不用任何复杂的后处理策略，该模型也能拿到362.14分——直接超过金牌线。

能力和就展示到这里。最后，OpenAI还模拟了Codeforces的编程竞赛来评估编码能力。GPT-4o的Elo评分是808，排在人类前11%左右。而o1的Elo评分是1807，表现优于93%的竞争对手，远超GPT-4o和o1-preview。

人类偏好评估

除了学术考试，OpenAI还在更多领域收集了人类评估师的偏好。评估师对o1-preview和GPT-4o的回复进行匿名投票。结果很直观：在数据分析、编程和数学等推理密集型领域，o1-preview的受欢迎程度远超GPT-4o。不过在某些自然语言处理任务上，o1-preview并不占优，这说明它并不是一个万能模型。

安全性（Safety）

思维链推理也为模型安全和对齐带来了新思路。OpenAI发现，将行为策略（比如安全规则）整合到模型的思维链中，可以高效、稳健地教会模型人类价值观和原则。这意味着，推理能力本身直接有利于模型的鲁棒性。在关键的越狱评估和安全拒绝边界测试中，o1-preview都取得了显著进步。

OpenAI认为，思维链之所以能让安全对齐取得重大进展，原因有二：第一，可以让人类清晰观察模型的思维过程；第二，关于安全规则的模型推理，在面对分布外场景时更稳健。在部署前，o1已经通过了严格的红队测试，甚至还发现了一些有趣的“奖励黑客”攻击实例。

隐式思维链

OpenAI认为，隐式思维链为监控模型提供了独特机会。假设思维链是忠实且清晰的，我们就能读懂模型的思考过程。比如，将来可以监控思维链，看模型是否有操控用户的迹象。但这要求模型必须能自由地表达其思想，不能在训练中人为加入政策合规性或用户偏好性训练。

然而，OpenAI也不想让用户直接看到不连贯的思维链。所以，经过权衡，他们最终决定不向用户展示原始的思维链。他们承认这个决定有不足之处，但会通过努力教导模型在回答中重现思维链里的有用想法来弥补。目前对于o1系列，他们选择展示模型生成的思维链摘要。

OpenAI o1-mini

o1系列非常擅长生成和调试复杂代码。为了给开发者提供一个更实惠的方案，OpenAI还带来了o1-mini。它更快、更便宜（比o1-preview便宜80%），而且在编码上特别有效。对于那些需要推理能力但不需要广泛背景知识的应用来说，o1-mini是极具性价比的选择。

在STEM领域，尤其是数学和编程，o1-mini的表现几乎能与完整版的o1相媲美。在AIME和Codeforce等评估上，它的成绩和o1非常接近。

STEM推理优化

o1-mini在预训练阶段就瞄准了STEM推理这个方向。虽然o1那样的大家伙拥有广泛的世界知识，但速度和成本都不占优。o1-mini经过同样高算力的强化学习管道训练后，在很多推理密集型任务上取得了与o1相当的性能，性价比极高。

需要注意的是，在需要非STEM事实知识的任务上，o1-mini就表现得不那么好了。比如，它虽然在GPQA（科学）和MATH-500上优于GPT-4o，但在需要广博知识的MMLU任务上就比不上GPT-4o。

具体数据也很硬核：在高中AIME数学竞赛中，o1-mini（70.0%）几乎跟o1（74.4%）一样好，而且价格低得多，表现远胜o1-preview（44.6%）。这成绩大概能排进美国高中生前500名。在Codeforces竞赛中，o1-mini的Elo得分是1650，与o1（1673）不相上下。此外，在HumanEval编码基准和高中网络安全CTF挑战中，它也表现出色。

在人类偏好评估中，o1-mini的表现与o1-preview类似：在推理密集型领域比GPT-4o更受欢迎，但在语言主导的领域则不然。

在速度上，OpenAI对比了GPT-4o、o1-mini和o1-preview对一个推理题的回答。GPT-4o答错了，而二者都答对了，但o1-mini的作答速度大约快了3到5倍。

安全性

o1-mini使用了与o1-preview相同的安全对齐技术。相比GPT-4o，它在StrongREJECT数据集上的越狱鲁棒性提高了59%。

如何使用OpenAI o1

对于普通用户，ChatGPT Plus和Team用户可以立刻在ChatGPT中手动选择使用o1-preview或o1-mini。目前有使用量限制，每周只能发30条o1-preview和50条o1-mini。API访问权限则先开放给Tier 5级用户（在OpenAI API上消费超过1000美元的用户），同样限速20 RPM。

未来展望

OpenAI o1显著推进了人工智能推理的最新进展，这一系列模型还在持续迭代。新的推理能力有望让模型更好地与人类价值观和原则对齐。可以预见，o1及其后续版本将为人工智能在科学、编程、数学等相关领域开辟许多新的应用场景。除了模型更新，后续还会加入网络浏览、文件和图像上传等功能，让这些模型更好用、更通用。