OpenAI o1团队的完整版访谈视频，终于放出来了。

全长22分钟，在项目负责人Bob McGrew的组织下，o1研发团队分享了他们口中的那些「啊哈」时刻。

有人提到，全新的o1模型就像是好几个博士「合体」在了一起，很多时候甚至比单个人类表现更出色。也有人坦言，o1发布之后，AGI的到来感变得前所未有的强烈。

「当模型在数学、编码、围棋、国际象棋这些领域逐一超越人类时，AGI的未来已经不再模糊」。

艾伦研究所的科学家Nathan Lambert为这段视频整理了一份亮点总结，一共8点：

1. 靠着强化学习加持，o1在发现新的CoT推理步骤上，比人类更拿手。
2. 自我批评能力的涌现，是o1最让人震撼的时刻。
3. 让o1在「超时」之前完成思考，中途会突然出现「啊哈」时刻。
4. 参数规模放大的挑战，以及沿着强化学习算法的持续进步。
5. 很多人都提到，相比算法本身，基础设施的重要性出人意料地高。
6. 通过规划与纠错，o1有能力解决世界上的新问题。
7. 新的训练范式，是一种把更多算力注入模型的全新方式。
8. o1写代码的时候，输出的代码必须通过单元测试。

接下来，我们来具体看看o1模型背后的故事。

强化学习+思考，o1开启新范式

o1作为OpenAI的全新系列，和GPT系列最大的不同，就在推理这件事上。

它本质上是一个推理模型——换句话说，就是会比以前的模型「思考」得更多。

在OpenAI的研究人员看来，「思考」就是推理最直观的一种表现方式。

有时候，比如被人问到「意大利首都是哪里」，几乎不用动脑子就能脱口而出。但有时候，像写商业计划书、创作小说这些事，就需要一个漫长的思考过程。

毫无疑问，思考得越久，结果往往越好。

所以，推理的本质，就是把思考时间转化成最优结果的能力。

用Mark Chen的话说，推理是一种「原语」，是实现任何可靠思考过程的必经之路。

关于推理的研究，OpenAI内部其实早就开始了。公司成立初期，团队就看到了AlphaGo借助强化学习算法战胜人类的潜力，并针对性地做了大量研究。

比如，2016年他们推出了一个名为「Universe」的游戏测试平台——一个用来训练AI通用智能水平的开源平台。

2018年又打造出了名为OpenAI Five的游戏AI，成功击败了当时两届DOTA2国际邀请赛的世界冠军OG战队。

与此同时，在数据和机器人领域，团队也取得了规模缩放上的重大进展。

于是，OpenAI团队开始思考一个问题：如何在通用领域做好强化学习，最终打造出一个真正强大的AI？

答案，就是由GPT系列开启的全新范式。它在扩展无监督学习方面，带来了让人惊叹的成果。

而且，差不多就是从那时起，研究人员就开始探索如何将这两种范式结合起来——强化学习与无监督学习。

用团队的话说，这项努力开始的确切时间点很难说清楚，但它已经持续了很长时间。

「啊哈」时刻

视频中，有人提到，研究过程中最精彩的部分，就是那些「啊哈」时刻。

某个特定的时间点，研究发生了意想不到的突破，一切忽然变得清晰，仿佛灵光乍现一般的顿悟。

那么，团队成员各自遇到了怎样的「啊哈」时刻？

有人回忆说，训练过程中最关键的节点，就是当他们投入了比以往更多的算力，首次生成了非常连贯的CoT。

就在那一刻，所有人都又惊又喜：很明显，这个模型跟以前任何一个都不一样了。

还有人说，在考虑训练一个具备推理能力的模型时，第一反应往往是让人类记录自己的思维过程，然后拿这些数据来训练。

而他的「啊哈时刻」，是发现通过强化学习训练模型来生成和优化CoT，效果竟然比人类写的还好。

这个发现意味着，可以用这种方式来扩展和探索模型的推理能力。

另一位研究者说，他一直在努力提升模型解决数学问题的能力。

让他沮丧的是，每次模型生成结果后，似乎从来不会质疑自己做错了什么。

但训练其中一个早期的o1模型时，他们惊异地发现，模型在数学测试中的得分忽然大幅提升了。

更重要的是，研究者终于能看到模型的思考过程了——它学会了自我反思、质疑自己。

他忍不住感叹：我们终于做出了不一样的东西！

那种感受非常强烈，仿佛所有元素都在那一瞬间汇聚到了一起。

还有一位研究人员提到，当你要求模型在「超时」之前完成思考，这个过程会变得非常有趣。

就像自己参加数学竞赛一样，任何思考都是有时间限制的。

他说，这其实也是自己当初进入AI领域的主要原因，而如今，对他来说也算是一种某种意义上的「闭环」时刻。

另外，o1模型最惊艳的一点，是它在推动科学发现和工程进步上，能派上巨大的用场。

对很多人来说，AGI似乎是一个抽象又遥远的概念。直到亲眼看到AI在人类擅长的事情上做得更好，他们才真正相信AGI的到来。

对专业的国际象棋和围棋手来说，IBM的Deep Blue，以及DeepMind的AlphaGo和AlphaZero，早在几年前就让他们意识到了这一点。

而对于OpenAI这群擅长数学和编码的科学家来说，o1模型扮演的是类似的角色。更有意思的是，他们的工作相当于亲手制造出了一个能在自己擅长的领域碾压自己的AI。

项目中，遇到哪些困难？

关于过程中遇到的障碍，研究人员直言不讳：训练大语言模型根本上就是一件极其困难的事。

好比从地球向月球发射一枚火箭，成功的路径窄得可怜，却有数不清的失败路径——只要稍微偏离一个角度，就永远无法到达目标。

训练过程中间出问题的方式可以多达上千种，即使在这群才华横溢的研究科学家手中，每一轮训练也都会遇上数百个问题。

而且，随着模型变得越来越智能——像o1这样相当于手握好几个博士学位的AI——评估工作也变得越来越难。

有时，他们需要花很长的时间来确认模型做的到底对不对，更何况很多常用的行业基准已经趋于饱和，不得不重新寻找适合o1能力的测试方式。

除了模型开发的历程，研究人员也被问到自己最喜欢的o1使用场景。

Hyung Won Chung说，o1可以成为一个非常棒的编码助手。

他自己工作时通常遵循TDD（测试驱动开发）的方式，有了o1的帮助，就免去了自己写单元测试的差事——直接把需求扔给模型，让它自动写就完了。

此外，遇到报错信息也能直接甩给o1。虽然有时它不能直接解决问题，但它能比编译器提出更好的问题，帮用户找到排查方向。

Jason Wei则表示，自己经常把o1当成头脑风暴的伙伴，而且能讨论的话题范围极广——大到如何解决一个机器学习问题，小到如何起草一篇博客或者推文。

他在今年5月撰写的一篇关于LLM评估的博客，就借鉴了o1的意见——比如文章的结构、各种评估基准的优缺点以及行文风格等方面。

在OpenAI工作是一种什么样的体验？

关于这个问题，很多人谈到了周围同事的聪明才智，以及团队里那种融洽的氛围。

比如，自己吭哧吭哧调了一周的代码，被路过的同事顺手就解决了；每天和极其聪明的同事共事，让人渐渐变得谦卑。

Mark Chen形容「草莓」项目是一个非常「有机」的项目。因为在专业问题上，每个人都有自己坚定的看法和主张，都有满怀热情想要推动的想法。

当这些想法碰撞在一起，就会迸发出火花，像滚雪球一样越滚越大。

当然，有主见的另一面，就是所有人都很坚持自己的看法——但他们并不固执。如果看到能反驳自己主张的客观结果，大家也会毫不迟疑地改变想法。

更值得赞叹的是，这群绝顶聪明的人，同时还很nice，乐于帮助别人解决问题。同事之间一起吃饭、一起出去玩，让采访中的很多研究者都直言：「在这里工作是非常好的经历」。

o1-mini背后的故事

o1-mini发布的动机很简单：为更多研究人员提供一个预算更低、但推理能力依然很强的模型。

它可以称得上是「推理专家」，比以往的OpenAI最佳模型还要聪明。

而且，成本和延迟都控制得非常低。

它可能不一定知道某个名人的出生日期，但确实具备了如何进行有效推理和大量智慧的能力。

OpenAI研究人员表示，未来会进一步改进算法，让这个小模型的性能足以媲美最好的同类产品。

此外，全世界的研究人员一直在投入更多的计算和硬件，使得模型成本在很长一段时间内呈指数级下降。

但一个缺憾是，我们没有花费更多时间去寻找一种新的方式来扭转局面。

而o1的新范式，就是团队发现的一个答案——推理的规模缩放，也能很好地优化算力效率。

做研究的动力是什么？

这群「智慧大脑」能聚在一起，究竟是什么样的动力在驱动着他们？

一位研究人员说，一想到自己可以通过不同的方式让模型实现推理，这个过程本身就让人深深着迷。

还有人说，「好事多磨」。

o1之所以能够回答得这么快，只是朝着能长时间思考问题的模型迈出的第一步。未来，还需要进行数月甚至数年的研究，才能让它迈向下一个征程。

「一想到我们少数几个人能产生改变世界的影响，就让人非常兴奋，觉得特别有意义」。

最打动人的一点是：新范式解锁了模型以前无法完成的任务——不仅仅是回答某些查询，而是实实在在地，通过规划和纠错，泛化出了新的能力。

甚至，o1能够产生新的知识——对于科学发现来说，这是最令人兴奋的部分。

研究者表示，在不久的将来，模型本身将成为自身发展越来越强大的贡献者。

最后，当o1负责人问「还有什么其他观察值得一提吗？」时，Jason Wei分享了一个有趣的观察：

「每个训练出来的模型都略有不同，都有自己的怪癖，就像一件件手工艺品。这种独特性，为每一个模型增添了一丝自己的个性」。