OpenAI研究员姚顺雨对AI下半场的深度解读：AI研究正在经历一场思维范式的根本性转变。核心要点包括：AI发展进入下半场，强化学习新范式带来挑战与机遇；相比预训练，RL更强调问题定义和真实场景评估；姚顺雨在Agent领域的前沿探索和关键贡献。

在OpenAI o1模型发布之前，很多人已经嗅到——LLM正在迎来RL新范式，AGI路线随之进入下半场。如果说预训练是在对已有知识进行压缩学习，RL则需要与真实环境交互来产生新知识。相比之下，RL的算法和环境搭建都复杂得多，头部实验室对RL的探索也远未收敛。那么，我们应该如何理解RL的意义？如何更好地把握AI的下半场？姚顺雨的这篇文章给出了不少启发。他提出：在AI训练中，定义问题将比解决问题更重要；评估将比训练更重要；环境和先验知识的作用，被系统性低估了。

有评论将这篇文章与《苦涩的教训》相提并论，说它达到了后者那样的高度。因为两者都试图从顶层指出AI研究中思维范式的彻底变革——苦涩的教训推动大家从“人类指导AI”转向算力和数据的规模化；而The Second Half则告诉人们，当RL全面来临时，我们需要彻底重新审视问题定义和真实场景的评估方式。

姚顺雨本科毕业于清华姚班，曾任姚班联席会主席。2024年从普林斯顿获得博士学位后加入OpenAI，担任研究科学家，参与了Computer-Using Agent和Deep Research等多个核心项目。他是Agent领域最前沿的探索者之一——这个领域许多关键框架和基准都来自他博士期间的工作：ReAct、Tree of Thought、SWE_Bench。

这篇文章的主要内容基于他在CS224N和哥伦比亚大学所做的演讲，初稿由OpenAI Deep Research阅读演讲幻灯片后完成。

? 目录 ?

01 我们正处于AI的半场时刻

02 什么是AI上半场

03 AI的有效配方

04 欢迎来到AI下半场

01. 我们正处于AI的半场时刻

We’re at AI’s halftime

过去几十年，AI的核心始终是开发新的训练方法和模型。这条路确实走得通：打败国际象棋和围棋世界冠军、在SAT和律师资格考试上超越大多数人、赢得IMO和IOI金牌——这些写入AI史册的里程碑——DeepBlue、AlphaGo、GPT-4和o系列，都来自底层训练方法的创新：搜索、深度强化学习、规模化、推理。一切都在持续进步。

那么，现在到底有什么变了？

简单来说，强化学习终于有效了。更确切地说，RL终于有了泛化能力。在经历几次弯路、跨过一系列关键里程碑之后，我们终于找到了正确的配方——能通过语言模态和推理能力来解决广泛的强化学习任务。

即便是一年前，如果你告诉大多数AI研究者，有一种配方能同时应对软件工程、创意写作、IMO级别的数学问题、鼠标键盘操作以及长篇问答——他们只会觉得你在异想天开。这些任务个个极其艰难，很多研究者整个博士生涯只专注其中一个细分领域。

但如今，这件事真的发生了。

接下来会发生什么？

AI的下半场——从现在开始——将从解决问题转向定义问题。在这个新阶段，评估将比训练更重要。我们不再仅仅问：“能不能训练模型来解决X？”而是开始问：“我们究竟应该训练模型做什么？如何衡量真正的进展？”要想赢得AI的下半场，我们必须及时转变心态和技能——也许要更像产品经理。

02. 什么是AI上半场

The First half

要理解AI上半场的意义，不妨看看这个阶段的胜出者。

先想一个问题：你认为迄今最具影响力的AI论文有哪些？我在Stanford CS224N课堂现场提出了这个问题，大家的答案并不意外：Transformer、AlexNet、GPT-3等。这些论文的共同点在于提出了训练更强模型的基础性突破，同时也在一些基准上展示了显著性能提升。

? CS224N是斯坦福深度学习与NLP主题的公开课，是过去十年AI领域许多学生和学者入门NLP最好的课程之一，由Chris Manning教授主讲。Chris Manning是斯坦福语言学和计算机科学系首任Thomas M. Siebel机器学习教授、人工智能实验室主任和以人为本人工智能研究所联合创始人，是自然语言处理和机器学习领域的先锋人物。

这些经典论文还有一个潜在共性：它们几乎都是训练方法或模型，而不是基准或任务。即便是被认为最具影响力的基准数据集ImageNet，其引用量也不到AlexNet的三分之一。这种差距在其他案例中更加明显。

例如，Transformer使用的主要基准是WMT'14，WMT'14的workshop report引用量大约1300次，而Transformer本身的引用早已突破16万次。

这些对比形象地说明了AI上半场关注的焦点是构建新的模型和训练方法，评估和基准则位于次要位置——尽管对学术发表体系而言，后者是必要的。

为什么会出现这种现象？

一个重要原因是，在AI上半场，训练方法比定义任务更难、也更令人兴奋。从零开始发明一种全新的算法或模型架构——比如反向传播算法、卷积神经网络（AlexNet），或是GPT-3所用的Transformer——都需要非凡的洞察力和工程能力。

相比之下，为AI定义任务往往显得更直接：只需把人类已经在做的事——翻译、图像识别或下棋——转化为基准，这个过程几乎不需要多少洞察，甚至不需要太多工程工作。

训练方法往往比具体任务更通用、适用范围更广，因此显得格外有价值。比如，Transformer架构最终推动了CV、NLP、RL等多个领域的进展，影响远超最初验证它的WMT'14翻译数据集。一个出色的新训练方法往往能在多个基准上取得良好效果，因为它足够简单、通用，影响因此超越某个具体任务。

过去数十年来，训练方法论的创新先行，催生了许多改变世界的理念和突破，并通过各个领域不断提升的基准表现出来。

那么，为什么今天这件事会发生改变？因为这些理念和突破的积累，在解决任务方面带来了本质变化，造就了一套真正有效的配方。

03. AI的有效配方

The recipe

这套配方到底是什么？其关键成分并不让人意外：大规模的语言预训练，数据和算力的规模化，推理与行动的理念。这几个词乍一听很像今天的高频流行语。

为什么称之为配方？不妨从RL的角度来看。

RL通常被认为是AI的“终极形态”——理论上它能保证在博弈中取胜，实践上几乎所有超人类水平的AI系统（比如AlphaGo）都离不开RL。

? game：在博弈论中，game指的是所有在封闭环境中、有明确输赢的博弈任务。

RL领域有三个关键组成部分：算法、环境和先验知识。

很长时间以来，RL研究者主要关注算法——比如REINFORCE、DQN、TD-learning、actor-critic、PPO、TRPO等——也就是Agent如何学习的核心机制。

? DQN：Deep Q-Network，深度Q网络，用深度神经网络逼近Q值函数，通过最大化Q值选择最优动作。TD-learning：Temporal difference learning，时序差分学习，结合动态规划和蒙特卡罗方法。Actor-critic：演员-评论家算法，结合策略梯度和时序差分学习。PPO：Proximal Policy Optimization，近端策略优化，OpenAI 2017年提出，被认为是当前RL的SOTA算法，也是RLHF中最常用的RL算法——在推理模型中DeepSeek提出的GRPO正逐步取代它。TRPO：Trust Region Policy Optimization，置信域策略优化。

相比之下，环境和先验知识往往被当作既定条件，或者被尽可能简化处理。例如，Sutton和Barto的经典教材几乎全是算法，对环境和先验知识几乎只字未提。

但在深度强化学习时代，环境在实践中的重要性逐渐凸显：一个算法的效果往往高度依赖于它所开发和测试的环境。如果忽视环境，可能会导致我们构建的最优算法只在过于简化的环境中有效。

那么，为什么我们不先思考清楚真正想要解决的环境，再去寻找最适合它的算法？

OpenAI最初就是这么计划的。

OpenAI先是打造了Gym——一个用于各类博弈的标准RL环境；接着推出了World of Bits和Universe，试图将互联网或计算机变成一个博弈。这个设计很好——一旦将所有数字世界转化为环境，再用RL算法解决问题，我们就能实现数字领域的AGI。

? Gym：OpenAI在2016年发布的RL算法开发和比较工具包，提供多种预定义环境。World of Bits 和 Universe：Universe是OpenAI在2016年12月发布的开源平台，目标是在几乎所有环境中衡量和训练AI通用智能，让Agent能像人一样使用计算机。

但这个设计并不完全奏效。虽然OpenAI取得了巨大进展——比如用RL解决了Dota、机器人手等问题——但还没有解决Computer Use或Web Na vigation。而且，在一个领域表现出色的RL Agent并不能迁移到另一个领域。某些关键因素仍然缺失。

直到GPT-2或GPT-3出现，我们才发现缺失的是先验知识。你需要进行大规模预训练，将常识和语言知识提炼到模型中，然后通过微调使其成为网络Agent（WebGPT）或聊天Agent（ChatGPT），从而改变世界。

结果发现，RL中最重要的部分可能甚至不是RL算法或环境，而是先验知识——而这些先验知识的获取方式与RL完全无关。

语言模型的预训练为对话类任务提供了良好的先验知识，但在控制计算机或玩电子游戏方面却不够理想——因为这些领域和互联网的文本分布相差很大，直接在这些领域做SFT或RL的泛化效果很差。

我在2019年意识到的这个问题。当时GPT-2刚刚发布，我在它的基础上做了SFT或RL来解决基于文本的博弈，最终做出了CALM——世界上第一个基于预训练语言模型构建的Agent。但它要花费上百万步的RL才能在单一博弈中取得进展，而且无法迁移到其他博弈上。

虽然这正是RL的特点，对RL研究者来说并不意外，但我仍觉得很反常——因为人类可以轻松上手一款新游戏，而且在零样本前提下做得比Agent更好。

这时，我迎来了人生中第一个顿悟时刻：人类之所以能泛化，是因为人类不仅能做“去2号柜子”、“用1号钥匙打开3号箱子”或“用剑杀死地牢怪物”这类操作，还能思考：“地牢很危险，我需要一件武器。附近没有武器，我需要在锁着的柜子或箱子里找，3号箱子在2号柜子里，那我应该先去那里把柜子打开。”

思考或推理是一种很特殊的行为——它并不会直接改变外部世界，但却拥有一个开放、无限组合的空间。我们可以想一个单词、一句话、一段话，或者一万个随机英语单词，周围环境不会立刻发生变化。

在经典RL理论中，推理是一个糟糕的存在——因为它会让决策变得不可能。比如，一个人需要从两个盒子中选一个，其中一个装着100万美元，另一个是空的，预期收益是50万美元。现在如果往这个人面前放了无数个空盒子，那么他的预期收益就变成了0。

但如果我们在RL环境的动作空间中加上推理，就能利用语言模型预训练中获得的先验知识进行泛化，并可以在不同的决策中灵活分配测试时计算资源。

? 动作空间：不同的环境允许不同种类的动作，有效动作的集合称为动作空间。

这个过程很神奇，我会在未来专门写一篇博客来讲。可以通过ReAct这篇论文先了解我对Agent推理的看法。

? ReAct：姚顺雨在ReAct: Synergizing Reasoning and Acting in Language Models中提出的框架，至今仍在Agent框架中占有一席之地。

目前，我对此的解释是：虽然一个人面前被放置了无数个空盒子，但在此之前，他已经在各种博弈中见过这些盒子——这些经验能帮助他更好地识别出哪个盒子更可能装着钱。

用一句抽象的话来说：语言通过Agent推理来实现泛化。

一旦我们拥有了正确的RL先验知识（语言预训练）和环境（将语言推理作为行动），算法可能是最微不足道的部分。现在我们有了o系列、R1、Deep Research、Computer-Using Agent，未来还会有更多成果。多么讽刺的转折！

长期以来，RL研究者更关心算法，远胜于关心环境，几乎没有人关注先验知识——所有的RL实验本质上都是从零开始的。但我们绕了几十年的弯路，才意识到也许优先级应该反过来。

正如Steve Jobs所说：You can’t connect the dots looking forward; you can only connect them looking backward.

04. 欢迎来到AI下半场

The second half

这套配方在彻底改变AI的游戏规则。AI上半场的游戏规则是：

• 我们开发出新颖的训练方法或模型，在各种基准上取得更好成果。

• 我们创造出更难的基准，并继续这个循环。

现在这个游戏规则正在被彻底改变，原因在于：

• 这套配方本质上已经把攻克基准的过程标准化、流程化了——我们不再需要太多新的想法。并且因为这套配方具有较好的规模化能力和泛化能力，你为某个具体任务设计的全新方法可能只能带来5%的提升，而下一代的o系列模型即使没有专门针对这个任务训练，也能带来30%的提升。

• 即使我们设计出更难的基准，它们往往也会很快——而且越来越快——被这套配方攻克。我的同事Jason Wei做了一张精彩的图，直观地展示了这个趋势。

那么AI下半场应该做什么？如果新的训练方法不再必要，更难的基准也会被越来越快地攻克，应该怎么做？

我认为我们需要从根本上重新思考“评估”。这不仅意味着设计更新、更难的基准，而是要彻底质疑现有的评估方法，创造新的评估方法——这样才能迫使我们发明超越现有有效配方的新方法。

但这很难，因为人类有惯性。人类很少去质疑最基础的假设——你只是理所当然地接受它们，却没意识到它们只是“假设”，而不是“定律”。

用一个例子来说明这种惯性。假如你基于人类考试，发明出了一种史上最成功的AI评估方法之一。在2021年，这也许是一个突破性的想法。但三年后，这一方法已被很多人使用，成为非常常规的评估方法。那么你接下来会做什么？很可能是再设计一套更难的考试。

再比如，你已经成功解决了基础的编程任务，那么接下来会做什么？很可能是寻找更难的编程任务，直到达到IOI金牌的水平。

惯性是一种很自然的现象，但问题也正出在这里。AI已经在国际象棋和围棋上战胜了世界冠军，在SAT和律师资格考试中超过了大多数人类，达到了IOI和IMO金牌的能力，但至少从经济或GDP的角度看，世界并没有发生太大变化。

我将这个称为“效用问题”，我认为这是当下AI领域最重要的问题。

也许我们很快就能解决“效用问题”，也许还不能。但无论结果如何，这个问题背后的根源可能非常简单：我们的评估方法在很多基本假设上与现实世界的设定不同。

举两个假设为例：

• 假设1：评估应该是自动运行

通常一个Agent会收到一个任务输入，自动完成任务，最后得到一个任务奖励。但现实中，Agent往往需要在整个任务过程中持续与人类互动——比如你不会给客服发一条长信息，然后等十分钟，期待对方给出一条详细答复来解决所有问题。当我们质疑这种评估假设时，就催生出了新的基准：要么将真实人类引入交互环节（例如Chatbot Arena），要么引入用户模拟（例如tau-bench）。

• 假设2：被评估的任务应该是独立同分布的

如果你有一个包含500个任务的测试集，评估时会将每个任务独立运行，最后对结果取平均，得出整体评分。

但现实中，任务往往是顺序进行的，而不是并行的。一位Google的软件工程师在逐步熟悉google3仓库后，会越来越高效地解决问题，但一个软件工程Agent在同一个仓库中解决多个问题，却无法获得这种熟悉度。我们显然需要长期记忆方法——事实上已有一些相关尝试——但学术界缺乏能合理体现这种需求的正确基准，甚至缺乏质疑i.i.d.这个被视为机器学习基础假设的勇气。

? 独立同分布：Independent and identically distributed，即i.i.d.，是机器学习中一个重要的假设，表明训练数据和测试数据遵循相同的概率分布。

这些假设一直以来就是默认存在的。在AI上半场，基于这些假设来设计基准是合理的——因为在智能水平较低时，提高智能通常就能提升效用。现在在这些假设下，那套通用配方已几乎被保证奏效。那么AI下半场这个新游戏的玩法会是：

• 我们需要开发面向现实世界效用的全新评估设定或任务；

• 我们需要用配方来攻克这些评估设定或任务，或用新组件来增强配方，然后重复这个循环。

这个游戏很难，因为它充满了未知，但也格外令人兴奋。AI上半场的玩家专注于攻克电子游戏和标准化考试，AI下半场的玩家则通过把智能转化为有用的产品，打造出数十亿甚至万亿美元的公司。

上半场充斥着各种不断迭代的训练方法和模型，而下半场在某种程度上对它们进行了筛选。通用配方会轻松碾压你的渐进式改进。你创造出能打破这套配方的新假设——那时，你就能做出真正改变游戏规则的研究。