下一代AI架构：从“实验室学霸”到“世界适配者”

尽管AI模型在各类评测榜单上不断刷新纪录，但它们在真实世界中的适应能力依然有限。这引出了一个核心问题：目前依赖大规模强化学习和Transformer的模型，是否真的能够通向通用人工智能（AGI）？OpenAI前强化学习专家Jerry Tworek和谷歌Gemini前预训练负责人Rohan Anil共同创办了Core Automation，他们对此持否定态度，并提出了一项更根本的挑战：模型必须在部署后持续学习，而非仅仅依赖训练数据。

强化学习的“天花板”

强化学习确实让模型在围棋、编程等预设任务中表现出色，因为它允许模型在模拟环境中通过试错来优化策略。然而，Jerry指出，这种进步存在一个根本性矛盾：模型在实验室里根据预先收集的数据和环境完成训练，训练结束后才被部署到更开放、更混乱的真实世界。

真实世界的问题往往模糊、多变，且没有清晰边界。用户的需求可能涵盖训练数据中从未出现的组合，而模型无法自动适应这些新情况。每当遇到失败，人类仍需收集案例、补充数据，再将模型送回实验室进行下一轮更新。因此，真正承担学习工作的，依然是实验室，而不是模型自身。

小提示： 强化学习擅长处理“已知的未知”，即模型能通过预定义规则和奖励函数来探索的领域。但面对“未知的未知”，即完全随机、不可预测的现实互动，它的效果会大打折扣。

“从经验中学习”不等于“强化学习”

Jerry强调，强化学习只是“从经验中学习”的一种方式，且主要依赖大量并行试错。这与人类的学习方式有着本质区别。

• 学习踢球： 通过反复尝试，根据结果（球是否飞向目标）微调动作，这类似于强化学习。
• 学习数学： 通过阅读、推演、比较概念，在头脑中建立联系。这里没有明确的外部奖励，也不需要成千上万次重复，但学习同样发生了。

大脑中很可能不存在一种包办所有任务的单一学习算法，而是多种机制相互配合。因此，单纯扩大强化学习，未必足以解决持续学习问题。 现实中的经验反馈可能延迟，任务可能没有唯一答案，学习也可能来自观察、解释和内部思考，而非外部奖惩。

Transformer的“隐疾”：计算深度不足

除了无法持续学习，Rohan认为Transformer还有一个容易被忽略的瓶颈：计算深度不足。

这里的“深度”并非指模型参数数量，而是指输入信息在产生答案之前，能够经历多少步连续计算。当前Transformer通常只有数十层到一百层，信息通过固定层数后便需输出结果。这种结构非常适合并行训练，却限制了模型在单次前向计算中完成复杂推演的能力。

近年来，思维链和推理时扩展部分绕开了这一限制。模型通过生成一系列中间步骤（token）来追加计算，但代价是：答案越难，生成的内容越长，推理所需的时间和成本也越高。 Rohan将此视为一种“架构补丁”，而非根本解决方案。

常见问题： 为什么不能直接增加Transformer的层数？

增加层数会显著增加参数量和计算成本，导致训练和推理效率下降。同时，更深的网络可能面临梯度消失或爆炸问题，稳定性变差。因此，如何用更少的步骤完成更深的计算，是下一代架构需要解决的关键问题。

下一代AI架构的“核心能力”

在Core Automation看来，下一代架构不必彻底抛弃Transformer，但必须解决其无法解决的问题。核心能力包括：

• 部署后持续学习： 模型能在部署后吸收新信息，根据用户和环境调整能力，并把短期经验转化为长期变化。它不能只依赖有限的上下文（如提示词），也不能每次学习新任务都回到实验室重新微调。
• 稳定的学习机制： 系统既要掌握新知识，又不能轻易破坏原有能力（灾难性遗忘）；既要从长期互动中积累经验，也要能从少量数据中快速更新。
• 端到端整体设计： 新架构必须把预训练和强化学习作为一个整体来设计，而非简单前后拼接。训练算法、模型架构和底层硬件需协同优化，确保在真实硬件上高效运行。

Jerry指出，这需要在架构层面表达“学习如何发生”。模型不仅包含已学知识，还应包含一种能处理新经验的内部机制，决定哪些信息值得保留、如何与既有知识建立联系，以及何时改变行为方式。

从“学习”到“元学习”：第三种可能

当前模型在部署后有两种适应方式，但各有局限：

• 上下文学习（In-Context Learning）： 将新信息写入提示词，在对话中利用。它灵活且不易导致遗忘，但容量有限，难以跨越较长时间。一旦开启新会话，获得到的经验很难保留。
• 持续微调： 根据新数据更新模型参数，更接近真正学习。但容易导致灾难性遗忘，且需要大量数据和计算，不够高效。

Jerry希望寻找的是第三种可能：元学习（Meta-Learning）。将“如何学习”本身写进模型架构，让系统能在部署过程中根据用户、数据和真实任务持续更新，同时避免轻易遗忘原有能力。这需要把问题指向架构，而不只是训练规模。

Core Automation的实践：建设自动化AI实验室

Core Automation的另一项核心目标是建设高度自动化的AI实验室。这并非要把研究人员移出流程，而是扩大每个人的行动能力。通过编程智能体和研究智能体，一个研究者可以同时推进更多任务：智能体生成代码、运行实验、整理数据，人类则把精力放在提出假设、解释结果和调整研究方向上。

自动化带来的关键变化是提高实验迭代速度。架构研究通常包含巨大的搜索空间，真正决定进展速度的是团队能多快完成“提出想法 — 执行实验 — 获得结果 — 形成新假设”的循环。如果每天能稳定完成一个有效实验，速度已相当可观；未来若能提高到每天十个甚至数百个实验，研究过程就会更接近大规模搜索与优化。

小提示： 自动化实验室并不要求AI独立完成所有科学发现，而是让每名研究人员拥有更大的研究杠杆，从而在有限团队和算力条件下探索更多架构方向。

AGI的重新定义：自我改进的系统

关于AGI，业界常见定义是“一个能够在大多数具有经济价值的工作中超越人类的系统”。但Jerry认为，这个定义遗漏了一个关键问题：如果人类停止训练新模型，系统还能否维持并扩大自己的能力？

他给出的标准更加严格：AGI应该能够在没有人类参与的情况下改进自身。 训练和改进AI模型本身就是一项复杂且有经济价值的工作。如果一个系统能胜任广泛的人类工作，却无法承担改进智能系统这项工作，那么它的通用性仍然存在缺口。

目前表现最好的形态，仍然是人类与大模型的组合。模型负责生成、搜索和执行，人类负责设定目标、判断结果、发现错误并调整方向。一旦移除人类，系统的可靠性便会明显下降。因此，Core Automation所追求的AGI，不只是一个知识更多、推理更强的模型，而是一个能观察自身表现、从真实环境中获得经验，并持续改变自己的系统。

从“实验室学霸”到“世界适配者”，AI的下一阶段突破，可能不在于模型更大、数据更多，而在于它能否学会如何学习，如何在真实世界中持续进化。