年近70岁的图灵奖得主、被誉为“强化学习之父”的理查德·萨顿（Richard Sutton），近日宣布正式创业。

本周一，Richard Sutton与Khurram Ja ved共同创立了全新AI公司Oak Lab，其核心目标十分明确：打破当前深度学习的主流范式，以一套颠覆性的理念构建通用人工智能（AGI）。

Oak Lab致力于打造一个能够凭借自身第一人称经验进行独立、持续学习的AI智能体。这意味着该智能体不再依赖人类喂养的海量数据集，也无需经历所谓的“静态训练”——它将像生物一样，在持续与环境交互的运行过程中，实时试错、不断进化，并完成自我完善。

之所以选择另辟蹊径，是因为当前的大语言模型（LLM）可能已经触及了扩展的天花板。Richard Sutton判断：大模型目前主要依赖海量的静态数据进行预训练，它们虽然擅长模仿人类的语言模式，但既无法评估自身输出的质量，也不具备真正意义上的探索与发现能力。

基于这一判断，Oak Lab的核心方向便是推进萨顿提出的新架构——OaK（Options and Knowledge，选项与知识）。其终极目标听起来颇为大胆：打造一个拥有万亿参数、却能在仅20瓦极低功耗下进行实时学习与规划的智能体，试图通过纯粹的经验积累，最终通向超级智能（AGI）。

去年8月在AGI-25大会上，Richard Sutton亲自阐述了OaK架构的设计理念，以及他关于如何通过经验实现超级智能的完整愿景。作为《苦涩的教训》（The Bitter Lesson）的作者，近年来萨顿对大语言模型的态度一直相当尖锐，他认为大模型的Scaling Laws并未真正贯彻他的核心思想——这背后，折射出顶尖学者之间关于AI路线存在的根本理念之争。

在萨顿看来，当前的大模型并未真正贯彻“通用计算+自主经验学习”这一核心精神。真正的智能，必须具备发现新知识的能力，就像AlphaGo——它最初确实学习了人类棋谱，但真正击败李世石、并最终进化为AlphaZero的关键，在于它在无数次自我对弈中，通过强化学习探索出了人类从未见过的招法。萨顿认为，AGI必须有能力通过试错（Trial and Error）产生增量知识，而不仅仅是咀嚼已有的数据。

值得一提的是，今年1月，DeepMind的AlphaGo之父、萨顿的学生Da vid Silver已率先宣布创业。Silver的理念与他的导师如出一辙——也是希望通过强化学习，让AI学会与环境互动、自我博弈，依靠纯粹的经验来生成新知识。

LLM的本质是序列预测，它并不真正理解物理世界的因果关系。而萨顿提出的OaK架构，追求的是运行时（Run-time）的持续学习。AI应该像生物一样，在与世界交互的每一秒都在更新自己的内部模型，而不是依赖人类定期喂给的固定数据集。

这套架构的核心，是让智能体建立关于环境的内部“世界模型”，并利用这些模型去预测自己行为的长期后果。这种基于选项（Options，即在时间上延伸的动作）的长期规划能力，是目前基于注意力机制的Transformer架构极难内生实现的。

目前，Richard Sutton仍在加拿大阿尔伯塔大学担任计算机科学教授，他与安德鲁·巴托（Andrew Barto）共同荣获了2024年ACM图灵奖。作为现代强化学习的奠基者之一，他数十年来始终围绕“机器如何持续学习”这一课题展开研究。

从早期的时序差分学习和Dyna架构开始，他就在不断尝试减少学习过程对固定训练流程和人工设定的依赖。近年来，他与Khurram Ja ved密切合作，将注意力转向了在线学习中的稳定性与适应性问题。他们共同开展的SwiftTD、Swift-Sarsa等工作，尝试让系统自主调节学习速度，并从大量不断变化的输入中识别出真正有用的信息。

如今，Oak Lab可以被视作他将学术主张进一步推向实践的一次大胆尝试。