一、苦涩的教训是否会再次上演
要理解萨顿为何如此断言,我们需要回到2019年。那一年,他发表了一篇仅有一页半的短文《苦涩的教训》,却在AI领域广为流传。
在这篇文章中,萨顿总结了一个规律:
- 在过去的七十年里,AI研究人员习惯于将人类的知识、经验或规则直接编码进AI系统。这种方法短期内效果显著,但随着计算能力的不断增长,这些基于人工规则的方法最终会遭遇瓶颈,并被那些更依赖算力、搜索和机器学习的技术所取代。
- 国际象棋、计算机视觉、自然语言处理等领域,都曾经历过这样的转折点。
- 这些教训之所以被称为“苦涩”,是因为被淘汰的通常不是错误的方法,而是那些曾经非常有效、凝聚了人类智慧和心血的方法。
那么问题来了:如今的AI大模型,究竟是《苦涩的教训》的成功实践,还是即将被淘汰的旧方法?
萨顿给的答案是:是,也不是。
- 是——因为大模型的发展正是《苦涩的教训》的体现,它依赖不断增长的算力、海量数据以及规模化训练,而非人类编写的规则。
- 不是——因为它们的能力存在固有局限:它们建立在人类已发现的知识之上,学习了人类记录的文本和图片,却无法自主发现人类尚未知晓的事物。
萨顿指出,当前模型无法判断事物是好的还是坏的,它们相对弱小且不可靠。
小提示:《苦涩的教训》告诫我们,不应过度依赖短期有效但基于人工规则的方法,而应拥抱那些能随算力增长而持续进化的技术路线。
二、AI需要从“数据时代”迈向“经验时代”
萨顿认为,未来AI的发展方向是让智能体进入真实世界,通过行动、观察并获得反馈,主动产生新知识。他将这一阶段称为“经验时代”。
他曾说过:“我自己一生都在从经验中学习,我预测经验时代即将到来,欢迎大家来到这个时代。”
事实上,人类的知识本就源于与真实世界的互动,而非来自他人写好的文本。孩子学走路,是通过一次次摔倒又爬起摸索出的经验,而不是靠读《走路指南》。AI未来的发展道路或许也是如此。
三、Oak架构:让AI像婴儿般自主探索
萨顿介绍了其最新提出的Oak架构,该架构包含两个核心抽象能力:
- 时间抽象(Options)——使智能体能够将一系列连续行动打包成可重复使用的技能模块,从而实现宏观层面的规划。
- 状态抽象(Knowledge)——让智能体从感知信息中提炼出高层状态特征,并学习控制和实现这些特征的技能。
通俗来说,就是将发现问题的权利交给智能体,让它自行拆解问题、寻找解决方案,无需人类一步步指导。
萨顿认为,世界模型不应是低级别的物理模拟器,而应具备高阶预判能力,例如回答“如果我去XX公司入职,会快乐吗”这类问题,而非仅仅模拟物理碰撞。在运行方式上,Oak致力于持续学习,如同小孩子一样在环境中不断更新认知,实现自我进步。
小提示:Oak架构中的“时间抽象”和“状态抽象”类似于人类将复杂任务分解为子任务并提炼关键特征的能力,这正是自主学习的核心所在。
四、三类AI,各司其职
基于上述思考,AI可以被划分为三类:
- 第一类,边界明确的专用系统,如自动驾驶,仅在有限场景中完成特定任务,无需具备完整心智。
- 第二类,基础模型,即当前的大模型。它们的定位应是保存、组织、传播人类已积累的全部知识,成为超级百科全书。
- 第三类,拥有完整心智的智能体,能够在漫长时间内持续学习,拥有属于自己的经验与专长,可以独立思考和创造。
萨顿感兴趣的正是第三类,并且他刻意将其与当前流行的智能体概念区分开来。他认为要创造的是一个完整心智,而非一个用于模式识别或执行特定任务的工具。
WAIC召开前一周,69岁的萨顿与阿尔伯塔大学博士研究员共同创立了一家新公司——Oak Lab。该公司目标明确:打造一个拥有万亿参数、能够在仅20瓦极低能耗下进行实时学习和规划的智能体。20瓦,恰好是人脑的功耗水平。
五、不要让AI替代我们亲身经历世界
演讲中,萨顿还提出了一个值得深思的问题:在AI时代,人类应避免失去亲身经历世界的能力。
大模型将人类百年积累的知识快速组合并输出答案,确实方便。然而,真实世界是由等待、犹豫、紧张等非符号化的多重体验构成的。基础模型可以帮助人类接近世界,但永远无法替代人类亲身经历世界。优秀的模型应当能够明确区分知识、推测与未知,不应在知识边界之外随意给出内容。
常见问题
- 问:大模型真的不可能成为超级智能吗?
答:萨顿认为,当前大模型基于人类已有知识,无法自主发现未知,但未来可能出现新的架构(如Oak架构)实现更强智能。不过,目前的大模型更像超级百科全书,而非超级心智。 - 问:Oak Lab的目标是什么?
答:打造一个具有万亿参数、在20瓦功耗下实时学习与规划的智能体,模拟人脑能耗水平,实现完整心智。
《苦涩的教训》并未直接指明未来AI的方向,只是提醒我们,不要把当下最强的技术视为智能的终极形态。当前的大模型是人类知识的集成者,是百科全书,而非超级智能,也不应被当作超级智能来期待。真正的智能,还在后续——在真实世界的互动中,在一次次的试错里,在那些无法被写成文本的经验之中。
