Ilya Sutskever 自从 OpenAI 那场广为人知的管理层变动后，首次接受了播客采访。在这场对谈中，他罕见地分享了自己对 AI 和深度学习从萌芽到爆发的完整思考——从 17 岁起与 Geoffrey Hinton 的合作，到卷积神经网络的突破，再到 GPT 项目如何借助自监督学习和 Transformer 模型一路走到今天。当然，他也直面了大语言模型的软肋，尤其是那个让所有人都头疼的“幻觉”问题。
以下是对这次采访核心内容的梳理。
成长经历与早期兴趣
说到个人经历，Ilya 确实有不少可以分享的。他出生在俄罗斯，在以色列长大，青少年时期又随家人移居加拿大。据他回忆，从很小的时候起，他就对“意识”这个命题感到着迷和困扰。为了找到理解意识的方法，AI 似乎成了一个天然的切入口。
2003 年，他进入多伦多大学，并很快找到了当时的机器学习权威 Jeff Hinton。这个时间节点的意义在于，今天我们理所当然地认为计算机可以学习，但在 2003 年，主流观点恰恰相反。那时 AI 最拿得出手的成就是“深蓝”下棋引擎，但那本质上只是一个搜索树，离真正的“学习”相去甚远。所以，当 Ilya 发现 Hinton 在学校时，他几乎第一时间就找上门去，开始了他们长达二十年的合作。
对大脑与机器学习的探索
主持人问他：你的动力是想理解大脑的工作原理，还是单纯对机器学习本身感兴趣？
Ilya 的回答很坦诚。他当时的想法非常明确：要弄清楚智能究竟是如何运作的，并为此做出“一个很小但真实的贡献”。当时 AI 领域不乏各种看似宏大却无法落地的想法，他能感觉到哪些是虚的。因此，他的早期动机很纯粹：理解智能，并真正推动它往前走。
卷积神经网络与 ImageNet 的突破
那么，这个突破具体是怎么发生的呢？Ilya 给出的解释非常精炼：逻辑其实很简单——人类大脑能够快速解决视觉这类复杂任务，而大脑本质上就是一个由慢速神经元构成的神经网络。这就意味着，只要我们能找到一个足够大的数据集，在一个足够大的神经网络上进行训练，它就一定能成功。而 ImageNet 恰恰提供了这种条件。
当时 Hinton 实验室已经做了很多技术积累，Alex 又写好了非常高效的卷积核代码。万事俱备，ImageNet 的数据量级又足够大，这一切汇聚到一起，创造了历史上一次标志性的突破。
从监督学习到 Transformers 的演变
2017 年，“Attention is All You Need”这篇论文横空出世，自注意力机制和 Transformer 架构正式登场。
主持人追问：GPT 项目是什么时候开始的？你们当时对 Transformer 有什么感觉？
Ilya 回忆说，其实早在 OpenAI 初创阶段，他们就在探索“预测下一个东西是否就是全部所需”这个思路。当时他们用的是递归神经网络（RNN），但效果并不理想。直到 Transformer 论文发布后，几乎是第二天，他们就意识到这东西解决了 RNN 在长期依赖上的技术瓶颈。于是，团队立刻切换到了 Transformer 架构。
从那时起，GPT 项目开始真正加速。随着规模的扩大，效果越来越好，最终才有了 GPT-3，也才有了今天的位置。
扩展与深度学习的突破
主持人提到了 Rich Sutton 那篇著名的《苦涩的教训》（The Bitter Lesson），大意是说：别折腾新算法了，直接堆数据和算力就行。他问 Ilya，这个思路对你影响大吗？
Ilya 的回答有点意思。他说，当 Sutton 那篇文章出来时，他们很高兴看到外部人士也想到了类似的方向，而且表达得很好。但他马上补充道：“苦涩的教训”被过度解读了。很多人从中得出的结论是“只要堆量就行”，但问题在于——你必须明确“扩展什么”。
深度学习的真正突破在于，它提供了第一个能有效利用扩展并从中获得回报的方式。在此之前，大型计算集群顶多用来做天气模拟或物理模拟。但深度神经网络不一样，做得越大、数据喂得越多，效果就越好。这才是关键所在。当然，Ilya 也承认，未来可能会有一些新的改变，让我们能扩展更好的目标。
幻觉与知识的局限性
谈到具体问题，主持人举了一个很真实的例子：他问 ChatGPT 关于自己的问题，模型能准确识别出他是记者，在各大报社工作过，但接着就开始编造他从没有获得过的奖项——叙述漂亮，但完全不符合事实。
Ilya 没有回避这个问题。他先做了一个很重要的铺垫：今天我们能很自信地谈论大语言模型的各种局限，但两年前人们也是这样自信的。两年后这些所谓“局限”可能早已不是问题。
他还反驳了一个常见的观点——认为模型只学习了统计规律，并不真正了解世界。在他看来，学习统计规律比表面看上去要深刻得多。预测作为压缩，本质上也是一种统计现象，但为了做好预测，模型必须在一定程度上了解产生数据的真实底层过程。如果它真的只是“统计拟合”，就不会表现得这么好了。
直接回应幻觉问题时，Ilya 坦诚表示，无论对机制的理解有多深，模型会生成错误信息这一点都是必须解决的。OpenAI 正在做的是通过进一步的人类反馈强化学习（RLHF）来训练模型，希望新的反馈层能显著减少幻觉出现的频率。当然，团队也在探索其他的技术路线。
关于世界模型与未来
主持人进一步追问：既然你说模型其实隐含了一种概念理解，那 Yann LeCun 提出的“世界模型”和因果推断路线，会在未来五年内落地吗？
Ilya 表示，大部分观点他都认同。他认为 Yann 的想法是很有价值的探索方向之一。同时他也强调，无监督学习这个曾经被视为“圣杯”的目标，如今已经有了实质成果。未来真正的方向，应该是一个综合性的结合——就像人类一样，需要整合来自不同感官和观察的数据。今天的语言模型只是预测的一部分，而未来，一定会形成一种更完整的认知架构。