12月9日消息,在最近一期Joe Rogan的播客节目中,英伟达CEO黄仁勋回顾了深度学习起源与公司命运的关键转折点。他表示,深度学习的重大突破始于2012年,其基础竟是两张并非为AI设计的GTX 580显卡组成的SLI双卡互联配置。
黄仁勋透露,如今被视为AI核心的深度学习,其基础网络的首次运行所使用的硬件,正是基于Fermi架构、拥有512个CUDA核心的高端游戏显卡GTX 580。
尽管该显卡最初是为顶级游戏体验而生,但其强大的并行计算能力,却在无意中成为了深度学习快速训练的基石。
2012年,来自多伦多大学的研究人员Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton,利用一组3GB显存的GTX 580显卡,成功训练出了著名的AlexNet模型。
这个拥有约6000万个参数的深度学习网络,在当年的ImageNet图像识别竞赛中,以超越当时手动设计算法70%的惊人优势脱颖而出。
黄仁勋指出,AlexNet的开发者通过优化算法,使其能够在两张GTX 580上并行运行,仅在必要时交换数据,极大地缩短了训练时间。这也使得GTX 580成为了世界上第一款成功运行深度学习/机器学习AI网络的显卡。
有趣的是,当这一里程碑达成时,英伟达在AI领域的投资寥寥无几,大部分研发仍集中在3D图形和游戏方面。
正是AlexNet在GTX 580上的成功应用,让英伟达意识到了深度学习的巨大潜力。黄仁勋表示,公司随即在2012年将资金、开发和研究工作转向深度学习技术。
这一转型最终催生了2016年的初代NVIDIA DGX超级计算机、具备首代Tensor核心的Volta架构,以及后续的DLSS技术。

