这篇文章系统梳理了近年来深度学习领域的重要研究成果，内容涵盖方法、架构、正则化与优化技术等多个方面，为读者提供了一个较为全面的概览。对于刚刚踏入深度学习领域的新手而言，这是一份值得仔细研读的参考资料。无论是为了建立对学术界基本格局的认知，还是为后续的文献调研提供方向，本文都能带来实际的帮助。

深度学习是机器学习和人工智能研究中最受瞩目的趋势之一，其带来的变革几乎具有革命性，尤其是在计算机视觉和机器学习领域。然而，这一领域的发展速度极快，新技术层出不穷，不断刷新着所谓的“最先进”水平。这对所有研究者来说既是机遇也是挑战——尤其是刚入行的年轻人，很难实时跟上所有这些进展。本文旨在提供一个简洁的视角，回顾近年来深度学习的关键突破。

引言

“深度学习”（DL）这一概念最早于1986年被引入机器学习领域，到2000年，它与人工神经网络（ANN）紧密联系在一起。简单而言，深度学习的方法由多个层级构成，能够从数据中学习到具有多个抽象层次的特征。其神奇之处在于，让计算机能够通过相对简单的概念逐步构建并理解复杂的概念。更准确地概括：深度学习是机器学习的一个子领域，利用多层次的、非线性的信息处理与抽象，完成有监督或无监督的特征学习、表示、分类以及模式识别。

大多数人认为，近代深度学习方法自2006年起真正开始繁荣。本文的核心目标是为即将踏入该领域的初学者提供一份关于最新深度学习技术的全景式综述，涵盖基本思想、主要方法、最新进展以及实际应用。

对于任何一个领域的新人来说，综述性论文的价值再怎么强调也不为过。一个既有巨大价值又在快速演进的研究领域，很难被实时跟踪。如今，科学研究的吸引力空前，知识的分享与获取比以往任何时候都更容易。但对于任何技术趋势，唯一的正常假设就是它会在各个方面不断改进。几年前对该领域的概述，到今天可能已经过时。

考虑到深度学习近年来的普及与推广，我们有必要简要回顾深度学习和神经网络的核心进展，以及过去几年中涌现的重大突破。希望本文能帮助众多新手研究者全面了解近期的研究和技术，引导他们走上正确的道路。同时，我们也借此机会向这个时代的顶级研究者们致敬：Geoffrey Hinton、Juergen Schmidhuber、Yann LeCun、Yoshua Bengio，以及众多其他学者——他们的研究构成了现代人工智能的基石。持续跟踪他们的工作，对于把握最前沿的DL和ML研究至关重要。

在本文中，我们首先简述过往的研究论文，梳理深度学习的模型与方法。然后重点描述该领域的最新进展，包括深度学习方法、深度架构（如深度神经网络DNN）、深度生成模型（DGM），接着介绍重要的正则化和优化方法。此外，还通过两个简短的部分总结开源的DL框架与重要的DL应用。最后，在讨论与结论部分，我们探讨深度学习的现状与未来方向。

近期所有关于深度学习的论文都从多个角度探讨了核心要点，这对研究人员非常必要。但DL目前是一个蓬勃发展的领域，在最新的综述论文发表之后，又有很多新技术和架构被提出。更重要的是，以往的论文出发点各不相同。而本文主要面向刚进入该领域的学习者，努力为新研究者以及所有对深度学习感兴趣的人提供坚实的基础和清晰的概念图景。

最新进展

在这一节，我们将讨论近期从机器学习和人工神经网络（ANN）中衍生出来的主要深度学习方法——人工神经网络是深度学习最常用的形式。

3.1 深度架构的演变

人工神经网络（ANN）已经历了漫长的演进，并催生了其他深度模型。第一代ANN由简单的感知器神经层组成，只能进行有限的简单计算。第二代引入了反向传播，能根据错误率更新神经元的权重。之后，支持向量机（SVM）一度涌现，并在相当长一段时间内超越了ANN。为了克服反向传播的局限性，人们提出了受限玻尔兹曼机（RBM），使得学习变得更加容易。与此同时，其他技术和神经网络也相继出现，如前馈神经网络（FNN）、卷积神经网络（CNN）、循环神经网络（RNN），以及深层信念网络、自编码器等。从那时起，为满足各种应用需求，ANN在不同方向上得到了持续的改进和设计。

Schmidhuber、Bengio、Deng和Yu、Goodfellow、Wang等人对深度神经网络（DNN）的进化史以及深度学习进行了非常详细的概述。大多数情况下，深度架构就是简单架构的多层非线性重复，这样可以从输入中获得高度复杂的函数。

深度学习方法

深度神经网络在监督学习领域取得了巨大成功。不仅如此，深度学习模型在无监督学习、混合学习和强化学习方面也表现出色。

4.1 深度监督学习

监督学习适用于数据已有标签、需要对数据进行分类或数值预测的场景。LeCun等人对监督学习方法以及如何构建深度结构给出了精炼的解释。Deng和Yu则提到了许多用于监督和混合学习的深度网络，例如深度堆栈网络（DSN）及其变体，并做出了深入的解释。Schmidhuber的研究覆盖了所有神经网络，从早期的简单网络，一直到近期大获成功的卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）及其改进版本。

4.2 深度无监督学习

当输入数据没有标记时，就需要无监督学习来从中提取特征并进行分类或标记。LeCun等人很早就预测了无监督学习在深度学习中的潜力。Schmidhuber也描述了用于无监督学习的神经网络。Deng和Yu则简要介绍了用于无监督学习的深度架构，并详细解释了深度自编码器。

4.3 深度强化学习

强化学习利用奖惩系统来训练预测模型如何选择下一步。这主要用于游戏和机器人领域，解决日常的决策问题。Schmidhuber描述了深度学习在强化学习（RL）中的进展，以及深度前馈神经网络（FNN）和循环神经网络（RNN）在RL中的应用。Li则讨论了深度强化学习（DRL）、其典型架构（如深度Q网络DQN）以及在各个领域的应用。Mnih等人提出了一种利用异步梯度下降进行深度神经网络优化的DRL框架。van Hasselt等人也提出了一种使用深度神经网络的DRL架构。

深度神经网络

接下来，我们简要讨论深度神经网络（DNN）及其近期的改进和突破。神经网络的功能与人脑有相似之处，主要由神经元和连接构成。当我们提到深度神经网络时，通常意味着拥有相当多的隐藏层，这些隐藏层可以从输入中提取特征并计算复杂的函数。Bengio解释了深度结构的神经网络（如CNN、自编码器AE）及其变体。Deng和Yu详细介绍了一些神经网络架构（如AE及其变体）。Goodfellow等人对深度前馈网络、卷积网络、递归网络及其改进进行了深入而技巧性的讲解。Schmidhuber则提到了神经网络从早期到近期成功技术的完整历史。

5.1 深度自编码器

自编码器（AE）是一种特殊的神经网络，其目标输出就是输入本身。AE将原始输入编码成压缩表示，再解码以重建输入。在深度AE中，较低的隐藏层负责编码，较高的隐藏层负责解码，误差反向传播则用于训练。

5.1.1 变分自编码器

变分自动编码器（VAE）可以被视为一种特殊的解码器。它建立在标准神经网络之上，可以通过随机梯度下降进行训练。

5.1.2 多层降噪自编码器

在早期的自编码器中，编码层的维度小于输入层（即窄编码）。而在多层降噪自编码器（SDAE）中，编码层则比输入层更宽。

5.1.3 变换自编码器

深度自动编码器（DAE）可以具备变换不变性，也就是说，从多层非线性处理中提取的特征可以根据学习者的需求而改变。变换自编码器（TAE）既能使用输入向量，也能使用目标输出向量来应用变换不变性属性，从而将编码引导到期望的方向。

5.2 深度卷积神经网络

构成卷积神经网络（CNN）的四大核心思想是：局部连接、权重共享、池化以及多层使用。CNN的前半部分由卷积层和池化层组成，后半部分则主要是全连接层。卷积层用于检测特征的局部连接，池化层将相似的特征进行合并。值得留意的是，CNN在卷积层中使用的是卷积运算，而非矩阵乘法。

Krizhevsky等人提出的一种深度CNN架构——AlexNet，可以说是深度学习的一个重大突破。这个网络由5个卷积层和3个全连接层组成。它利用图形处理单元（GPU）进行卷积运算，采用线性整流函数（ReLU）作为激活函数，并用Dropout来减少过拟合。此后，各种新的架构如雨后春笋般涌现：Iandola等人提出了小型化架构"SqueezeNet"；Szegedy等人提出了"深度CNN架构Inception"；Redmon等人提出了用于实时目标检测的YOLO（You Only Look Once）架构；Gehring等人提出了用于序列到序列学习的CNN架构；Bansal等人则提出了使用像素表示的PixelNet。Goodfellow等人曾详细解释CNN的基本架构和思想，Gu等人则对CNN的最新进展、多种变体、架构、正则化方法及其在各领域的应用做了非常好的综述。

5.2.1 深度最大池化卷积神经网络

最大池化卷积神经网络（MPCNN）主要对卷积和最大池化进行操作，尤其在数字图像处理领域。MPCNN通常由除输入层之外的三种层构成：卷积层获取图像并生成特征图，然后应用非线性激活函数；最大池化层对图像进行下采样，并保留子区域中的最大值；全连接层进行线性乘法。在深度MPCNN中，输入层之后会周期性地使用卷积和混合池化，最后再连接全连接层。

5.2.2 极深的卷积神经网络

Simonyan和Zisserman提出的VGG Net架构，是一个相当深的卷积神经网络（VDCNN）。它使用非常小的卷积滤波器，深度可达16-19层。Conneau等人提出了另一种文本分类的VDCNN架构，也使用小卷积和池化。这被认为是第一个用于文本处理的VDCNN架构，在字符级别上运作，由29个卷积层组成。

5.3 网络中的网络

Lin等人提出了"网络中的网络"（NIN）。NIN用结构更复杂的微神经网络代替了传统CNN的卷积层。它使用多层感知器卷积（MLPConv）来处理微神经网络，并用全局平均池化层代替全连接层。深度NIN架构可以通过堆叠多个NIN结构来实现。

5.4 基于区域的卷积神经网络

Girshick等人提出了基于区域的卷积神经网络（R-CNN），通过识别区域来进行目标检测。R-CNN用区域来定位和分割目标。该架构由三个模块组成：定义候选区域集合的类别无关区域建议模块、从区域中提取特征的大型CNN、以及一组类特定的线性支持向量机（SVM）。

5.4.1 Fast R-CNN

Girshick随后提出了快速的R-CNN（Fast R-CNN），这种方法在R-CNN架构基础上大幅提升了生成结果的速度。Fast R-CNN由卷积层、池化层、区域建议层和一系列全连接层组成。

5.4.2 Faster R-CNN

Ren等人提出了更快的R-CNN（Faster R-CNN），它引入了区域建议网络（RPN）来实现实时目标检测。RPN是一个全卷积网络，能够准确、高效地生成区域建议。

5.4.3 Mask R-CNN

何恺明等人提出了基于区域的掩模卷积网络（Mask R-CNN），用于实例目标分割。Mask R-CNN扩展了R-CNN的架构，增加了一个用于预测目标掩模的额外分支。

5.4.4 Multi-Expert R-CNN

Lee等人提出了基于区域的多专家卷积神经网络（ME R-CNN），这在Fast R-CNN的基础上，结合了选择性和穷举搜索来生成兴趣区域（RoI）。它使用per-RoI多专家网络，而不是单一的per-RoI网络，每个专家都与Fast R-CNN中全连接层的架构相同。

5.5 深度残差网络

He等人提出的残差网络（ResNet）由152层组成。ResNet的错误率很低，并且通过残差学习使得训练变得相对容易。更深的ResNet往往能获得更好的性能。在深度学习领域，ResNet被视为一项至关重要的进步。

5.5.1 Resnet in Resnet

Targ等人在Resnet in Resnet（RiR）中提出将ResNets和标准CNN结合到一个深层双流架构中。

5.5.2 ResNeXt

Xie等人提出了ResNeXt架构，它利用ResNets来重复使用"分割-转换-合并"这一策略。

5.6 胶囊网络

Sabour等人提出的胶囊网络（CapsNet）是一个包含两个卷积层和一个全连接层的架构，通常在末端放置胶囊层。CapsNet被认为是深度学习的最新突破之一，其出发点正是为了解决传统CNN的局限性。它不是使用一层层的神经元，而是使用一层层的胶囊。当一个激活的低级别胶囊做出预测后，只有当多个预测达成一致时，更高级别的胶囊才会被激活。这些胶囊层使用了一种协议路由机制。之后，Hinton又提出了EM路由，利用期望最大化算法对CapsNet进行了改进。

5.7 循环神经网络

循环神经网络（RNN）更适合处理序列输入，比如语音、文本和数据序列生成。一个在时间上展开的重复隐藏单元，可以被看作是一个具有相同权重的、非常深的前馈网络。由于梯度消失和维度爆炸问题，RNN的训练曾经非常困难。为了攻克这个难题，后来有大量研究者提出了各种改进方案。

Goodfellow等人详细分析了循环和递归神经网络及其架构的细节，以及相关的门控和记忆网络。Karpathy等人使用字符级语言模型来分析和可视化预测、表征训练动态以及RNN及其变体（如LSTM）的错误类型。Józefowicz等人则深入探讨了RNN模型和语言模型的局限性。

5.7.1 RNN-EM

Peng和Yao提出利用外部记忆（RNN-EM）来改善RNN的记忆能力。他们声称在语言理解方面达到了当时的顶尖水平，优于其他RNN。

5.7.2 GF-RNN

Chung等人提出了门控反馈递归神经网络（GF-RNN），它通过将多个递归层与全局门控单元叠加，扩展了标准RNN。

5.7.3 CRF-RNN

郑等人将条件随机场与RNN结合，提出了CRF-RNN，用于概率图形建模。

5.7.4 Quasi-RNN

Bradbury等人提出了准循环神经网络（QRNN），用于神经序列建模，可以沿着时间步并行计算。

5.8 记忆网络

Weston等人提出了用于问答的记忆网络（QA记忆网络），由记忆、输入特征映射、泛化、输出特征映射和响应这几个模块组成。

5.8.1 动态记忆网络

Kumar等人提出了用于问答任务的动态记忆网络（DMN）。DMN包含四个模块：输入、问题、情景记忆和输出。

5.9 增强神经网络

Olah和Carter很好地展示了注意力和增强循环神经网络，包括神经图灵机（NTM）、注意力接口、神经编码器和自适应计算时间。增强神经网络通常是在标准神经网络架构的基础上，附加了一些逻辑功能等额外属性。

5.9.1 神经图灵机

Graves等人提出了神经图灵机（NTM），由神经网络控制器和记忆库组成。NTM通常将RNN与外部记忆库结合起来。

5.9.2 神经GPU

Kaiser和Sutskever提出的神经GPU，旨在解决NTM的并行化问题。

5.9.3 神经随机存取机

Kurach等人提出了神经随机存取机，它使用外部的、可变大小的随机存取存储器。

5.9.4 神经编程器

Neelakantan等人提出了神经编程器，这是一种增强神经网络，具备了算术和逻辑功能。

5.9.5 神经编程器-解释器

Reed和de Freitas提出了可以学习的神经编程器-解释器（NPI）。NPI包含周期性内核、程序内存和特定于领域的编码器。

5.10 长短期记忆网络

Hochreiter和Schmidhuber提出的长短期记忆网络（LSTM），目标是克服RNN的误差回流问题。LSTM基于循环网络和基于梯度的学习算法，它引入自循环来创建路径，使得梯度能够顺畅流动。

Greff等人对标准LSTM及其8种变体进行了一场大规模分析，涉及语音识别、手写识别和复调音乐建模。结论很有意思：这8种变体并没有带来显著的性能提升，反而是标准LSTM表现始终优秀。Shi等人提出了深度LSTM（DLSTM），它通过堆叠多个LSTM单元来学习特征映射。

5.10.1 批归一化LSTM

Cooijmans等人提出了批归一化LSTM（BN-LSTM），对递归神经网络的隐藏状态使用批归一化。

5.10.2 Pixel RNN

van den Oord等人提出像素递归神经网络（Pixel-RNN），由12个二维LSTM层堆叠而成。

5.10.3 双向LSTM

Wöllmer等人提出了双向LSTM（BLSTM）与动态贝叶斯网络（DBN）结合，用于上下文敏感的关键字检测。

5.10.4 Variational Bi-LSTM

Shabanian等人提出了变分双向LSTM（Variational Bi-LSTM），它是双向LSTM的一个变体。它使用变分自编码器（VAE）在LSTM之间创建一个信息交换通道，以学习更好的表征。

5.11 谷歌神经机器翻译

Wu等人提出了名为"谷歌神经机器翻译"（GNMT）的自动翻译系统，它结合了编码器网络、解码器网络和注意力网络，遵循常见的序列到序列学习框架。

5.12 Fader Network

Lample等人提出了Fader网络，这是一种新型的编码器-解码器架构，它通过改变图像的属性值来生成真实的、变化后的新图像。

5.13 超网络

Ha等人提出的超网络（Hyper Networks）能为其他神经网络生成权重，比如静态超网络卷积网络、用于循环网络的动态超网络。Deutsch则使用超网络来生成整个神经网络。

5.14 Highway Networks

Srivastava等人提出了高速路网络（Highway Networks），它通过使用门控单元来学习如何管理信息。跨多个层次的信息流被称为"信息高速路"。

5.14.1 Recurrent Highway Networks

Zilly等人提出了循环高速路网络（RHN），它扩展了LSTM架构，在循环过渡中使用了Highway层。

5.15 Highway LSTM RNN

Zhang等人提出了高速路长短期记忆网络（HLSTM RNN），它在相邻层的内存单元之间扩展了具有封闭方向连接（即Highway）的深度LSTM网络。

5.16 长期循环CNN

Donahue等人提出了长期循环卷积网络（LRCN），它使用CNN进行输入，然后使用LSTM进行递归序列建模并生成预测。

5.17 深度神经SVM

Zhang等人提出了深度神经SVM（DNSVM），它将支持向量机（SVM）作为深度神经网络的顶层分类器。

5.18 卷积残差记忆网络

Moniz和Pal提出了卷积残差记忆网络，将记忆机制并入CNN。它用一个LSTM机制来增强卷积残差网络。

5.19 分形网络

Larsson等人提出分形网络（FractalNet），作为残差网络的一个替代方案。他们声称可以训练超深度的神经网络，而不需要依赖残差学习。分形是通过简单的扩展规则生成的重复架构。

5.20 WaveNet

van den Oord等人提出了用于生成原始音频的深度神经网络WaveNet。它由一堆卷积层和softmax分布层组成，用于输出。Rethage等人随后提出了一个WaveNet模型用于语音去噪。

5.21 指针网络

Vinyals等人提出了指针网络（Ptr-Nets），通过使用一种称为"指针"的softmax概率分布，来解决输出可变大小字典的问题。

深度生成模型

在这一节，我们简要讨论另一类深度架构，它们与深度神经网络一样使用多个抽象层和表示层，也被称为深度生成模型（DGM）。Bengio解释了诸如玻尔兹曼机（BM）和受限玻尔兹曼机（RBM）等深层架构及其变体。Goodfellow等人则详细解释了深度生成模型，包括受限和非受限的玻尔兹曼机及其变种、深度玻尔兹曼机、深度信念网络（DBN）、定向生成网络和生成随机网络等。

Maaløe等人提出了辅助的深层生成模型，通过引入辅助变量来扩展模型。这些辅助变量利用随机层和跳跃连接生成变分分布。Rezende等人则开发了一种深度生成模型的单次泛化方法。

6.1 玻尔兹曼机

玻尔兹曼机是学习任意概率分布的连接主义方法，利用最大似然原则进行学习。

6.2 受限玻尔兹曼机

受限玻尔兹曼机（RBM）是马尔可夫随机场的一种特殊类型，包含一层随机隐藏单元（即潜变量）和一层可观测变量。Hinton和Salakhutdinov曾提出一种利用RBM进行文档处理的深度生成模型。

6.3 深度信念网络

深度信念网络（DBN）是具有多个潜在二元或真实变量层的生成模型。Ranzato等人利用DBN建立了用于图像识别的深度生成模型。

6.4 深度朗伯网络

Tang等人提出了深度朗伯网络（DLN），这是一个多层次的生成模型，其中的潜在变量是反照率、表面法线和光源。DLN是朗伯反射率与高斯受限玻尔兹曼机和深度信念网络的结合。

6.5 生成对抗网络

Goodfellow等人提出的生成对抗网络（GAN），可以说是近年来最具影响力的创举之一。它通过一个对抗过程来评估生成模型。GAN架构由一个生成模型和一个与其对抗的判别模型（用于学习数据分布）组成。此后，Mao、Kim等人对GAN提出了更多的改进。Salimans等人也提出了几种训练GANs的有效方法。

6.5.1 拉普拉斯生成对抗网络

Denton等人提出了一种深度生成模型，叫做拉普拉斯生成对抗网络（LAPGAN），它利用GAN方法，在拉普拉斯金字塔框架中使用卷积网络。

6.6 循环支持向量机

Shi等人提出了循环支持向量机（RSVM），它利用RNN从输入序列中提取特征，然后用标准SVM进行序列级的目标识别。

训练和优化技术

接下来，我们简要概述一些用于正则化和优化深度神经网络（DNN）的核心技术。

7.1 Dropout

Srivastava等人提出的Dropout，是一种防止神经网络过拟合的经典方法。它通过向隐藏单元添加噪声来实现神经网络模型的平均正则化。在训练过程中，它会随机从神经网络中抽取出部分单元和连接。Dropout可以应用于图形模型（如RBM），也可以用于任何类型的神经网络。近期还出现了针对RNN的改进版本，如Fraternal Dropout。

7.2 Maxout

Goodfellow等人提出了Maxout，这是一种与Dropout配合使用的新型激活函数。Maxout的输出是一组输入的最大值，有利于Dropout的模型平均效果。

7.3 Zoneout

Krueger等人提出了针对RNN的正则化方法Zoneout。Zoneout在训练中随机使用噪声，类似于Dropout，但它保留的是隐藏单元而不是将其丢弃。

7.4 深度残差学习

He等人提出的深度残差学习框架，即我们前面提到的ResNet，通过残差连接有效解决了训练误差过大的问题。

7.5 批归一化

Ioffe和Szegedy提出的批归一化，通过减少内部协变量移位来加速深度神经网络的训练。Ioffe后来还提出了批重归一化，对之前的方法做了进一步扩展。

7.6 Distillation

Hinton等人提出了知识蒸馏的方法，可以将一个由高度正则化模型（如神经网络）集合所学到的知识，转化到一个更小的压缩模型中。

7.7 层归一化

Ba等人提出了层归一化，特别针对RNN等深度神经网络的加速训练，解决了批归一化在某些场景下的局限性。

深度学习框架

目前有大量的开源库和框架可供深度学习使用，其中大多数是为Python语言构建的。常见的包括Theano、TensorFlow、PyTorch、PyBrain、Caffe、Blocks and Fuel、CuDNN、Honk、ChainerCV、PyLearn2、Chainer、Torch等。

深度学习应用

自深度学习兴起以来，DL方法以监督、非监督、半监督或强化学习的形式，几乎渗透到了每一个领域。从最初的分类和检测任务起步，DL的应用正在迅速扩展。典型的应用场景包括：图像分类与识别、视频分类、序列生成、缺陷分类、文本/语音/图像/视频处理、文本分类、语音识别与口语理解、文本到语音生成、句子分类与建模、文档和句子处理、图像文字说明生成、照片风格迁移、图像着色与问答、视觉识别与描述、目标识别、人脸识别与验证、视频与动作识别、机器翻译、命名实体识别、对话智能体、癌症检测，乃至机器人控制等。

Deng和Yu在他们的工作中提供了一个非常详细的列表，涵盖了DL在语音处理、信息检索、目标识别、计算机视觉、多模态和多任务学习等领域的应用。

值得一提的是，利用深度强化学习（DRL）来掌握游戏已成为一个热门方向。从AlphaGo到AlphaGo Zero，人工智能机器人通过DNN和DRL，在战略游戏中击败了人类世界冠军和大师级选手。这些成就，很多仅从几个小时的自我对弈训练就开始实现了。

讨论

尽管深度学习取得了巨大成功，但它依然前路漫漫，还有很多地方需要改进。局限性同样显而易见。例如，Nguyen等人表明，DNN在识别图像时容易被欺骗。Yosinski等人则提出了关于学习特征可迁移性的问题。Huang等人提出了神经网络攻击防御的架构，认为未来的工作需要重点防御这类攻击。Zhang等人则提出了一个理解深度学习模型的实验框架，认为理解深度学习本身需要重新思考和概括。

Marcus在2018年对深度学习的作用、局限性和本质进行了一次重要的回顾。他尖锐地指出了DL方法的诸多局限性：需要更多的数据、容量有限、不能处理层次结构、无法进行开放式推理、不能充分透明、难以与先验知识集成，也无法区分因果关系。他还提到，DL假设了一个稳定的世界，以近似方法实现，工程化很困难，并且存在过度炒作的潜在风险。Marcus认为，DL需要重新概念化，应在非监督学习、符号操作和混合模型中寻找更多可能性，并从认知科学和心理学中汲取灵感，去迎接更大胆的挑战。

结论

尽管深度学习以前所未有的速度推动着世界的发展，但仍有太多值得我们去探索的未知。我们仍然无法完全理解深度学习本身——我们如何让机器变得更聪明，更接近甚至超越人类智慧，或者像人类一样学习？DL一直在解决无数问题，并将技术应用到方方面面。但人类依然面临许多亟待解决的难题，例如饥饿、粮食危机、癌症和致命疾病。我们希望，深度学习和人工智能将更加致力于通过开展最困难的科学研究，来改善人类的生活质量。最后，也是最重要的，愿我们的世界因为这项技术而变得更加美好。