人工智能的进化：从规则驱动到数据驱动

人工智能的发展历程几乎与计算机同步，其起源可追溯至20世纪50年代。然而，早期的人工智能方法与当今的先进技术之间存在巨大差异。

早期，计算机科学家曾试图将所有可用的知识和规则录入计算机，希望模拟人类的推理能力——正是这种推理能力赋予了人类强大的认知水平。然而，当遇到所谓的“常识性问题”时，这一计划彻底受挫。人类的认知中包含大量隐性知识，这些知识难以转化为明确的事实和逻辑陈述。

从根本上说，深度学习算法存在不可靠性——当输入数据超出训练数据分布范围时，模型会出错，且不会主动提示“可能出错”。这些错误常被忽略。在许多应用场景中，这并非严重问题，但直接限制了此类系统的适用范围。

1. 灵活性

深度学习高度依赖训练数据质量。例如，如果数据包含性别、种族、残疾等方面的刻板印象，最终模型必然充满偏见与不平等。基于历史数据训练的算法，可能进一步加剧现有的排斥和歧视现象。

更棘手的是，深度学习系统本质上是难以解释的黑箱——我们几乎无法完全理解它如何从特定输入推导出特定输出（例如，输入数据中的哪些特征导致了最终结果）。

正是这种黑箱特性，给人工智能带来了复杂的道德、法律与安全挑战。例如，在法律场景中利用人工智能做出重大裁决，人们自然会质疑：如何确保司法公正？问责制与透明度如何保障？

要在现有局限与固有问题之间寻求平衡，仍需大量研究来改进深度学习，提升其功能。

2. 建模问题

工业界曾流行一种观点：“在大数据环境下，简单的机器学习模型比复杂模型更有效。”在实际的大数据应用中，许多案例确实印证了这一点——最简单的模型被广泛采用。

然而，深度学习的快速发展迫使人们重新审视这一观点。因为在大数据场景下，往往只有表达能力足够强、结构足够复杂的模型，才能充分挖掘海量数据中蕴含的信息。深度模型越强大，从大数据中提取的价值通常也越大。大数据需要深度模型。以语音识别为例，它涉及典型的大数据机器学习问题——声学建模面临十亿到千亿级别的样本训练。

Google曾在一个语音识别实验中发现：使用DNN训练后，训练样本上的预测误差与测试样本的预测误差基本相当。而在普通模型上，训练误差通常明显小于测试误差。原因在于：大数据包含丰富的信息维度，使得DNN这种高容量复杂模型反而处于欠拟合状态。这恰好证明大数据需要深度学习。

反观浅层模型，它们依赖人工经验提取样本特征，主要功能是分类或预测。这种情况下，特征质量直接决定系统整体性能。要找到好特征，开发人员必须深入理解问题，这往往需要反复试错，花费数年时间。换言之，人工设计样本特征在可扩展性方面非常不理想。

3. 工程问题

对于从事深度学习技术研发的人员而言，首要任务是解决如何利用并行计算平台实现海量数据训练。深度学习需要频繁迭代，传统大数据平台难以适应这一需求。随着互联网服务不断深入，海量数据训练的重要性日益突出。

现有的DNN训练技术通常采用随机梯度下降法，但该方法无法在多台计算机之间并行。使用CPU进行传统DNN模型训练，耗时极为漫长——训练一个声学模型就需要数月之久。这种速度显然无法满足互联网服务的实时性需求。目前，提升模型训练速度已成为许多大型企业研发团队的重点方向。例如，谷歌构建的DistBelief深度学习并行计算平台，通过异步算法实现了随机梯度下降的并行化，显著加快了训练速度。

不过，工程方面虽有进展，但距离真正满足各类服务需求，仍有很长的路要走。