1 介绍

不妨回想一下人类感知世界的方式——眼睛捕捉物体的形状与色彩，耳朵聆听声音的节奏与旋律，手指感受质感的温度与纹理，鼻子嗅到气味的层次变化，舌尖品味味道的细腻差别。每一种“模态”都是信息的一种独特载体。当一个研究问题同时涉及多种模态时，它便天然具备了多模态的属性。为了让机器真正理解我们身处的这个复杂世界，它必须学会从这些多模态信号中同步提取并整合信息，而这正是多模态深度学习研究的核心目标。

举一个简单的例子：一张图片往往配有文字标签和说明，而一段文本中也可能嵌入图像来让主旨更加清晰。不同模态的数据在统计特性上差异巨大——它们共同构成了“多模态大数据”，其中既包含模态内部的信息，也包含跨模态的关联。这对传统的数据融合方法来说，构成了不小的挑战，尤其是在多模态数据融合的实践中，如何有效处理异构信息成为关键难题。

在这篇综述中，我们将梳理一系列开创性的深度学习模型，看看它们是如何融合这些多模态大数据的。随着研究的深入，一些挑战也逐渐浮出水面。本文的目标是为读者（无论你来自哪个领域）提供多模态深度学习融合方法的基本原理，同时激发对这一方向更深入的探索与创新。

通过多模态深度学习来结合不同的信息类型，从直觉上看相当吸引人。但实际操作中，如何应对不同模态的噪声水平差异、以及模态之间的冲突，才是真正的难点。更棘手的是，不同的模态对预测结果的贡献权重千差万别。实践中最常见的做法是把不同输入的高级嵌入拼接到一起，然后接一个 softmax 层。但这样做的问题在于，它默认所有子网络或模态都同等重要——这在真实场景中几乎不可能成立。因此，更合理的方式是为每个模态引入一个可学习的加权系数（Theta），让模型自己决定不同输入的贡献程度，从而提升多模态融合的灵活性与准确率。

2 具有代表性的深度学习架构

本节我们介绍用于多模态数据融合的几种代表性深度学习架构，包括它们的定义、前馈计算、反向传播计算以及典型变体。表1给出了概览。

表1：代表性深度学习模型摘要

2.1 深度信念网络（DBN）

受限玻尔兹曼机（RBM）是深度信念网的基础模块。RBM 是玻尔兹曼机的一个特化版本（见图1），由一个可见层和一个隐藏层组成。可见层和隐藏层之间是全连接，但同一层内部没有连接。RBM 本质上是一个生成式图模型，它通过能量函数来捕捉可见单元和隐藏单元之间的概率分布，因此常被用于无监督特征学习。

近年来，研究人员提出了多种改进的 RBM。例如，Chen 等人（2017）设计了稀疏玻尔兹曼机，基于分层潜在树来学习网络结构，以避免过拟合。Ning 等人（2018）将快速对比发散算法引入 RBM，用基于边界的滤波和 delta 积来减少冗余的点积计算。Ju 等人（2019）则提出了张量 RBM，通过张量分解来避免维度灾难，同时保护多维数据的内在结构，特别适用于高维多模态数据。

深度信念网络（DBN）是一种典型的深度架构，由多个 RBM 堆叠而成（Hinton & Salakhutdinov, 2006）。它采用预训练+微调的训练策略：首先在无监督方式下贪婪地逐层训练每个 RBM，然后利用监督信息对标签的判别信息进行微调。DBN 能够学习可见数据与对应标签之间的联合分布，广泛应用于数据降维、表示学习和语义哈希。图1展示了典型的 DBN 结构。

图 1：

2.2 堆叠式自动编码器（SAE）

堆叠式自动编码器（SAE）是编码器-解码器架构下的经典深度学习模型。它通过无监督-监督方式将原始输入逐层转换为中间表示，从而捕获输入的简洁特征。SAE 在降维（Wang 等人, 2016）、图像识别（Jia 等人, 2018）和文本分类（Chen & Zaki, 2017）等领域都有出色表现。图2展示了典型的 SAE 结构。

图 2：

2.3 卷积神经网络（CNN）

DBN 和 SAE 都属于全连接神经网络——每一层的每个神经元都与前一层的所有神经元相连。这种拓扑结构会产生大量连接，训练时需要大量的样本来避免过拟合和欠拟合，计算开销很大。更重要的是，全连接结构忽略了特征的位置信息，因此很难处理高维数据，比如大尺寸图像和音频数据。这也是为什么在多模态融合中，CNN 被广泛用于处理视觉和空间信息。

卷积神经网络（CNN）则要特殊得多：它利用了数据的局部拓扑结构。CNN 除了全连接层外，还包含卷积层和池化层。卷积和池化操作实现了局部感受野和参数约简，大幅降低了模型的复杂度。和 DBN、SAE 一样，CNN 也通过随机梯度下降算法训练。它在医学图像识别（Maggiori 等人, 2017）和语义分析（Hu 等人, 2014）中取得了巨大进展。图3展示了典型的 CNN 结构。

图 3：

2.4 循环神经网络（RNN）

循环神经网络（RNN）专门用于处理串行数据。与深度前向架构（DBN、SAE、CNN）不同，RNN 不仅把输入映射到输出，还通过隐藏单元之间的连接来传递隐藏状态（Graves & Schmidhuber, 2008）。这种隐藏连接让 RNN 能够对时间依赖性进行建模，从而在时间维度上共享参数。RNN 在语音分析（Mulder 等人, 2015）、图像标题生成（Xu 等人, 2015）和语言翻译（Graves & Jaitly, 2014）中表现优异。它的计算也包括前向传播和反向传播：前向时同时获取当前输入和上一时刻的隐藏状态；反向传播则使用时间反向传播算法（BPTT）来累积时间步的损失。图4展示了典型的 RNN 结构。

图 4：

3 面向多模态数据融合的深度学习

本节我们回顾最具代表性的多模态数据融合深度学习模型，从模型任务、模型框架和评估数据集三个角度展开。根据使用的深度学习架构，它们分为四类。表2给出了概览。

表2：代表性多模态深度学习模型摘要

3.1 基于深度信念网络的多模态数据融合

3.1.1 示例1

Srivastava 和 Salakhutdinov（2012）提出了一种基于深度玻尔兹曼机的多模态生成模型，通过拟合图像、文本、音频等多种模态的联合分布来学习多模态表示。该模型为每个模态构建独立的 DBN 模块，采用无监督逐层初始化，并基于 MCMC 的近似方法进行训练。评估时执行了缺失模态生成、联合表示推断和判别等任务，验证了学习到的表示是否满足所需属性，展示了多模态数据融合在生成式建模中的潜力。

3.1.2 示例2

为了在早期有效诊断阿尔茨海默病，Suk 等人（2014）提出了一种多模态玻尔兹曼模型。该模型先用 DBN 为每个模态学习深度表示（将领域特定的表示转化为分层抽象表示），然后将这些表示的线性组合串联起来，在上面构建单层 RBM 来学习多模态联合分布。在 ADNI 数据集上针对三种典型诊断进行的评估表明，该方法达到了当时最先进的诊断准确率，验证了多模态深度学习在医疗诊断中的有效性。

3.1.3 示例3

Ouyang 等人（2014）设计了一个多源深度学习模型来准确估计人体姿态。该模型从混合类型、外观得分和变形三种模态中提取高阶空间中的联合分布。先从图像结构模型中提取这三种模态，再分别输入到两层 RBM 中，以捕获每个模态的高阶姿态空间抽象表示。然后，将三种高级表示的串联向量再次通过 RBM 学习最终的人体姿态表示。训练时引入了一个同时考虑身体位置和人体检测的任务特定目标函数。在 LSP、PARSE 和 UIUC 数据集上，该方法带来了最高 8.6% 的改进，充分体现了多模态融合在复杂视觉任务中的优势。

最近也涌现了一些新模型。例如，Amer 等人（2018）提出了一种用于序列事件检测的混合方法，采用条件 RBM 提取带判别标签信息的跨模态特征。Al-Waisy 等人（2018）则用基于 DBN 的模型对人脸的 Curvelet 变换局部手工艺特征进行多模态分布建模，实现了局部特征与深度特征的融合，进一步拓展了多模态深度学习的应用边界。

3.1.4 小结

基于 DBN 的多模态模型利用概率图网络将模态特定的表示映射到共享空间中的语义特征，然后对模态间的联合分布建模。它们在无监督、半监督和监督学习中都表现出灵活性和鲁棒性，适合捕获输入数据的信息特征。不过，这类模型忽略了多模态数据中的空间和时间拓扑结构，因此在实际应用中常需结合其他架构来弥补。

3.2 基于堆叠自编码器的多模态数据融合

3.2.1 示例4

Ngiam 等人（2011）提出的多模态深度学习是基于 SAE 的代表性工作。该模型旨在解决两个问题：跨模态表征学习和共享模态表征学习。前者利用其他模态的知识来提升单模态表示，后者在中级层面学习模态间的复杂相关性。模型设计了三种学习场景——多模态、跨模态和共享模态学习，如表3和图6所示。

图 6：多模态、跨模态和共享模态学习的架构

表3：多模态学习的设置

在多模态学习场景中，音频频谱图和视频帧被线性拼接成一个向量，输入到稀疏受限玻尔兹曼机（SRBM）中学习相关性。但单层 SRBM 只能学到浅层的联合表示，因此后续改用中级表示的串联向量作为输入，效果更好。跨模态学习场景则提出深度堆叠多模态自编码器，明确学习模态间关系：训练时同时输入音频和视频，但测试时只输入其中一种。共享模态表示场景受去噪自编码器启发，引入模态特定的深度堆叠多模态自编码器，当某一模态缺失时仍能探索联合表示。在 CUAVE 和 AVLetters 数据集上的实验验证了模型的性能，证明了自编码器架构在多模态融合中的有效性。

3.2.2 示例5

Hong 等人（2015）为了从图像序列（特别是视频）中生成视觉上有效的人体骨骼，提出了一种多模态深度自动编码器。训练采用三阶段策略：首先，利用多视图超图低秩表示从图像特征（如 HOG 和形状上下文）中构建内部二维表示；接着，训练单层自动编码器学习抽象表示，并通过重建二维特征来恢复三维姿态，同时用类似方式学习三维姿态的抽象表示；最后，用神经网络最小化两个模态互表示之间的平方欧氏距离，学习二维图像与三维姿态之间的相关性。整体模型通过初始化和微调两个阶段训练，初始化时从各子模型复制参数，再用随机梯度下降微调，从而实现了多模态数据的高效融合。

3.2.3 小结

基于 SAE 的多模态模型采用编码器-解码器架构，通过无监督重构提取内在的模态特征和跨模态特征。由于是全连接模型，需要训练大量参数，并且同样忽略了多模态数据中的空间和时间拓扑结构，因此在大规模多模态数据场景下需注意计算效率。

3.3 基于卷积神经网络的多模态数据融合

3.3.1 示例6

Ma 等人（2015）提出了一个多模态卷积神经网络来模拟图像和句子之间的语义映射分布。该网络采用端到端架构，设计了三级融合策略——词级、阶段级和句子级。架构包含图像子网、匹配子网和多模态子网：图像子网（如 AlexNet 或 Inception）将图像编码为简洁表示；匹配子网则对图像内容与句子中单词片段的关联进行建模，从而实现了图像与文本的深度语义对齐。

3.3.2 示例7

Frome 等人（2013）将视觉识别系统扩展到无限类别，提出了一个多模态卷积神经网络，包含语言子模型（基于 skip-gram）和视觉子模型（如 AlexNet）。语言子模型将文本映射到密集语义空间，视觉子模型在 ImageNet 上预训练以捕获视觉特征。两者通过线性投影层组合，并使用一种结合点积相似度和铰链秩损失的新损失函数进行训练，使得正确的图像-标签对获得高相似度。该模型在 ImageNet 上达到了当时最先进的性能，展示了 CNN 在多模态融合中的强大能力。

3.3.3 小结

基于 CNN 的多模态模型通过局部感受野和池化操作学习模态间的局部多模态特征，显式地建模了空间拓扑结构，且参数数量远少于全连接模型。这使得 CNN 特别适合处理图像、视频等空间信息丰富的多模态数据。

3.4 基于循环神经网络的多模态数据融合

3.4.1 示例8

Mao 等人（2014）提出了多模态递归神经网络（MRNN）来生成图像标题。该网络解决了以往工作只能检索数据库中现成标题的局限，能够根据给定的单词和图像学习语义空间上的联合分布，并逐字生成新句子。MRNN 由语言子网（包含两层词嵌入和一层循环层）、视觉子网（深度 CNN）和多模态子网（学习语言和视觉表示的联合语义分布）组成，如图7所示，为图像描述任务提供了有效的多模态解决方案。

图 7：

3.4.2 示例9

Karpathy 和 Li（2017）提出了一个多模态对齐模型来解决视觉识别系统无法生成丰富图像描述的问题。首先，设计了一个视觉语义嵌入模型：用区域 CNN 获取图像表示，用双向 RNN 将句子编码为与图像表示同维的向量，再用马尔可夫随机场生成多模态数据集。然后，基于该数据集训练多模态 RNN，由 CNN 编码图像，RNN 编码图像特征和句子。该模型在 Flickr 和 MSCOCO 数据集上达到了当时最先进的性能，体现了 RNN 在处理时序多模态数据中的独特优势。

3.4.3 小结

基于 RNN 的多模态模型借助隐藏状态传递来分析多模态数据中的时间依赖性，并通过时间反向传播算法训练参数。但由于隐藏状态的计算顺序依赖，很难在高性能设备上并行化，因此在处理长序列或大规模多模态数据时需注意优化策略。

4 总结与展望

我们将当前的多模态数据深度学习模型总结为四类：基于 DBN、SAE、CNN 和 RNN。这些开创性工作已经取得了不少进展，但整体仍处于初步阶段，还有许多挑战待解决。

第一，多模态数据融合深度学习模型中存在大量自由权重，尤其是一些对目标任务影响不大的冗余参数。为了训练这些参数，需要输入海量数据并依赖反向传播算法，计算量密集且耗时。如何结合现有的压缩策略设计新的多模态深度学习压缩方法，是一个值得探索的方向，有助于提升模型在真实场景中的部署效率。

第二，多模态数据不仅包含跨模态信息，还包含丰富的模态内信息。将深度学习和语义融合策略结合起来，可能是应对这些挑战的一条路径，能够更充分地挖掘多模态数据中的潜在价值。

第三，动态环境中采集的多模态数据具有不确定性。随着动态多模态数据的爆炸式增长，设计用于数据融合的在线和增量多模态深度学习模型，是亟需解决的问题，这将推动多模态技术在实际应用中的落地与普及。