本文将深入解析人工智能领域的最新研究进展与未来发展方向，涵盖字节跳动人工智能实验室的突破性成果以及脑启发计算的全新范式。无论您是AI从业者、研究者还是技术爱好者，都能从中获得清晰的脉络与实用的洞察。

前言：从计算机到人脑的统一计算理论

冯·诺伊曼的《计算机和人脑》是人类历史上第一部将计算机与人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制，为未来建立统一的计算理论奠定基础。事实上，构建计算机和人脑的统一计算理论是冯·诺伊曼晚年研究的主要课题。他所关注的统一计算理论，也应是人工智能领域的核心问题。从人工智能视角看，人脑是智能系统的代表，我们应该从人脑的计算机制中获得启发，开发出未来的智能计算理论与方法。

本文首先通过字节跳动人工智能实验室的一些研究成果，介绍最前沿的人工智能技术，总结近一两年来人工智能领域的研究发展动态。之后分享我们对人工智能领域长期发展的看法，主张人工智能的未来需要新的计算范式和新的计算理论。具体来说，脑启发计算（brain-inspired computing）应是重要的探索方向；从信息、数据、模型角度出发的学习理论研究至关重要。

人工智能最新动态

近一两年来，人工智能特别是深度学习的研究又取得了令人瞩目的进展，主要体现在以下几个方面。Transformer模型及其变种被广泛应用到各个领域，包括语言、语音、图像。人工智能各子领域的差异更多地体现在数据和应用问题上，使用的模型和算法趋于一致。基于大数据的模型预训练或自监督学习被广泛使用，成为各领域学习和推理的基础。深度学习实现的是类推推理，如何实现逻辑推理也成为研究的重要课题。人工智能技术被广泛应用到各个领域，在实际应用中的可信赖AI问题也成为关注的焦点，包括深度学习的可解释性、公平性等。深度学习技术还被推广应用到其他领域，典型的是科学智能（AI for Science），即用深度学习技术解决物理、化学、生物、医药学问题的新方向。总结趋势如下：

• ·Transformer模型一统天下
• ·视觉、听觉、语言处理的区别更多在于数据
• ·预训练、自监督学习越加重要
• ·从类推推理到逻辑推理
• ·可信赖的AI广受关注
• ·扩展到科学智能等新领域

字节跳动人工智能实验室在自然语言处理、语音处理、计算机视觉、科学智能、机器人、机器学习公平性等各个领域进行技术研究与开发。这里介绍几个今年发表的工作，以展示人工智能最近的发展动向：非自回归模型DA-Transformer，端到端语音到文本翻译模型ConST，多颗粒度的视觉语言模型X-VLM，图片和文本统一生成模型DaVinci，语言理解模型Neural Symbolic Processor。

更快的Transformer模型

图1 DA-Transformer的架构

Transformer最初作为机器翻译模型被提出，后来被广泛应用于人工智能各个领域。Transformer的一个大问题是解码基于自回归，计算需要一环扣一环地进行，速度较慢。为解决这个问题，非自回归模型成为近期研究的热点。目前提出的非自回归模型在机器翻译精度上尚未能与原始Transformer匹敌。我们提出的DA-Transformer在机器翻译上首次达到了与Transformer相同的精度，而处理速度提高了7~14倍[1]。DA-Transformer不仅可用于机器翻译，还可用于任意的序列到序列任务。

DA-Transformer (Directed Acyclic Graph Transformer) 的核心思想是在解码层的最后一层构建有向无环图，如图1所示。有向无环图的节点表示生成翻译（目标语言句子）的状态，边表示状态之间的转移。边上有状态转移概率，节点上有表示向量，用于生成目标语言单词。解码器的输入是目标语言单词位置的索引。有向无环图的节点对应解码器的输入，有向边只能从前面位置指向后面位置。从起始位置到终止位置的一条路径对应一个翻译状态的序列，在一条路径上可以产生目标语言句子（单词序列）。其他部分的结构与Transformer相同。

DA-Transformer的解码基于并行处理。在解码器输入的各个位置上进行并行计算，得到解码器最后一层有向无环图节点上的表示向量。在此基础上计算各边上的转移概率，从每个位置出发到达其后位置的转移概率是归一化的。该过程的计算速度非常快。DA-Transformer的训练也基于翻译数据进行极大似然估计。此时一个翻译（目标语言句子）可由有向无环图的多条路径产生，翻译的生成概率需要对所有路径求和。使用动态规划可以高效地完成一个翻译概率（似然函数）的计算。DA-Transformer的推理可使用多种算法。最简单的贪心算法从起始位置开始，从左到右动态递归地计算到每个位置概率最大的翻译，直到生成句子终止符为止。

小提示：DA-Transformer的并行解码特性使其在实时翻译或大规模序列生成任务中极具优势，特别适合延迟敏感的应用场景。

语言和语音的融合：ConST

传统的语音到文本翻译通过语音识别和文本机器翻译的串联实现。该方法的缺点是推理过程中的错误会累加。ConST可以直接将英语语音翻译成中文文本，且在语音到文本翻译中达到了SOTA（state of the art）效果[2]。

ConST的架构由Transformer的编码器和解码器组成（见图2）。编码器既可接受语音输入，也可接受文本输入。输入为语音时，有特殊的前处理模块，使用wav2vec2和CNN。输入为文本时，处理与一般Transformer相同。用同一系统实现语音到文本的语音识别、文本到文本的机器翻译、语音到文本的语音翻译。训练时进行语音识别、文本翻译、语音翻译的多任务学习。ConST的最大特点是，使用对比学习将语义相同的语音输入表示和文本输入表示拉近，可理解为对表示学习进行了正则化。图2的下图左边直观展示了未使用对比学习的表示，右边展示了使用对比学习后的表示。

图2 ConST的架构与语义空间

小提示：ConST的对比学习机制有效抑制了语音识别和翻译之间的错误传播，显著提升了端到端语音翻译的鲁棒性。

视觉语言预训练模型：X-VLM

X-VLM以Transformer为基础，以文本-图片对数据作为输入进行预训练，得到视觉语言模型，可用于多种跨模态下游任务（见图3）[3]。具有多模态处理能力的视觉语言模型是近期研究热点。我们假设文本和图片对的内容是强关联的，文本描述图片内容，但描述是多颗粒度的。文本可能描述图片整体、区域或物体，如图3所示。这种基础模型对visual question answering和visual grounding等任务更加适用，也可用于其他任务。X-VLM是目前视觉语言各类任务的SOTA。

图3 X-VLM的架构和英语解题示例

之前的方法通常在训练之前或训练之中使用物体检测，而X-VLM完全不使用。从已有数据中导出不同颗粒度的文本-图片对数据，包括物体名称和图像中框出物体的对应数据。模型由文本编码器、图像编码器、交叉编码器组成。文本编码器和图像编码器是Transformer的编码器，交叉编码器有从文本到图像的注意力计算，文本表示作为query。训练有四个目标，包括边框预测、掩码语言模型、匹配、对比学习。边框预测是掩盖物体的边框，从文本-图片对数据中还原边框；掩码语言模型掩盖一些token，再从文本-图片对数据中还原；匹配判断文本-图片数据的匹配程度；对比学习进一步在batch数据中拉近语义相近的文本和图片的表示。X-VLM已用于多个实际应用，比如图3下的小学英语解题。输入带图的英语填空题，系统可自动完成填空，这个任务之前非常困难。

最近的X²-VLM将X-VLM扩展，也可处理视频和多语言。实验结果显示，在base和large规模上，X²-VLM是语言视觉任务的最新SOTA[4]。

小提示：X-VLM无需显式物体检测，通过多粒度对齐降低了预训练成本，适合跨模态理解任务。

DaVinci：文本与图像的统一生成

DaVinci是更偏文本和图片生成的多样化视觉语言处理模型[5]。文本-图片对数据作为输入，假设文本-图片是强关联的，文本描述图片内容。DaVinci一个模型完成了从文本到图片生成、从图片到文本生成，甚至其他理解和生成等许多任务，在这些任务上达到或接近SOTA结果。

图4 DaVinci的架构和图片生成示例

DaVinci的模型是Transformer，如图4上图所示，预训练采用prefix language modeling方法。预训练时，输入是文本-图片对，将其中的部分文本或部分图片掩盖，然后让数据通过Transformer的编码器和解码器，将被掩盖的内容还原。事先对图片进行image tokenizing处理，每个图片的token由一个离散的编码表示，即对图像进行了离散化。还原实际是生成被掩盖部分的图片token，此时未被掩盖的上下文（可能是文本或图片）帮助生成。未被掩盖的部分就是prefix。DaVinci的模型虽然简单，但能实现高质量的文本和图片生成。例如，图4中的下图是给定文本DaVinci自动生成的图片示例。DaVinci论证了使用同一个模型能够同时学习“写”（基于图片的文本生成）和“画”（基于文本的图像生成），并且这两种能力能够互相促进。

小提示：DaVinci的prefix语言建模方法天然支持多模态生成任务，在图文双向生成场景中具有极高的灵活性和通用性。

深度学习加逻辑推理：Neural Symbolic Processor

图5 NSP的架构，由系统1和系统2组成

这里考虑自然语言理解问题，具体是文本蕴含任务。例如，"Sam有10美元，他花了6美元" 这句话和 "Sam有4美元" 这句话存在蕴含关系。传统深度学习方法使用预训练语言模型BERT判断，可达到一定准确率，但许多蕴含关系的判断需要逻辑推理，包括数字推理。纯深度学习的方法并不能保证做得很好。推测人分别使用系统1和系统2进行类推推理和逻辑推理，然后进行综合判断。

NSP（neural symbolic processing）是模仿人的自然语言理解系统，也包含系统1和系统2（见图5）[6]。核心思想是将输入的文本通过两路处理，分别进行类推推理和逻辑推理。先将输入通过编码器转换成基于向量的内部表示。之后，在系统1里基于内部表示进行预测，与基于BERT的传统深度学习方法相似。在系统2里将内部表示进行解码，产生基于符号的内部表示，称之为程序，接着执行程序；可以认为对输入文本进行了翻译，转换成程序。最后，将两路的处理结果进行集成，产生最终结果，集成使用MoE模型。编码器和解码器都基于预训练语言模型BART。例如，针对上面的例子，系统2产生并执行程序，即将第1个数字减去第2个数字等于第3个数字（M1-M2=N1）。这种机制保证无论数字具体是多少，都可以进行同样的推理。系统1同时进行基于深度模型（编码器）的预测。两者的判断又通过MoE得到最终集成结果。NSP在需要逻辑推理的语言理解任务上，相比传统方法在准确率上有大幅提升。

小提示：NSP借鉴人脑系统1（直觉）和系统2（逻辑）的协同机制，为需要数值推理、常识推理的自然语言理解提供了有效路径。

人工智能需要怎样的计算范式

深度学习虽然取得了很大进展，但相比人脑的学习和推理能力还相差甚远，主要体现在以下几个方面。深度学习善于类推推理，但需要逻辑推理时往往无能为力。深度学习依然依赖于大模型、大数据和大算力，数据效率和能源效率要比人低很多。更重要的是，学习和推理往往只能针对具体任务进行，而不像人脑那样拥有通用的学习和推理能力。

展望未来，在很长一段时间里机器学习，特别是深度学习仍将是人工智能的主体技术。另一方面，人工智能需要更大的突破，有必要研究和开发下一代的智能计算技术。我们认为，脑启发计算应该是未来发展的主要方向。最近Bengio、LeCun等也提出了类似的主张[7]。这里所说的脑启发计算并不是简单地模仿人脑，而是根据计算机的实际特点参考人脑的机制，构建机器的学习和推理智能系统，主体可能还是深度学习，但与深度学习又有本质不同，属于新的范式。脑科学家马尔将计算分为三个层面，分别是功能、算法和实现。脑启发计算更多地应该从功能层面借鉴人脑的机制，希望能解决样本效率、能源效率、逻辑推理等方面的问题，为领域带来更大的突破。下面通过几个例子说明我们所说的脑启发计算。

图6 大脑皮层中的主要脑区

人脑的信息处理分多个脑区，各个脑区相对独立，又相互关联（见图6）。例如，对自己祖母的记忆，包括视觉、听觉、语言等方面的信息，分别存储在不同的脑区。脑启发计算可以参考人脑的分区处理机制。深度学习中的MoE（mixture of experts）技术有一定的相关性。

图7 视觉处理的What通道和Where通道

人脑的视觉处理分为两个通道，分别是What通道和Where通道（见图7）。What通道负责识别物体的大小、形状、颜色，而Where通道负责识别物体的空间位置。基于深度学习的图像识别不将两者的信息加以区分，这可能导致学习效率降低。例如，在卷积神经网络的学习中，需要通过数据增强方法增加样本训练模型，以应对图像中物体的尺度不变性、旋转不变性。

图8 语言处理的布洛卡区和韦尼克区

人脑的语言处理在布洛卡区和韦尼克区同时进行，分别负责语法和词汇（见图8）。人的语言理解和生成是在两个脑区并行进行的。而目前基于Transformer的语言处理模型都没有将两者分开，可能导致训练需要更多样本。

图9 人脑信息处理的系统1和系统2

如上所述，人脑的信息处理由系统1和系统2组成（见图9）。如何实现包含系统1和系统2的智能系统，是人工智能的一大课题。Neural Symbolic Processor等采用的神经符号处理是一条路径，面向这个方向迈出了一小步。

图10 人生来就具基本的感知和认知能力

人的许多感知和认知能力是生来具有的，包括对物理法则、数量、概率等概念的认识，以及语言的习得和使用。当前的预训练、自监督学习从大量的无监督数据中自动学习基础模型，也可以认为学习到的对应着人生来具有的能力。没有必要假设人工智能系统需要将所有的能力都通过数据驱动、机器学习的方法获取。例如，知识图谱是一种高质量的结构化数据，可以直接提供给智能系统作为一种“生来具有的”资源使用。

常见问题1：脑启发计算就是仿生学吗？
答：不是简单的仿生。脑启发计算是在功能层面借鉴人脑的分区、双通道、系统1/系统2等机制，同时结合计算机的数字运算优势，而不是在物理结构上模仿神经元。目标是提高样本效率、能源效率和逻辑推理能力。

人工智能需要怎样的计算理论

人工智能的未来发展同时也需要更强大的机器学习理论指导。用传统的泛化上界解释深度学习现象已经明显遇到困难。深度学习及脑启发计算的现象通常非常复杂。我们认为，应该从信息、数据、模型等几个角度出发，建立新的深度学习及脑启发计算理论。

具体地，应该考虑以下问题：学习和推理过程中信息是如何流动的？数据中存在怎样的内在结构？模型有怎样的函数表示能力？最近的一些研究在这些方向取得了一定成果，值得大家关注。这里进行一个简单总结，也期待出现更完整全面的理论。也建议阅读马毅等最近的文章[8]。

信息瓶颈理论

机器学习和数据压缩是一枚硬币的两面。无监督学习的目标是给定数据X发现其内在结构X'。数据压缩是将数据X进行压缩得到表示X'，并且能从表示X'还原原始数据X。两者相互对应，可以认为数据压缩得到的表示X'就是无监督学习要得到的内在结构X'。监督学习的目标是学习从输入数据X到输出Y的映射。Tishby等提出的信息瓶颈理论从数据压缩的角度解释监督学习。将数据X进行充分压缩得到表示X'，使得表示X'对输出Y有充分准确的预测，将两者分别用互信息表示，进行以下优化：最小化X和X'之间的互信息，同时最大化Y和X'之间的互信息，就对应着监督学习。此时表示X'是对预测有用的特征，称作信息瓶颈。

图11 信息瓶颈理论解释神经网络学习

Tishby等使用信息瓶颈理论对神经网络学习的过程进行了分析，得到了一些有意思的分析结果[9]。考虑前馈神经网络的学习和推理中的信息流动。假设输入X和理想的输出Y的联合概率分布已知（理论上假设已知，对学习算法来说是未知的）。前馈神经网络的输入是X，输出是。前馈神经网络每层由一个随机变量表示。如图11所示，从输入层X到隐层，再从隐层到输出层，构成一个马尔可夫链，可由有向图表示。输入X和理想输出Y之间的关系由无向图表示。前馈神经网络预测时要保留输入X的信息，互信息减少或不变，满足数据处理不等式，当且仅当处理后是充分统计量时互信息不变。同时要对理想输出Y有预测能力，使得互信息尽量保持不变。信息瓶颈理论认为，学习的过程就是对输入X互信息减少、对理想输出Y互信息保持不变的神经网络参数调节过程。每一层兼顾对输入的压缩和对输出的预测作用，可以认为每一层存在着对输入的encoder和对输出的decoder。

在模拟实验中（假设输入X和输出Y已知），用交叉熵和SGD训练一个5层的前馈神经网络，得到学习过程中神经网络每一层的两个互信息的值，将其画在图12中，得到信息平面。横轴和纵轴分别表示互信息。图中将学习过程中得到的各个神经网络的每一层的互信息连成一条线。理想情况学习结束时得到的神经网络，各层的纵轴表示的互信息不变，各层横轴表示的互信息随着层级的增加而减少，就是图中最上面的一条线。模拟实验发现，神经网络的学习分两阶段，前300左右的epoch在学如何预测（初步的预测），学习较快，之后到10000epoch的学习在学习如何压缩，学习较慢，大部分时间学压缩。

图12 信息平面分析神经网络学习过程

常见问题2：信息瓶颈理论对实际训练有什么指导？
答：它揭示了神经网络的训练分为“快速预测”和“慢速压缩”两个阶段，这意味着在训练后期（压缩阶段）可以适当减小学习率或采用正则化策略来促进有效压缩，提升泛化能力。

数据流形假说

学习中的数据内在结构也需要考虑。马毅等的工作中，假设高维数据存在于低维空间的流形上，更具体地，是多个流形的混合体[10]。认为聚类和分类学习是对数据通过深度神经网络的非线性变换进行压缩。将流形混合体上的数据从高维空间映射到低维线性空间，在低维线性空间进行聚类或分类。低维线性空间中，类内样本相近，类外样本相远（见图13）。

图13 数据处在高维空间的流形上，学习是对数据的压缩

马毅等提出了机器学习的压缩比最大原理MCR²（maximal coding rate reduction）[10]。

考虑分类问题，假设输入数据X中的同类样本在同一个流形上。输入数据X通过神经网络被映射为表示 Z。R是样本表示 Z 的（平均）编码长度，是样本表示 Z 在一个划分下分类后的（平均）编码长度，是编码精度。压缩比最大原理认为压缩比越大，即编码长度减少越大，分类的结果就越好。学习就是要找到压缩比最大的神经网络。理论证明，在一定条件下，压缩比最大的分类是将同类样本放到同一个子空间里的分类，而且同类样本在子空间均质（isotropic）分布，各个类的子空间正交。MCR²是学习的指导原理，也可用于解释学习现象。学习理论不仅需要考虑数据压缩，还需要考虑数据内在结构，MCR²是一个很好的例子。

小提示：MCR²理论可以直接用于设计新的损失函数或网络结构，帮助模型学习更紧凑、更具判别性的特征表示。

Transformer的模型分析

最近对Transformer模型表示能力的分析有一些重要结论。Transformer模型有几个重要构成要素，首先通过注意力包括自注意力机制实现输入表示的组合。文本、图像、语音数据都具有组合性，即整体的表示由局部的表示组合而成。注意力的计算实际是一种查询，是key-value store符号查询在向量查询上的扩展。向量是one-hot vector时注意力就等价于key-value store查询。这样做的一个优点是，用固定的参数量处理可变的输入。人的类推推理也可以认为是一种相似度计算，注意力机制是类推推理的一个合理且有效的实现。注意力本质是线性变换（不考虑其中的softmax计算），在其基础上的FFN又实现了非线性变换。

最近Dong等的理论研究发现，Transformer中的残差连接实际上起着非常重要的作用[11]。残差连接实现了深度不同的各种注意力网络加上非线性变换的集成（见图14）。理论证明，如果只有注意力，而没有残差连接或者前馈神经网络，Transformer学到的表示就会变成秩为1的矩阵，即每个输入token的表示趋于相同。以往的实验也证明position embedding如果没有残差连接也不能传到Transformer的高层。

图14 Transformer实际是自注意力网络的集成，自注意力网络中通过残差连接形成了许多路径

常见问题3：Transformer的残差连接为什么会如此重要？
答：残差连接使得信息可以绕过注意力层直接传递，从而保留了token的多样性（防止秩坍塌）。同时它形成了多条路径的集成，相当于训练了多个不同深度的子网络，提升了模型的表达能力和训练稳定性。

总结

本文的主要观点如下：

• 深度学习的大模型、大数据和大算力模式继续取得成果，沿着这个方向还有很大的发展空间。
• 字节跳动人工智能实验室在进行创新工作，推动领域发展，在深度学习和应用方面做出了业界领先的成果。
• 另一方面，深度学习的局限也已凸显，样本效率和能源效率低下，逻辑推理能力缺乏，整体缺少理论指导。
• 下一代的人工智能更应该从人脑计算中得到启发，脑启发计算是未来的发展方向。
• 脑启发计算是指以现在的深度学习等机器学习为主体，在其基础上（主要在功能层面）借鉴人脑的计算机制，构成全新的智能计算范式。
• 脑启发计算、深度学习需要强大的理论支撑，从信息流动、数据内在结构、模型表示能力等多方面的研究非常重要。

冯·诺伊曼对人脑和计算机研究的一个假设是智能可以还原为计算。人脑的计算机制极其复杂，所以人工智能需要借鉴人脑，才能构建像人一样智能的计算机系统。本文所说的脑启发计算应该是迈向人工智能理想的一个新范式。在这个过程中，也需要有对应的智能计算理论作为基础。

作者 李航，字节跳动研究部门负责人，ACL会士、IEEE会士，《机器学习方法》等书作者。

致谢 马毅、宋睿华、徐君、张新松等对本文的初稿提出了宝贵意见，在此对他们表示感谢。

参考文献

1. [1] Fei Huang, Hao Zhou, Yang Liu, Hang Li, Minlie Huang. Directed Acyclic Transformer for Non-Autoregressive Machine Translation, ICML 2022.
2. [2] Rong Ye, Mingxuan Wang, Lei Li, Cross-modal Contrastive Learning for Speech Translation, NAACL 2022.
3. [3] Yan Zeng, Xinsong Zhang, Hang Li, Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts, ICML 2022.
4. [4] Yan Zeng, Xinsong Zhang, Hang Li, Jiawei Wang, Jipeng Zhang, Wangchunshu Zhou, X²-VLM: All-In-One Pre-trained Model For Vision-Language Tasks, arxiv 2022.
5. [5] Shizhe Diao, Wangchunshu Zhou, Xinsong Zhang, Jiawei Wang. Prefix Language Models are Unified Modal Learners, arxiv 2022.
6. [6] Zhixuan Liu, Zihao Wang, Yuan Lin, Hang Li, A Neural Symbolic Approach to Natural Language Understanding, EMNLP 2022 findings.
7. [7] Zador, A., Richards, B., Ölveczky, B., Escola, S., Bengio, Y., Boahen, K., Botvinick, M., Chklovskii, D., Churchland, A., Clopath, C. and DiCarlo, J., Toward Next-Generation Artificial Intelligence: Catalyzing the NeuroAI Revolution. arXiv preprint, 2022.
8. [8] Ma, Y., Tsao, D. and Shum, H.Y., On the principles of parsimony and self-consistency for the emergence of intelligence. Frontiers of Information Technology & Electronic Engineering, 2022.
9. [9] Tishby, N. and Zasla vsky, N., Deep learning and the information bottleneck principle. In 2015 IEEE information theory workshop.
10. [10] Yu, Y., Chan, K.H.R., You, C., Song, C. and Ma, Y., Learning diverse and discriminative representations via the principle of maximal coding rate reduction, NeurIPS 2022.
11. [11] Dong, Y., Cordonnier, J.B. and Loukas, A., Attention is not all you need: Pure attention loses rank doubly exponentially with depth, ICML 2021.

编辑：黄飞