从社交媒体到互联网，图像、视频和语音数据的爆发式增长，催生了对深度神经网络（DNN）的旺盛需求。而这类算法在提供顶尖精度的同时，也给计算硬件带来了严峻挑战。一个核心现象正在浮现：新兴的低精度和稀疏DNN算法——尽管效率远超传统密集FP32方案——却引入了GPU难以招架的不规则并行度和定制数据类型。这带来了什么问题？这意味着，未来谁能在这种“不规则”中游刃有余，谁就可能成为AI加速的下一个主角。

来看看Intel翻跟斗架构实验室（AAL）Eriko Nurvitadhi博士团队的调研。在最近的ISFPGA会议上，他们发表了一篇题为《Can FPGAs beat GPUs in Accelerating Next-Generation Deep Neural Networks》的论文。研究以NVIDIA Titan X Pascal GPU为参照，对两代Intel FPGA（Arria 10和Stratix 10）进行了评估。结论相当直接：FPGA正展现出在DNN、AI和ML应用领域成为可行平台的潜力。其核心优势在于，FPGA天生被设计用来处理不规则并行度和自定义数据类型——而这，正是新兴DNN算法的核心特征。

Intel Programmable Solutions Group的Randy Huang博士（论文合著者之一）评论道：“深度学习是AI领域最令人兴奋的板块。虽然研究界倾向于用GPU，但我们发现应用需求与下一代FPGA架构之间存在着完美契合。” 数据正在说话。

神经网络是如何运作的？

首先，简单理解一下神经网络的本质。它是一个由加权边互连的神经元构成的图，每个神经元和边分别与激活值和权重绑定。计算过程是逐层进行的：对于给定层，每个神经元的值通过累乘上一层的神经元值和边权重得到。这个过程极度依赖多重累积运算。DNN包含正向传递和反向传递：正向传递用于推理（预测），反向传递则通过反馈预测误差来更新网络权重，这就是著名的反向传播算法。

图1 深度神经网络概述

FPGA凭什么成为替代方案？

硬件层面：FPGA相比GPU，能效指标（性能/瓦特）确实亮眼，但峰值浮点性能一直不是其强项。不过，技术正在快速进化。即将推出的Intel Stratix 10 FPGA配备了超过5000个硬件浮点单元（DSP）、超过28MB的片上RAM（M20Ks），并集成了高带宽内存（可达1TB/s），加上HyperFlex技术带来的频率改进。更关键的是，Intel正在将MKL-DNN库、Caffe等主流框架与FPGA进行深度适配。基于14nm工艺的Stratix 10在FP32吞吐量上达到了9.2 TFLOP/s，而Titan X Pascal的数据是11 TFLOP/s——差距已经大幅缩小。

算法层：更大的深度带来了更高的精度，但也带来了巨量的参数和模型体积。为此，学界形成了两个明确的新趋势：一是采用远低于32位的紧凑低精度数据类型（如16位、8位，甚至2位三进制和1位二进制）；二是通过修剪、ReLU、ternarization等技术在神经元和权重中引入稀疏性（零值占比可达50%到90%）。

问题就在于，这种低精度和稀疏性虽然效率极高，却让GPU感到棘手：它们无法高效处理不规则并行，也无法原生支持定制数据类型。而这恰恰是FPGA的强项——它可以为这些算法“量身定做”计算逻辑。因此，FPGA正迅速成为DNN、AI和ML应用的理想选择。 正如黄博士所说：“FPGA有更大的余裕去针对机器学习算法进行定制。”

图2 FPGA的极端可定制性

测试方案与硬件对比

GPU采用cuBLAS或Torch框架；FPGA则使用Quartus和PowerPlay工具。

图3 GEMM测试结果（DNN关键操作）

在低精度和稀疏DNN场景下，Stratix 10 FPGA在性能上超越了Titan X GPU，性能功耗比更是遥遥领先。这意味着什么？未来这类算法很可能成为主流。

研究1：GEMM（通用矩阵乘法）测试

DNN的基石是GEMM。常规DNN依赖FP32密集GEMM，而新兴DNN则依赖低精度和稀疏GEMM。

• FP32密集GEMM：Stratix 10的9.2 TFLOP/s与Titan X的11 TFLOP/s差距不大。
• 低精度INT6 GEMM：FPGA通过将4个Int6打包进一个DSP模块，性能反超GPU（图3B），且性能功耗比优势明显。
• 1位二进制GEMM：FPGA利用Xnor和位计数操作替代乘法，性能是GPU的2倍到10倍（图3C）。
• 稀疏GEMM：在85%零值的测试矩阵中，GPU性能反而下降；而FPGA通过细粒度跳过零计算，性能表现大幅优于GPU（图3D）。

图4 DNN精度趋势与Ternary ResNet测试结果

研究2：三进制ResNet DNN测试

三进制DNN将权重约束为+1、0或-1，仅需2位，并用符号位操作替代乘法。Nurvitadhi博士团队为此定制了FPGA设计——专门用于跳跃零计算、处理2位权重，并无需乘法器。关键突破在于：三进制DNN首次在顶级ImageNet数据集上保持了与全精度ResNet几乎相同的精度（±1%以内）。

图4B显示，在ResNet-50上，即使保守估计，Intel Stratix 10 FPGA也比Titan X GPU性能高出约60%。中等和激进估计下，加速比分别达到2.1倍和3.5倍。值得注意的是，在激进预估（750MHz）下，FPGA甚至比Titan X的理论峰值性能还高出35%。性能功耗比方面，从保守到激进，Stratix 10比Titan X好2.3倍到4.3倍。

结论：FPGA正在改写规则

数据是清晰的：Intel Stratix 10 FPGA在稀疏、Int6和二进制GEMM上，分别比Titan X快10%、50%和5.4倍。在三进制ResNet上，性能高出60%，性能功耗比好2.3倍。这些结果表明，FPGA正从“备选”变为“首选”。

那么，未来FPGA能否在性能上持续击败GPU？Intel团队的观点是，目前的DNN算法趋势确实对FPGA有利。当然，这些结论基于2016年的工作。团队仍在持续测试FFT/Winograd变换、量化、压缩等现代优化。除了DNN，FPGA在ADAS、工业控制等不规则、低延迟场景中也同样有机会。

黄博士的点睛之笔值得深思：“目前使用32位密集矩阵乘法的机器学习是GPU的领地。我们鼓励业界与我们一起重新表述机器学习问题，充分发挥FPGA在小位数处理上的优势——因为FPGA完全适应向低精度的转变。”

编辑：黄飞