深度学习硬件发展全景教程：从GPU架构演进到未来方向

过去十年是深度学习的“黄金十年”，它彻底改变了人类的工作和娱乐方式，并广泛应用到医疗、教育、产品设计等各行各业。而这一切离不开计算硬件的进步，特别是GPU的革新。深度学习技术的成功实现取决于三大要素：算法、数据集和硬件。如果把算法和数据集看作是深度学习的混合燃料，那么GPU就是点燃它们的火花——当强大的GPU可用来训练网络时，深度学习技术才变得实用。

本教程将基于英伟达首席科学家Bill Dally的演讲，系统梳理GPU架构的演进史、推理性能提升的三大核心因素、GPU集群连接技术、深度学习翻跟斗的探索历程，以及硬件未来的发展方向，并附上常见问题解答，帮助读者全面理解深度学习硬件的发展脉络与关键技术。

一、GPU架构演进史

从2012年的K20X到2020年的A100，GPU的推理性能提高到原来的317倍。这就是英伟达的“黄氏定律”，其发展速度远快于“摩尔定律”。与摩尔定律不同，GPU性能提升不完全依赖制程技术进步，绝大部分归功于GPU架构和线路设计的完善。

1. Kepler架构（2012年）

Kepler并非专为深度学习设计，目标场景是图像处理和高性能运算。其特点：FP32计算速度近4 TFLOPS，内存带宽250 GB/s。它被英伟达视为自家产品的基准线。

2. Pascal架构（2016年）

Pascal架构更适合深度学习：支持FP16计算（速度是FP32的两倍），新增FDP4复杂指令分摊开销，使用HBM显存（带宽732 GB/s，是Kepler的3倍），并引入NVLink连接多机集群。

小提示：Pascal架构通过增加内存带宽（从250 GB/s提升到732 GB/s），有效缓解了深度学习训练中内存带宽的瓶颈问题。

3. Volta架构（2017年）

Volta是专为深度学习设计的里程碑式架构，核心创新是引入Tensor Core。关键指令HMMA（半精度矩阵乘积累加）将开销分摊降至10%~20%。同时升级HBM显存（带宽900 GB/s），使用新版本NVLink和NVSwitch，最多可连接1024个GPU。

4. Turing架构（2018年）

Turing架构推出Integer Tensor Core，支持Int8推理，性能提升2倍。使用GDDR显存以支持高带宽需求的NLP模型和推荐系统。同时还配备了光线追踪的RT Core。

小提示：虽然Turing架构的能效曾被质疑，但实际对比时需注意：它使用G5显存，而其他翻跟斗使用LPDDR内存，选择G5显存是为了支持高带宽模型。

5. Ampere架构（2020年）

Ampere实现性能飞跃，推理速度达1200 Teraflops以上。核心创新是结构化稀疏：规定矩阵每4个数值中非零值不超过2个，通过压缩权重实现2倍性能提升。支持TF32、BFLOAT格式，所有数据格式都支持结构化稀疏。HBM显存带宽升级到2TB/s。

二、GPU推理性能提升的三大因素

GPU推理性能8年提升317倍，主要归功于三大因素：

• 数字表示法（Number Representation）的发展：从FP32到Int8，极大提升了每瓦性能。TPU1的优势本质上是Int8相较于FP32的优势。
• 复杂指令支持：从Pascal的点乘指令到Volta/Turing/Ampere的矩阵乘积指令，大幅降低指令开销。例如：执行HFMA操作时，指令开销占比高达2000%；而执行HMMA操作时，开销仅为22%。
• 制程技术进步：从28纳米到7纳米，为性能提升作出贡献。

小提示：指令开销分摊的效果非常显著。从HFMA（2个操作，开销2000%）到HMMA（256个操作，开销22%），分摊后效率提升近百倍。

三、从单卡性能到GPU集群连接

训练大型语言模型需要多GPU协作。英伟达通过NVLink和NVSwitch构建超大型GPU集群：Pascal引入NVLink，Volta引入NVLink 2和第一代NVSwitch，Ampere采用NVLink 3和第二代NVSwitch。2020年收购Mellanox后，可提供整套数据中心解决方案。DGX SuperPOD让用户无需定制机器即可获得高性能。

优化GPU集群连接与提升单GPU性能同等重要。

四、深度学习翻跟斗：新技术的试验场

英伟达将翻跟斗视为试验新技术的载体，成功技术最终会应用到主流GPU中。核心思路：让大部分能耗用于矩阵乘法计算，而非数据搬运。

1. NVIDIA DLA项目（2013年）

开源产品，有大型MAC阵列。两个独特之处：支持稀疏化（通过数据门控实现高效零值处理）和硬件层面支持Winograd变换（对卷积核可带来4倍性能提升）。

2. EIE（2016年，与斯坦福合作）

对稀疏化的早期探索，在硬件层面支持CSR矩阵表示，密度50%时比全密度计算更节能。采用码本量化（codebook quantization），用反向传播训练最优码字集。但数学运算开销较高，后续放弃。

3. Eyeriss（2016年）

解决平铺问题，采用行固定（row stationary）方法，最大限度减少数据搬运消耗的能量。

4. SCNN（2017年）

针对稀疏编译，将稀疏性相关复杂问题转移到输出上，但效果提升有限（约50%密度单元能量）。

5. SIMBA（RC18）（2019年）

多芯片模块，36芯片设计，每个芯片有4x4 PE矩阵，总运算能力128 TOPS，每瓦性能约10 TOPS/W。

6. MAGNET系统（2019年）

设计空间探索系统，通过增加缓存级别（权重收集器、累加器收集器），实现混合数据流，每瓦性能达到约20 TOPS。

7. VS-Quant（2021年，MLSYS）

探索量化方式，对相对较小的向量施加单独的比例因子，在语言模型上可实现节省20%能量和70%空间，同时保持高精度。

总结翻跟斗发展：核心是矩阵乘法器、平铺方法、稀疏性研究和数值表示。Accelerators中试验成功的技术最终会被应用到GPU中。

五、深度学习硬件的未来方向

从能量流向饼状图看，约50%能耗用于数学运算，其余流向内存和数据搬运。未来方向包括：

• 降低数学运算能量：转向对数系统（乘法变加法），或采用VS-Quant等更精确的量化。
• 改进平铺技术：在内存层次结构中添加更多层，降低内存能量，改善内存电路和通信电路。
• 进一步研究稀疏性：通过降低密度或选择多个密度来调整激活和权重。
• 工艺技术进步：电容缩放等。

Bill Dally认为，英伟达目前手中的“牌”打得差不多了，必须研发新技术。值得关注的四个方向：新的数字表示（如对数）、更巧妙的量化方案、深入研究稀疏性、改良存储/通信电路与工艺技术。

六、总结

自2012年Kepler架构发布以来，GPU推理性能每年翻倍增长，很大程度上归功于数字表示的不断进步（FP32→FP16→Int8→Int4）、复杂指令分摊开销、以及Tensor Core的持续演进。同时，片上内存系统、网络等“Plumbing”技术至关重要，它们让Tensor Core能够高效运行。

深度学习的发展取决于硬件性能的持续提升，让GPU推理性能每年翻一番是巨大挑战。未来需重点研究新数字表示、稀疏性、存储/通信电路以及工艺技术。

七、常见问题（FAQ）

问题1：需要多大的矩阵卷积才能将Winograd算法转换成更高效的卷积实现？

Bill Dally：3×3的矩阵卷积就很高效，卷积越大效率越高。

问题2：高带宽存储器（HBM）的内存带宽是如何计算的？是通过所有GPU核同时访问内存吗？

Bill Dally：每个HBM堆栈都有单独的帧缓冲区（例如Ampere有6个堆栈），带宽是通过每个内存控制器以全带宽运行来计算的。各GPU核之间有一个缓存层，片上网络带宽是HBM带宽的数倍，只需运行一小部分流式多处理器就能使HBM饱和。

问题3：带有NVLink的分布式计算如何工作？谁来决定具体执行哪一个计算？

Bill Dally：程序员决定数据和线程的位置，在GPU上启动线程和数据并确定运行位置。NVLink连接的系统具有共享地址空间，传输小数据时开销很小。通常采用集群通信做数据并行：每个GPU运行相同网络但处理不同数据集部分，各自累积权重梯度后共享并累积。

问题4：我们应该创建通用的深度学习翻跟斗，还是分别创建专用的翻跟斗（如视觉/自然语言处理翻跟斗）？

Bill Dally：在不影响效率的前提下，翻跟斗越通用越好。英伟达GPU在加速深度学习效率方面堪比专用翻跟斗。机器学习领域发展极快（例如从RNN到Transformer），产品设计周期长达数年，过度专用化可能面临网络被淘汰的风险。

问题5：摩尔定律对GPU性能和内存占用有何影响？

Bill Dally：摩尔定律认为晶体管成本随时间降低，但如今晶体管数量虽增加、制程进步，单个晶体管价格并未降低，摩尔定律有些过时。不过更多晶体管能建造更大规模的GPU，尽管能耗和价格更高，但能构建此前无法实现的产品。

问题6：开发者应如何从硬件进步中学习，让自己的深度学习模型运行更高效？

Bill Dally：框架在抽象硬件方面做得很好，但仍有一些因素值得研究，例如更好的数值表示方法。可以尝试将不同技术（如量化方案）与框架结合，看哪种更有效，这是研发不可或缺的环节。

问题7：英伟达是否正在实验新的封装方法？

Bill Dally：一直在对各种封装技术进行实验，比如多芯片模块、焊接凸点、混合键合做芯片堆叠等，以便在合适时机部署到产品。

问题8：英伟达的Tensor Core和谷歌的TPU相比，谁更胜一筹？

Bill Dally：不了解谷歌最新的TPU。此前TPU是专用引擎，内置大型乘加器阵列，并由独立单元处理非线性函数和批量归一化。英伟达的方法是用非常通用的计算单元（流式多处理器SM），再通过Tensor Core加速矩阵乘法部分。两者都有类似矩阵乘加阵列，但英伟达的阵列相对较小。

问题9：英伟达最大的对手是谁？

Bill Dally：英伟达最大的对手是自己，不断挑战自己才是正确态度。不必过多关注竞争对手，而应关注哪些事情是可能实现的，追求光速般的极致性能。

问题10：你对量子计算有何看法？

Bill Dally：英伟达发布了cuQuantum SDK。GPU是当前最快的量子模拟器之一。英伟达成立了研究小组跟踪量子计算前沿，但考虑到量子比特数量、准确性、噪声干扰和纠错开销，未来五到十年内量子计算无法实现商用。最乐观估计，五年后可能开始量子化学模拟。

问题11：机器何时才能达到通用人工智能（AGI）的水平？

Bill Dally：持消极看法。神经网络本质是通用函数拟合器，价值在人工感知而非通用人工智能。我们应重点关注如何利用人工智能提高生产力、改善生活，而不必强求AGI。距离AGI还有很长的路要走，且需先弄清什么是AGI。

（编辑：黄飞）