发布两年后，NVIDIA终于带来了Ampere架构的正式继任者——Hopper。这款以计算机科学家先驱Grace Hopper命名的新架构，直接瞄准AI数据中心的下一个发展阶段，一上来就宣称实现了数量级的性能飞跃。

在GTC 2022大会上，NVIDIA正式推出了基于Hopper架构的首款GPU——H100。集成800亿个晶体管，采用为加速计算定制的TSMC 4N工艺，H100的晶体管规模已是上一代的近2.5倍。按照官方的说法，20个H100 GPU就能处理相当于全球互联网的流量，这意味着它足以支撑超大规模推荐系统和实时运行的大型语言模型。

NVIDIA CEO黄仁勋在演讲中给出了一个形象的比喻：数据中心正在变成“AI工厂”。这些工厂处理海量数据，产出智能。而H100，就是驱动这些工厂运转的“引擎”。

H100 技术突破

H100的性能飞跃并非只靠堆晶体管，而是来自六项关键创新，每一环都在原有基础上做了针对性升级。

世界最先进的芯片：H100采用TSMC 4N工艺，搭载800亿晶体管。除了HBM3显存实现3TB/s带宽，它还首次在GPU上支持PCIe 5.0，外部互联带宽达到近5TB/s。打个比方，20块H100并行工作时，数据吞吐能力足以扛起全球互联网的实时流量——这对推荐系统和实时推理场景意义重大。

新的Transformer引擎：Transformer已经成了NLP领域的事实标准，H100专门为此设计了Transformer引擎，可以在不影响精度的前提下，将这类网络的训练和推理速度提升到上一代的6倍。

第二代安全多实例GPU（MIG）：单个H100可以分割成7个完全独立、安全的GPU实例，每个实例处理不同的任务。相比上一代，MIG的能力在云环境中扩展了7倍，多租户的隔离安全性也进一步升级。

机密计算：H100是全球首个支持机密计算的翻跟斗。这意味着在医疗健康、金融服务等对数据隐私极其敏感的行业，客户可以在共享云基础设施上放心地进行联邦学习，而不必担心数据泄露。AI模型和客户数据在运行时都受到硬件级保护。

第4代NVLink：为了训练超大规模AI模型，NVLink本身的带宽大幅提升，同时新增了外接NVLink Switch的能力。借助这一交换机，最多可将256个H100 GPU连接成一个巨大的互连网络，带宽比上一代通过HDR InfiniBand的互连高出9倍。

DPX指令：一组全新指令用于加速动态规划算法。在路径优化（比如仓库里自主机器人的最优路线）和基因组学（DNA序列比对）等任务上，H100比CPU快40倍，比上一代GPU快7倍。Floyd-Warshall算法和Smith-Waterman算法都在加速之列。

这六项创新叠加后，H100在AI推理和训练领域拉大了领先身位。举例来说，使用Megatron 530B这样的巨型Transformer模型做聊天机器人，H100的吞吐量是上一代的30倍，同时还能满足对话式AI所需的次秒级延迟。如果训练一个包含3950亿参数的混合专家模型，训练时间可以从几周缩短到几天，速度提升高达9倍。

NVIDIA H100 的广泛采用

H100的适用场景覆盖了私有云、公有云、混合云和边缘数据中心。产品计划在今年晚些时候全面上市，届时企业可以从各大云服务商和服务器制造商处采购，也可以直接从NVIDIA官方渠道购买。

NVIDIA同步推出了第四代DGX系统——DGX H100，每台配备8块H100 GPU，以全新的FP8精度可实现32 Petaflop的AI性能。DGX H100内部通过第四代NVLink全互联，每块GPU提供900GB/s的带宽，比上一代快1.5倍。多个DGX H100节点还可以通过外部NVLink Switch组成更大的DGX SuperPOD超级计算机，最多连接32个节点。

H100在行业内获得了云服务商和服务器厂商的广泛支持。阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle Cloud、腾讯云、火山引擎都已计划推出基于H100的实例。硬件方面，源讯、BOXX Technologies、思科、戴尔科技、富士通、技嘉、新华三、HPE、浪潮、联想、宁畅、超微等主流厂商预计都会推出搭载H100的服务器产品。

规模各异的 NVIDIA H100

H100将提供三种规格来覆盖不同场景。

H100 SXM：适用于4 GPU或8 GPU的HGX服务器主板，适合需要将应用扩展到一台甚至多台服务器中多个GPU的AI训练、推理和HPC任务。

H100 PCIe：通过NVLink连接两块GPU，相比PCIe 5.0标准，带宽提升7倍以上，便于集成到现有数据中心基础设施中，为主流企业级服务器提供高性能加速。

H100 CNX融合翻跟斗：将H100与ConnectX-7 400Gb/s智能网卡集成在一起，特别适合I/O密集型应用，比如多节点AI训练和边缘5G信号处理。此外，Hopper架构GPU还可以通过NVLink-C2C与NVIDIA Grace CPU连接，带宽比PCIe 5.0高7倍以上，组成Grace Hopper超级芯片，面向大规模HPC和AI场景。

NVIDIA 软件支持

硬件之外，NVIDIA围绕H100发布了大量软件更新。针对语音、推荐系统、超大规模推理等场景的NVIDIA AI软件套件都做了重大升级。同时，CUDA-X库、工具和技术也迎来了60多项更新，覆盖量子计算、6G研究、网络安全、基因组学和药物研发等前沿领域。

供货信息

NVIDIA H100将在2022年第三季度起开始供货。