本教程将带您深入了解 NVIDIA 在 MLPerf 行业标准 AI 推理基准测试中的卓越表现。通过梳理 H100、A100 和 Jetson AGX Orin 三款核心产品的最新成绩，您将清晰掌握不同场景下的性能优势，并理解这些测试对实际 AI 应用的重要意义。

一、NVIDIA H100 GPU：创下多项世界纪录

在 MLPerf 行业标准 AI 基准测试中，NVIDIA H100 Tensor Core GPU 首次亮相即在所有工作负载推理中创造了世界纪录。其性能比上一代 GPU 高出 4.5 倍。

H100（代号 Hopper）提高了本轮测试所有 六个神经网络 中的单翻跟斗性能标杆。它在单个服务器和离线场景中展现出 吞吐量和速度 方面的领先优势。

图： NVIDIA H100 GPU 在数据中心类别的所有工作负载上都树立了新标杆

1.1 Hopper 架构性能提升

• NVIDIA Hopper 架构的性能比 Ampere 架构高出 4.5 倍。
• 在流行的用于自然语言处理的 BERT 模型上表现出色，部分归功于其 Transformer Engine。BERT 是 MLPerf AI 模型中规模最大、对性能要求最高的模型之一。

1.2 上市与未来预期

这些推理基准测试标志着 H100 GPU 的首次公开亮相，它将于今年晚些时候上市。H100 GPU 还将参加未来的 MLPerf 训练基准测试。