NVIDIA CUDA 深度神经网络库（cuDNN） 是专为 GPU 加速打造的深度神经网络基础库，它将前向与反向卷积、池化层、归一化及激活层等标准例程进行了高度优化封装。全球深度学习研究者和框架开发者广泛使用 cuDNN 来充分发挥 GPU 性能——借助 cuDNN，开发者可以专注于训练网络与开发应用，无需再为底层 GPU 参数调优耗费精力。它为众多主流深度学习框架提供加速支持，包括 Caffe2、Chainer、Keras、MATLAB、MXNet、PaddlePaddle、PyTorch 和 TensorFlow。
上图展示了在 21.02 NGC 容器环境中，分别使用 cuDNN 7.6.5 的单台 DGX-1V 服务器与 cuDNN 8.1.1 的 DGX-A100 进行对比测试的结果——尽管端到端性能已趋于收敛，但性能差距仍然显著。
cuDNN 8.3 的新变化
cuDNN 8.3 针对 A100 GPU 进行了专门优化，开箱即可实现相比 V100 高达 5 倍的性能提升。该版本还引入了对话式 AI、计算机视觉等领域的新优化及 API。整体架构经过重新设计，旨在让开发者集成更便利、使用更顺畅，同时保留更高的灵活性。
亮点速览
- 针对基于 Transformer 的模型提供专用加速优化；
- 支持运行时融合：通过全新算子、启发式算法与融合机制，实现快速内核编译；
- 下载包体积缩减了 30%。
此外，cuDNN 8.3 被拆分为六个更小且独立的库，使得应用集成时能够按需精细加载，避免一次性加载全部内容。
cuDNN 的主要特性
cuDNN 在底层实现了 Tensor Core 加速，全面覆盖常用卷积操作，包括 2D/3D 卷积、分组卷积、深度可分离卷积，以及支持 NHWC 和 NCHW 输入输出格式的扩张卷积。
针对大量计算机视觉和语音模型的内核也做了专门优化，像 ResNet、ResNext、EfficientNet、EfficientDet、SSD、MaskRCNN、Unet、VNet、BERT、GPT-2、Tacotron2、Wa veGlow 这些都在列。
数据类型支持 FP32、FP16、BF16、TF32 以及 INT8 和 UINT8 整数格式。4D 张量的维度排序、步长和子区域均可任意配置，因此能够轻松集成到各种神经网络实现中。
更关键的是，cuDNN 能够为多种 CNN 架构上的融合运算加速，在实际训练与推理中效果尤为显著。
在支持平台方面，兼容 Windows 和 Linux 系统，硬件覆盖从 Kepler 到 Ampere 的历代架构，包括 Maxwell、Pascal、Volta、Turing 以及最新的 Ampere，同时支持移动端 GPU。