写在前面

如果你刚踏入 AI 开发、模型部署或 GPU 服务器配置的领域，面对显卡、驱动、CUDA、cuDNN、PyTorch、Docker 等一系列术语，很容易感到困惑。本教程旨在帮你梳理这些组件之间的逻辑关系，让你清楚每个环节的作用、它们如何协同工作，以及怎样快速验证你的环境是否真正配置成功。

先来看一张整体技术栈的速览图：

整体主线可概括为：

硬件 GPU
    ↓
NVIDIA 显卡驱动
    ↓
CUDA / cuDNN
    ↓
PyTorch / TensorFlow
    ↓
Transformers / 业务模型代码
    ↓
API 服务 / Web 服务 / 推理服务 / 训练任务

1. 英伟达显卡：AI 计算的硬件基础

英伟达显卡（NVIDIA GPU）是 AI 开发中负责海量矩阵运算、张量计算和并行计算的物理硬件。普通 CPU 擅长处理复杂逻辑（系统调度、文件读写、业务代码），而 GPU 擅长同时处理大量简单但重复的计算任务，如矩阵乘法、卷积运算和注意力机制。

1.1 为什么 AI 需要 GPU

1.2 常见 NVIDIA 显卡类型

1.3 新手需要记住

• 显卡是硬件本身。
• 并非有显卡就能被 AI 程序自动使用。
• 还需要驱动、CUDA、深度学习框架协同工作。
• 模型是否真正运行在 GPU 上，需要通过命令和代码验证。

2. 显卡驱动：操作系统和 GPU 的桥梁

显卡驱动是操作系统与 NVIDIA GPU 之间沟通的底层软件，可视为“操作系统控制显卡的翻译官”。缺少驱动，系统可能无法识别显卡；驱动版本不匹配，CUDA 或 PyTorch 可能无法正常调用 GPU。

2.1 检查驱动是否安装成功

nvidia-smi

正常情况下会输出类似信息：

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.xx Driver Version: 535.xx    CUDA Version: 12.2                       |
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
|   0  NVIDIA A10                 Off | 00000000:00:1E.0 Off |                 0       |
+---------------------------------------------------------------------------------------+

关键字段说明：

2.2 一个非常容易误解的点

许多新手看到 nvidia-smi 中的 CUDA Version，会误以为已经安装了 CUDA Toolkit。实际上，这个值仅表示当前显卡驱动最高兼容到哪个 CUDA 版本。例如显示 CUDA Version: 12.2，只说明驱动支持 CUDA 12.2 及以下兼容范围内的 CUDA 程序，并不表示系统里已经安装了 /usr/local/cuda-12.2。

3. CUDA：让程序使用 NVIDIA GPU 的计算平台

CUDA 是 NVIDIA 提供的 GPU 通用计算平台，我们可以这样类比：

显卡 = 工人
显卡驱动 = 管理工人的底层系统
CUDA = 让程序给工人派活的工具体系

3.1 CUDA 通常包含什么

3.2 检查是否安装 CUDA Toolkit

nvcc --version

也可以检查目录：

ls /usr/local/

可能看到：

cuda
cuda-11.8
cuda-12.1

3.3 新手注意事项

• 训练或推理不一定要在系统上安装完整的 CUDA Toolkit。使用 PyTorch 官方 pip/conda 包时，许多 CUDA Runtime 和 cuDNN 已经随框架一同打包提供。
• 如果需要编译 CUDA 扩展（如自定义算子、flash-attention、deepspeed、xformers），通常需要本机安装 CUDA Toolkit 并包含 nvcc。
• 驱动版本必须足够新，才能运行对应 CUDA 版本构建出来的程序。

4. cuDNN：深度学习专用 GPU 加速库

cuDNN 是 NVIDIA 专为深度学习优化的 GPU 加速库，它基于 CUDA 但又更聚焦于深度学习场景。

CUDA = GPU 通用计算平台
cuDNN = 深度学习专用加速库

4.1 cuDNN 加速的典型操作

4.2 新手需要记住

• cuDNN 通常不直接由业务代码调用，PyTorch、TensorFlow 会在底层自动调用它。
• cuDNN 版本需与 CUDA 及深度学习框架匹配。若不匹配，可能出现模型无法启动、GPU 不可用或运行时动态库错误等问题。

5. Python 版本：AI 项目的语言环境基础

Python 是绝大多数 AI 项目的主要开发语言，PyTorch、TensorFlow、Transformers、FastAPI、Flask、vLLM 等都运行在 Python 环境中。

5.1 Python 版本为什么重要

5.2 常见建议

5.3 创建 Conda 环境

conda create -n ai-gpu python=3.10 -y
conda activate ai-gpu

检查 Python 版本和路径：

python --version
which python
which pip

新手常见错误：系统存在多个 Python，包安装到了 A 环境，运行却用到了 B 环境。

6. PyTorch：常用深度学习框架

PyTorch 是目前 AI 训练和推理中使用最广泛的深度学习框架之一。

6.1 PyTorch 负责什么

6.2 安装 PyTorch GPU 版本

安装 PyTorch 时，最关键的是选对 CUDA 版本。例如：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

这里的 cu121 表示该 PyTorch 包是为 CUDA 12.1 编译的。常见包类型：

6.3 检查 PyTorch 是否识别 GPU

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'no cuda')"

更完整的验证代码：

import torch
print("PyTorch 版本:", torch.__version__)
print("CUDA 是否可用:", torch.cuda.is_available())
if torch.cuda.is_available():
    device = torch.device("cuda")
    print("当前 GPU:", torch.cuda.get_device_name(0))
else:
    print("没有检测到 GPU")

7. 总结：一张清单帮你排查

环境配置完成后，可按以下顺序快速验证：

1. 运行 nvidia-smi 确认驱动正常，查看显存和驱动版本。
2. 运行 nvcc --version 或检查 /usr/local/cuda 是否存在，确认 CUDA Toolkit 安装情况（如需编译）。
3. 运行 PyTorch 的 GPU 检测脚本，确保框架能正确调用 GPU。
4. 若使用 Docker，确保容器内也安装了相应的驱动、CUDA runtime 和 PyTorch。

请记住：硬件、驱动、CUDA、cuDNN、框架层层堆叠，任何一层出现问题，GPU 都可能在 AI 程序面前“隐身”。希望本教程能帮你建立清晰的认知，少走弯路。