前两小节分别介绍了在Windows和Linux环境中快速部署DeepSeek的操作方法，当时使用的是最小模型，适合初步体验与功能测试。不过，若要真正投入生产环境，就必须依赖GPU来承担计算任务。接下来，以一台配备NVIDIA Tesla T4 16G显存的Linux服务器为例，完整演示GPU部署流程。需要说明的是，本次先体验单机单卡模式，后续还会更新多机多卡、运行更大规模模型的相关内容。
1. 确认硬件配置。由于当前环境为虚拟机，且虚拟机层面已进行了相应配置，因此通过lspci命令并未直接显示真实型号。实际底层使用的是NVIDIA Tesla T4 16G显存显卡。执行查看命令：
[root@deepseek01 ~]# lspci |grep -i nvid 00:0d.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1) [root@deepseek01 ~]#
2. 下载显卡驱动。根据显卡型号前往NVIDIA官网查找对应的驱动程序。对于T4显卡，可访问NVIDIA驱动查询页面，填写型号后获取下载链接。若希望将驱动直接下载到服务器，需要添加一个referer参数，否则会返回403错误：
wget --referer=https://www.nvidia.cn/drivers/details/240206/ \ https://cn.download.nvidia.com/tesla/570.86.15/NVIDIA-Linux-x86_64-570.86.15.run
3. 升级系统内核。驱动安装要求内核版本高于4.15，否则安装过程会失败。因此建议选择一个较新的内核版本。当前服务器安装的是CentOS 7.5，需要先升级内核，然后手动编译gcc，最终才能成功安装驱动。如果改用Ubuntu 22.04，则不会遇到这些麻烦，直接安装对应软件包（gcc需替换为gcc-12）即可。
4. 安装必要的工具包：
yum -y install gcc gcc-c++ tar make bzip2 pkgconfig libglvnd-devel libglvnd elfutils-libelf-devel
5. 安装GPU显卡驱动。执行以下命令，各参数含义说明如下：
./NVIDIA-Linux-x86_64-570.86.15.run -a -s -Z --no-opengl-files
-a 表示接受NVIDIA软件许可协议；-s 静默模式，不弹出交互提示；-Z 禁用开源的Nouveau驱动（官方驱动与Nouveau不兼容）；--no-opengl-files 不安装OpenGL相关文件，如果仅用于计算任务而不需要图形渲染，添加此参数可以减少包体积并避免兼容性问题。注意：在Ubuntu 22.04上还需要手动禁用Nouveau。
6. 检查驱动安装状态。执行nvidia-smi命令，可以看到系统已正确识别出显卡。
7. 启用GPU驱动常驻内存模式（persistenced模式），避免驱动在无任务时自动卸载：
cd /usr/share/doc/NVIDIA_GLX-1.0/samples tar xvf nvidia-persistenced-init.tar.bz2 cd nvidia-persistenced-init/ ./install.sh # 检查服务状态是否正常 systemctl status nvidia-persistenced.service
8. 下载CUDA工具包。CentOS 7并没有官方完全匹配的CUDA版本，这里选用CUDA 12.8（版本号中的8可能代表特定子版本，实际为12.8）。下载地址：
https://developer.nvidia.com/cuda-downloads
9. 安装CUDA。运行安装程序，接受协议，取消默认驱动安装的勾选（因已手动安装驱动），然后继续执行安装：
./cuda_12.8.0_570.86.10_linux.run --no-opengl-libs
10. 配置环境变量并验证CUDA安装结果。将以下内容追加到/etc/profile文件中（对所有用户生效）：
export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
然后执行source /etc/profile刷新环境变量，再用nvcc -V命令验证CUDA版本及环境变量配置是否正确。
12. 安装DeepSeek模型。参考上一节“快速搭建DeepSeek-Linux版本”的步骤，不过本次选用8B参数的模型。安装完成后，可以看到模型已成功加载到GPU上。
13. 验证GPU使用情况。执行nvidia-smi命令，从输出信息中可以清晰看到GPU正在被调用，执行推理计算任务。
nvidia-smi
总结：操作系统建议选择内核较新的版本，例如Ubuntu 22.04或更新的CentOS Stream。CentOS 7确实较老，安装过程中会遇到较多额外的问题和坑点。