大语言模型推理性能优化，是当前AI落地中绕不开的关键环节。本文主要围绕vLLM这个高性能推理引擎展开，同时对比它与Ollama在不同场景下的优劣势，最后以DeepSeek-R1-Distill-Qwen-32B模型为例，给出具体性能数据。

什么是vLLM？

vLLM（Vectorized Large Language Model Serving System）由加州大学伯克利分校团队开发，是一款高性能、易扩展的大语言模型推理引擎。它通过创新的内存管理和计算优化技术，致力于实现高吞吐、低延迟、低成本的模型服务。

核心特点包括：

1. 高性能推理：支持分布式推理，能高效利用多机多卡资源。
2. 显存优化：采用PagedAttention内存管理技术，显著提升GPU显存利用率。
3. 多场景适配：无论是低延迟的在线服务，还是资源受限的边缘部署，vLLM都能提供卓越的性能表现。

官方文档：
中文站点：https://vllm.hyper.ai/docs/
英文站点：https://docs.vllm.ai/en/latest/index.html

vLLM vs Ollama：对比分析

在LLM推理引擎的选择上，vLLM和Ollama是两个常见的选项。下面通过一张对比表来看看它们的差异：

简单总结：Ollama更适合个人开发和轻量级应用，vLLM则更适合企业级服务和高并发场景。两者各有侧重，选型时主要看你的硬件条件和具体需求。

DeepSeek-R1-Distill-Qwen-32B模型对比

以DeepSeek-R1-Distill-Qwen-32B模型为例，在Ollama和vLLM两个框架下的显存占用、存储需求及性能对比如下：

ModelScope：开源模型即服务（MaaS）平台

ModelScope由阿里巴巴集团推出，是一个开源模型即服务（MaaS）平台，旨在简化模型应用过程，为AI开发者提供灵活、易用、低成本的一站式模型服务产品。

核心功能：

1. 汇集多种最先进的机器学习模型，涵盖NLP、CV、语音识别等领域。
2. 提供丰富的API接口和工具，方便开发人员集成和使用模型。
3. 支持模型的下载、部署和推理，降低开发门槛。

安装与使用：

1. 下载DeepSeek模型

   pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 创建模型存放目录

   mkdir -p /data/deepseek-ai/models/deepseek-70b

3. 下载DeepSeek-R1-Distill-Llama-70B模型

   modelscope download --local_dir /data/deepseek-ai/models/deepseek-70b --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B

docker部署

下载 Docker 二进制包

Docker 官方网站下载二进制包文件

wget https://download.docker.com/linux/static/stable/x86_64/docker-26.1.4.tgz

解压 Docker 压缩包

tar -zxvf docker-26.1.4.tgz

移动二进制文件到系统目录

mv docker/* /usr/bin/

创建 Docker 用户和组

1. 创建 Docker 组

   groupadd docker

2. 创建 Docker 用户，并将其添加到 Docker 组

   useradd -s /sbin/nologin -M -g docker docker

配置 Docker 服务

创建并配置 docker.service 文件

1. 打开或创建 docker.service 文件

   vim /usr/lib/systemd/system/docker.service

2. 添加以下内容：

   [Unit]
   Description=Docker Application Container Engine
   Documentation=https://docs.docker.com
   After=network-online.target firewalld.service
   Wants=network-online.target
   
   [Service]
   Type=notify
   ExecStart=/usr/bin/dockerd
   ExecReload=/bin/kill -s HUP $MAINPID
   LimitNOFILE=infinity
   LimitNPROC=infinity
   TimeoutStartSec=0
   Delegate=yes
   KillMode=process
   Restart=on-failure
   StartLimitBurst=3
   StartLimitInterval=60s
   
   [Install]
   WantedBy=multi-user.target

配置国内 Docker 镜像加速

1. 创建 Docker 配置目录：

   mkdir -p /etc/docker

2. 打开或创建 daemon.json 文件：

   vim /etc/docker/daemon.json

3. 添加以下内容：

   {
   "registry-mirrors": ["https://docker.rainbond.cc"]
   }

启动 Docker 服务

1. 启动 Docker 服务

   systemctl start docker

2. 设置 Docker 服务开机启动

   systemctl enable docker

验证 Docker 安装

1. 查看 Docker 版本

   docker -v

环境准备

1. 更新软件包列表并安装NVIDIA容器工具包

   sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

2. 配置NVIDIA容器运行时

   sudo nvidia-ctk runtime configure --runtime=docker

3. 重加载系统服务并重启Docker

   sudo systemctl daemon-reload
   sudo systemctl restart docker

4. 下载vllm/vllm-openai容器

   docker pull vllm/vllm-openai

5. 查看vllm/vllm-openai容器

   docker images

启动vLLM容器

docker run -itd --restart=always --name vllm_ds70 \
-v /data/deepseek-ai:/data \
-p 18005:8000 \
--gpus all \
--ipc=host \
vllm/vllm-openai:latest \
--dtype bfloat16 \
--served-model-name DeepSeek-R1-Distill-Llama-70B \
--model "/data/models/deepseek-70b" \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 8 \
--max-model-len 30000 \
--api-key token-abc123

参数解释：

• --restart=always：容器退出后自动重启，除非显式停止或dockerd服务重启。
• --name vllm_ds70：为容器指定一个名称，便于后续管理和操作。
• -v /data/deepseek-ai:/data：将主机上的/data/deepseek-ai目录挂载到容器的/data目录，用于存储模型文件和数据。
• -p 18005:8000：将容器的8000端口映射到主机的18005端口，用于通过主机端口访问容器内的服务。
• -itd：命令选项组合，-i和-t、-d，保持容器在后台运行，同时允许用户通过Docker logs或attach命令查看输出。
• --gpus all：允许容器使用宿主机的所有GPU资源。
• --dtype bfloat16：指定数据类型，优化内存使用和计算效率。auto模式会根据模型类型自动选择精度，而half或float16则常用于半精度计算以节省显存。
• --tensor-parallel-size 8：设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。
• --ipc=host：配置容器的IPC（Inter-Process Communication）模式，允许容器与宿主机或其他容器共享共享内存，提升模型并行性能。
• --served-model-name DeepSeek-R1-Distill-Llama-70B：指定服务的模型名称，标识当前服务的模型，便于管理和路由。
• --model "/data/models/deepseek-70b"：指定模型文件的路径，告诉服务从哪里加载模型权重和配置文件，确保模型能够正确加载。
• --gpu-memory-utilization 0.95：设置GPU内存使用率，限制模型使用的GPU内存占比，避免因内存不足导致服务崩溃。
• --tensor-parallel-size 8：设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。
• --max-model-len 30000：设置模型的最大上下文长度，限制模型在一次推理中能处理的最大输入长度，避免因过长输入导致性能问题。
• --api-key token-abc123：指定API密钥，用于身份验证和授权，确保只有有权限的用户才能访问服务。

docker logs -f b05b9c3646ec

访问vLLM容器

docker exec -it b05b9c3646ec /bin/bash

vLLM API 调用测试

curl http://192.168.1.34:18005/v1/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer token-abc123" \
-d '{"model": "DeepSeek-R1-Distill-Llama-70B","prompt": "北京的著名景点有哪些","max_tokens": 1000,"temperature": 0.3}'

Chatbox设置

DeepSeek-R1 模型 Ollama VS vLLM 占用显存对比

PyTorch、cuDNN、CUDA、NVIDIA驱动和NVIDIA GPU之间的关系

• PyTorch作为应用层，调用cuDNN和CUDA提供的接口来加速计算。
• cuDNN作为加速库层，依赖于CUDA提供的GPU计算能力，优化了深度学习任务。
• CUDA作为计算平台层，依赖于NVIDIA驱动与GPU硬件通信，提供了通用的GPU计算接口。
• NVIDIA驱动作为驱动层，管理着NVIDIA GPU的硬件资源，允许上层软件与GPU进行交互。
• NVIDIA GPU作为硬件层，执行实际的计算任务，提供了强大的并行计算能力。