vLLM v0.25 正式版发布：一次全面的性能与功能升级
vLLM 团队在月初发布了 v0.24 版本后，又迅速推出了 v0.25 正式版。本次更新在模型支持、硬件兼容性、推理性能以及大规模部署能力上，都带来了实质性提升。下面将详细解读本次更新的核心内容。
以下全景图可帮助快速了解 v0.25 版更新的核心模块：
新模型支持一览
v0.25 版本新增了对多个主流和新型模型架构的支持，覆盖了视觉语言、轻量多模态、MoE 等多种类型。
| 模型 | 说明 |
|---|---|
| MiMo-V2.5 | 小米最新发布的视觉-语言模型。 |
| Laguna XS.2 | 基于新架构，支持 DFlash 技术。 |
| Moondream3 | 轻量级多模态模型，支持 query 和 caption 任务。 |
| Qianfan-OCR | 百度千帆的 OCR 文字识别模型。 |
| Cohere MoE | Cohere 公司推出的 MoE（混合专家）架构模型。 |
| DeepSeek V4 | 新增对 AMD/ROCm 平台的支持，并支持流水线并行。 |
| Qwen3.5 | 采用 Mamba 混合架构，并获得 Model Runner V2 的支持。 |
值得特别关注的是，DeepSeek V4 现在可以在 AMD 显卡上运行，这对于希望摆脱 NVIDIA 硬件依赖的用户来说，是一个非常有价值的消息。此外，DeepSeek-V4-Flash 的最新量化版本也支持本地部署。
多硬件平台扩展
vLLM 的多硬件支持在 v0.25 版本中得到了显著增强，覆盖范围从 NVIDIA 扩展到了 AMD、Intel、IBM 甚至 RISC-V 架构。
- AMD ROCm 7.2.2 — 新增了 DBO（动态批优化）、Fused Allreduce+RMSNorm 和 Fused Shared Expert 等特性。
- CPU — 支持 FP8 attention（针对 AMX/A VX-512 指令集）、FP8 W8A16 linear/MoE 计算，并新增了对 RISC-V 架构的支持。
- Intel XPU — 支持 top-k/top-p 采样、out-of-place all-reduce 以及 LoRA 微调。
- IBM Power — 引入了 VSX 注意力后端，以适配 Power 架构。
小提示： 如果您使用的是非 NVIDIA 硬件，v0.25 版本是您体验 vLLM 强大推理能力的最佳时机，尤其是在 AMD 和 CPU 平台上。
推测解码支持 Thinking Budget
这是一个关键性的更新，许多人可能容易忽略其重要性。
像 DeepSeek-R1、Qwen3 这类推理模型在生成回复时，会有一个“思考预算”（thinking budget）过程。以往，使用推测解码技术会与这个机制产生冲突，导致生成结果不正确。
v0.25 版本成功修复了此问题，使得推测解码现在能够正确识别和处理 reasoning token 的边界。这意味着，推理模型现在也可以享受到推测解码带来的加速效果，这在之前是无法实现的。
此外，本次更新还新增了以下推测解码的支持：
- Gemma4 的 MTP（Multi-Token Prediction）推测解码。
- MiMo-V2.5 的 MTP 支持。
- Mistral 的 EAGLE 推测解码。
- Cohere Eagle 推测解码。
推测解码的技术阵营正在不断壮大。
常见问题： 我的推理模型（如 DeepSeek-R1）在启用推测解码后，生成结果有时会出错，这是为什么？
答案： 这是因为之前的版本中，推测解码无法处理推理模型的“思考预算”过程。请升级到 v0.25 版本，此问题已得到修复，推理模型可以正确使用推测解码，并获得加速。
性能优化：一系列实打实的提升
性能优化一直是 vLLM 的核心关注点，v0.25 版本带来了多项针对性改进。
- FlashInfer top-k/top-p 采样器默认开启 — 显著提升采样速度。
- AllPool.forward 速度提升 51% — Embedding 模型将直接受益于此优化。
- 消除不必要的 GPU↔CPU 同步 — 减少了等待时间，提高了整体响应速度。
- numpy 零拷贝 embedding 序列化 — Embedding API 的响应速度更快。
- FlashInfer FP8 异步 TP 融合 — 在张量并行场景下提供加速。
- 重新启用 allreduce + RMS 融合 — 在数据并行（DP）和流水线并行（PP）场景中受益。
- Docker 镜像缩小 2.5GB — 通过延迟下载 FlashInfer cubin 文件实现，加快拉取速度。
小提示： 如果您正在使用 Embedding 模型或进行大规模张量并行推理，升级到 v0.25 版本可以明显感受到性能提升。
KV Cache 卸载 + HMA 混合内存分配器
这是面向大规模部署场景的重要功能组合。
KV Cache 卸载功能（将不活跃的 KV 缓存从 GPU 显存卸载到 CPU 内存）在之前版本中已经存在。v0.25 版本将其与 HMA（Hybrid Memory Allocator，混合内存分配器） 进行了深度整合：
- 调度器支持滑动窗口分组。
- MooncakeStoreConnector 支持分布式 KV 缓存卸载。
- 支持 DCP 和 PCP 协议。
通过这一组合，您可以使用更少的 GPU 显存来服务更多的并发请求，同时保持较高的吞吐量。对于处理极长上下文窗口（例如 128K 上下文）的模型，这项功能非常有价值，极大地降低了显存占用。
常见问题： 我的模型 context window 很长（128K），显存经常不够用，怎么办？
答案： 升级到 v0.25 版本，启用 KV Cache 卸载功能，并确保其与 HMA 混合内存分配器配合使用。这可以将不活跃的 KV 缓存卸载到 CPU 内存，从而显著降低 GPU 显存占用，让您能处理更长上下文或更大并发。
量化支持更新
v0.25 版本在低精度量化方面也进行了重要更新。
- NVFP4 — 获得了更全面的支持，包括 KV Cache 支持、ModelOpt NVFP4 W4A16 以及 all-gather GEMM 融合。
- MXFP4 — 新增 Humming MXFP4 MoE 后端支持。
- TurboQuant — 支持混合模型和统一量化。
NVFP4 在此版本中获得了大量优化。如果您使用的是 Hopper 或 Blackwell 架构的 NVIDIA 显卡，4-bit 量化在性能和精度之间将取得更好的平衡。
API 改进
API 层面也进行了多项增强，以提升兼容性和功能丰富度。
- Responses API 支持流式 tool calling，包括
required和命名工具选择。 - OpenAI 兼容性增强：新增
system_fingerprint字段、prompt_embeds支持以及渲染后的 prompt 文本返回。 - XGrammar 0.2.0 — 结构化 tags 支持严格的 tool calling 和 reasoning。
- 新增 Fastokens tokenizer 支持。
- RLHF 显式 weight update API。
小提示： 如果您在项目中依赖 OpenAI 兼容 API，升级到 v0.25 可以获得更全面的字段支持和更稳定的体验。
安装指南
官方当前给出的推荐环境是 Linux 系统 与 Python 3.10 到 3.13 版本。对于 NVIDIA CUDA 用户，官方推荐使用 uv 工具来管理 Python 环境。
安装步骤如下：
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
对于 Docker 用户，由于镜像体积缩小了 2.5GB，拉取速度会明显更快。
总结
vLLM v0.25 版本在模型支持、硬件兼容性、推理性能、大规模部署能力以及 API 完善度上，都展现出了显著的进步。无论是对于个人开发者还是企业级生产环境，本次更新都提供了大量值得升级的实质性改进。