1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
机器之心编辑部
熟悉开源社区的朋友对 vLLM 应该不会陌生。它是由加州大学伯克利分校团队打造的高性能、开源 LLM 推理和服务引擎，主要目标是提升大语言模型（LLM）的推理速度（吞吐量）和资源利用率（尤其是内存），并且兼容 Hugging Face 等主流模型库。
简而言之，vLLM 可以让 GPT、Mistral、LLaMA 等主流模型系列运行得更快且占用更少资源，而实现这一效果的核心技术就是其创新性的注意力机制方案——PagedAttention。
近日，来自 DeepSeek 的 AI 研究员、深度学习系统工程师俞星凯从零开始构建了一个极简版本的 vLLM 实现——Nano-vLLM，将整个项目代码压缩到了仅 1200 行以内。
目前该项目已在 GitHub 上获得超过 200 颗 Star。
图片GitHub 地址：https://www.php.cn/link/b3f2a6b3e119aaa5a1326802e7b49403
具体来看，Nano-vLLM 具备以下三大核心特点：
第一，具备高效的离线推理能力，推理速度与原版 vLLM 相当。
第二，代码结构简洁易读，Python 总行数控制在了 1200 行以内。
第三，集成了多项优化工具，如 Prefix 缓存、Torch 编译以及 CUDA 计算图等特性。
俞星凯在进行基准测试时使用了如下配置：
硬件：RTX 4070模型：Qwen3-0.6B总请求数：256 个序列输入长度：100–1024 tokens 范围内随机输出长度：100–1024 tokens 范围内随机测试结果如下表所示，Nano-vLLM 与 vLLM 输出 token 完全一致，响应时间略高，推理速度（吞吐量）稍有差距，但整体表现非常接近。
图片开发者简介
Nano-vLLM 的作者俞星凯目前任职于 DeepSeek，曾参与 DeepSeek-V3 和 DeepSeek-R1 的研发工作。
图片值得一提的是，根据其 GitHub 主页显示，他还开发过一个植物大战僵尸 Qt 版本，该项目也已获得 270 多颗 Star。此外，由于本科就读于南京大学，他还参与了不少南大的计算机相关项目，包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。
根据其 LinkedIn 页面信息显示，他曾先后在腾讯、幻方（DeepSeek 母公司）和字节跳动实习，并于 2024 年正式加入 DeepSeek 成为一名深度学习系统工程师。
图片你是 vLLM 用户吗？你会考虑尝试 Nano-vLLM 吗？
© THE END
转载请联系本公众号获取授权
相关攻略
WPS AI如何提升Python编程效率？解锁办公自动化新技能全攻略 在追求高效能的现代办公场景中，一款能显著提升生产力的智能工具往往能带来革命性变化。本文将深入探讨如何借助WPS AI，将Python代码编写与智能文档处理这两大核心任务化繁为简，从而全面解锁办公自动化的高级技能，助力个人与企业实现
零基础学习Python可从安装环境开始。前往官网下载最新稳定版，安装时勾选添加PATH选项。验证安装后，创建 py文件并写入print()函数输出文本。通过命令行运行文件，观察输出结果。理解代码按顺序执行，注意括号与引号的正确使用。初期不必死记语法，通过修改代码并运行来建立动手反馈的实践感。
Trae的AI功能深度适配FastAPI与Flask框架。针对FastAPI，它能精准识别异步架构与类型注解，提供模型定义、路由补全及异步数据库建议；在Flask中，则侧重理解装饰器链、请求上下文与ORM操作，辅助完成权限控制与数据库提交等典型模式。此外，Trae具备跨框架语义索引能力，可感知项目结构、依赖变更与工具函数调用，提升开发效率。
Trae在Python数据分析与机器学习项目中主要通过四种方式提供支持：利用Auto模式自动生成并执行端到端分析脚本；通过AgentCLI命令行自动化机器学习建模流程；对现有代码进行智能调试与优化；借助语音交互快速构建数据处理函数。这些功能覆盖了从需求描述到代码生成、模型构建及代码优化的全流程。
在Python编程中，你是否也曾编写过类似的统计代码？ 统计词频 count = {} for word in words: if word in count: count[word] += 1 else: count[word] = 1 实际上，这种高频的计数需求，完全可以通过Python内置
热门专题
热门推荐
水产市场是什么 在AI Agent的生态中，能力共享与协同进化是核心驱动力。水产市场（Seafood Market）正是为OpenClaw框架量身打造的AI Agent能力共享平台。你可以将其理解为AI领域的“应用商店”或“技能交易中心”，旨在实现AI能力的快速流通与组合创新。 目前，平台已集成超过
在信息爆炸的时代，高效地将音视频内容转化为可编辑、可检索的文字，已经成为内容创作者、研究者和职场人士的刚需。今天要聊的这款工具——MeowTXT，正是瞄准了这一痛点，它不仅仅是一个简单的转录工具，更是一个集成了智能识别、摘要和翻译的AI生产力平台。 MeowTXT是什么 简单来说，MeowTXT是一
OpenFang是什么 在AI Agent领域，我们常常面临一个困境：大多数系统仍然停留在“你说一句，它动一下”的被动模式，离真正的自动化还有距离。今天要聊的OpenFang，正是在尝试打破这个局面。它是一个用Rust语言构建的开源Agent操作系统，其核心创新在于引入了“Hands”的概念——你可
AngelSlim是什么 随着大模型参数规模不断增长，如何实现高效推理与低成本部署已成为开发者面临的核心挑战。腾讯混元团队推出的开源工具包AngelSlim，正是为解决这一难题而生。它是一个面向全模态大模型的综合压缩与加速解决方案，集成了量化、投机采样、稀疏化及知识蒸馏等前沿技术，旨在为各类大语言模
在信息过载的数字化时代，音频与视频内容已成为知识传递、创意表达与商业沟通的核心载体。然而，如何将这些宝贵的非结构化媒体资产，高效、精准地转化为可搜索、可分析、可编辑的文本格式，始终是内容创作者、市场研究人员、学者及商务人士的核心痛点。一款强大的AI转录工具，正是打通音视频内容价值闭环、释放生产力潜能