1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
机器之心编辑部
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
熟悉开源社区的朋友对 vLLM 应该不会陌生。它是由加州大学伯克利分校团队打造的高性能、开源 LLM 推理和服务引擎，主要目标是提升大语言模型（LLM）的推理速度（吞吐量）和资源利用率（尤其是内存），并且兼容 Hugging Face 等主流模型库。
简而言之，vLLM 可以让 GPT、Mistral、LLaMA 等主流模型系列运行得更快且占用更少资源，而实现这一效果的核心技术就是其创新性的注意力机制方案——PagedAttention。
近日，来自 DeepSeek 的 AI 研究员、深度学习系统工程师俞星凯从零开始构建了一个极简版本的 vLLM 实现——Nano-vLLM，将整个项目代码压缩到了仅 1200 行以内。
目前该项目已在 GitHub 上获得超过 200 颗 Star。
图片GitHub 地址：https://www.php.cn/link/b3f2a6b3e119aaa5a1326802e7b49403
具体来看，Nano-vLLM 具备以下三大核心特点：
第一，具备高效的离线推理能力，推理速度与原版 vLLM 相当。
第二，代码结构简洁易读，Python 总行数控制在了 1200 行以内。
第三，集成了多项优化工具，如 Prefix 缓存、Torch 编译以及 CUDA 计算图等特性。
俞星凯在进行基准测试时使用了如下配置：
硬件：RTX 4070模型：Qwen3-0.6B总请求数：256 个序列输入长度：100–1024 tokens 范围内随机输出长度：100–1024 tokens 范围内随机测试结果如下表所示，Nano-vLLM 与 vLLM 输出 token 完全一致，响应时间略高，推理速度（吞吐量）稍有差距，但整体表现非常接近。
图片开发者简介
Nano-vLLM 的作者俞星凯目前任职于 DeepSeek，曾参与 DeepSeek-V3 和 DeepSeek-R1 的研发工作。
图片值得一提的是，根据其 GitHub 主页显示，他还开发过一个植物大战僵尸 Qt 版本，该项目也已获得 270 多颗 Star。此外，由于本科就读于南京大学，他还参与了不少南大的计算机相关项目，包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。
根据其 LinkedIn 页面信息显示，他曾先后在腾讯、幻方（DeepSeek 母公司）和字节跳动实习，并于 2024 年正式加入 DeepSeek 成为一名深度学习系统工程师。
图片你是 vLLM 用户吗？你会考虑尝试 Nano-vLLM 吗？
© THE END
转载请联系本公众号获取授权
相关攻略
Pywinrm 通过Windows远程管理（WinRM）协议，让Python能够像操作本地一样执行远程Windows命令，真正打通了跨平台管理的最后一公里。 在混合IT环境中，Linux机器管理Wi
早些时候，聊过 Python 领域那场惊心动魄的供应链攻击。当时我就感叹，虽然我们 JavaScript 开发者对这类套路烂熟于心，但亲眼目睹这种规模的“投毒”还是头一次。 早些时候，聊过 Pyth
Toga 是 BeeWare 家族的核心成员，号称“写一次，跑遍所有平台”，而且用的是系统原生控件，不是那种一看就是网页套壳的界面 。 写了这么多年 Python，你是不是也想过：要是能一套代码跑
异常处理的核心：让错误在正确的地方被有效处理。正确的地方，就是别在底层就把异常吞了，也别在顶层还抛裸奔的 Exception。 异常处理写得好，半夜不用起来改 bug。1 你是不是也这么干过？tr
1 Skills机制概述 提起OpenClaw的Skills机制，不少人可能会把它想象成传统意义上的可执行插件。其实，它的内涵要更精妙一些。 简单说，Skills本质上是一套基于提示驱动的能力扩展机制。它并不是一个可以独立“跑”起来的程序模块，而是通过一份结构化描述文件（核心就是那个SKILL m
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票