英伟达近日发布博文称,在 Blackwell 平台上借助全栈推理优化技术,相比 DeepSeek V4 模型初始上线阶段,单 Token 推理成本已降低至原来的五分之一。需要强调的是,这一对比基准是模型上线初期的水平,而非近期版本,成本降幅非常显著。

先简要说明“单 Token 成本”——它指的是模型生成或处理每个 token 所需费用的关键指标。业内常以此横向对比不同硬件、软件栈或部署方案的推理性价比。英伟达此次明确将单 Token 成本纳入 AI 总拥有成本(TCO)的核心评估维度,并宣称针对 DeepSeek v4,Blackwell 平台已实现行业最低的推理成本。
那么,这五分之一的成本降幅是如何实现的?答案在于三层协同优化架构:生产运营层、应用加速层和基础设施访问层。具体来说,生产运营层负责分布式服务编排、自动扩缩容及内存管理;应用加速层专注运行时优化,包括计算与通信重叠、内核融合等硬核技术;基础设施访问层则高效调用 GPU、网络、内存与系统资源。三层各司其职,共同推动成本下降。
更值得关注的是性能提升。英伟达通过分离式服务、大规模专家并行、基于 NVIDIA NVLink 的并行通信、NVFP4 精度以及多 token 预测等创新技术,使 Blackwell 平台单 GPU 的 token 吞吐量最高提升至 20 倍。20 倍意味着原来处理一次任务的时间,现在可以完成二十次,推理成本自然被大幅摊薄。
总结来看,此次刷新纪录并非依赖单一硬件突破,而是全栈协同优化的结果——从运营调度到运行时优化,再到基础设施调优,每个环节都在持续压低推理成本。对于部署 DeepSeek V4 的团队而言,这无疑是一个实实在在的利好消息。
