游乐游手机版
首页/AI热点日报/热点详情

DeepSeek北大发布DSpark推理框架无损提速85%落地生产环境

类型:热点整理2026-06-29
大模型领域近日迎来重要突破。DeepSeek团队携手北京大学,正式推出名为DSpark的推理框架,直指大语言模型在真实生产环境中的推理效率瓶颈。相关技术论文《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregress

大模型领域近日迎来重要突破。DeepSeek团队携手北京大学,正式推出名为DSpark的推理框架,直指大语言模型在真实生产环境中的推理效率瓶颈。相关技术论文《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》已公开发布,值得注意的是,DeepSeek创始人梁文锋本人也位列论文作者名单,全程参与了这项核心技术的研发与落地。

DeepSeek联合北大发布DSpark推理框架 无损提速最高85%落地真实生产环境

这项技术革新直击大语言模型长期以来的关键痛点——推理效率。在完全保持生成文本分布无损的前提下,DSpark成功突破了高并发生产环境下的推理速度上限。传统推测解码方案在草稿生成与资源调度方面往往存在固有短板,要么候选片段的通过率偏低,要么算力被大量浪费在无效计算上。DSpark的解决方案颇具创新:它采用半自回归候选生成架构,将并行主干网络的高速生成能力与轻量级顺序模块的时序依赖建模优势相结合,显著提高了长文本候选片段的通过率。

更关键的是,该框架还搭载了一套置信度动态调度机制。简单来说,系统会根据实时的GPU负载状态,动态调整验证长度,将算力资源精准分配给通过概率更高的候选Token。这样一来,无效计算被彻底规避,算力利用率实现了质的跃升。

目前DSpark已完成从实验室到生产环境的工程化落地,正式部署在DeepSeek-V4-Flash和DeepSeek-V4-Pro的真实线上服务中,直接承载着海量用户的日常访问流量。实测数据相当亮眼:在系统总吞吐量保持不变的前提下,单用户的文本生成速度相比现有主流方案提升了60%至85%;即便在高并发访问的峰值场景下,响应延迟依然稳定在低位,用户交互体验得到显著改善。

这项技术的正式落地,折射出一个更大的趋势——大模型行业的竞争重心正在悄然转移。单纯比拼参数规模的阶段正在过去,底层推理效率的极致优化才是下一轮竞赛的关键。通过算法层面的创新实现降本提速,这正是推动大模型服务走向大规模普惠落地的核心支撑。

来源:https://m.elecfans.com/article/8026706.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。