游乐游手机版
首页/科技数码/文章详情

百度百舸X SGLang开源MTP代码,DeepSeek-V3.2推理性能提升2倍

时间:2025-10-28 15:57
【】开源社区是 AI 创新的核心引擎。通过全球开发者的智慧碰撞与代码共享,我们才能快速突破技术壁垒,共同迈向 AGI 的未来。近日,百度百舸与 SGLang 社区深度合作,将一套经过生产系统严苛验证

开源社区是推动 AI 创新的核心引擎。全球开发者汇聚智慧、共享代码,我们才有机会更高效地突破技术瓶颈,携手迈向通用人工智能的未来。

近期,百度百舸与 SGLang 社区展开深度合作,正式开源一套已在生产系统中经过严格验证的 MTP 高性能推理代码。

这套代码在性能上表现卓越,更在百度内部大规模服务中验证了其优异的稳定性与可靠性。SGLang 社区的实际测试表明,该代码让最新的 DeepSeek-V3.2 模型实现了解码吞吐量提升超过 2 倍的显著性能改进,从而帮助开发者直接在生产环境中部署这套优化方案。

代码地址:https://github.com/sgl-project/sglang/pull/11652

本次开源的核心是一个为 DeepSeek-V3.2 全新的 DSA 架构专门定制的 MTP 实现。由于 DSA 架构的引入,原先适用于旧版 DeepSeek 模型的 MTP 代码无法直接复用。同时,架构的升级在带来新的优化机遇的同时,也为推理性能突破带来了全新的挑战。

MTP 技术让模型在单次前向传播中一次性预测多个未来 token,再统一进行验证,这显著减少了生成完整序列所需的总步数。其核心价值在于通过改变传统的解码方式突破效率瓶颈:

○ 传统方式(自回归解码):模型每次只生成一个 token,必须等待上一个 token 生成完毕后才能继续生成下一个。这种方式虽然稳定,但在速度方面存在明显限制。

○ MTP 方式(批量生成,集中验证):模型能够智能地一次性推理出多个候选后续 token,再统一进行验证。这好比从逐个打字提升为智能联想输入,一次性能给出多个候选词组,从而大幅降低了生成轮次,打破了序列化处理的瓶颈。

百度智能云的核心工作,正是为全新的 DSA 架构实现了这套高效的 MTP 方案。生产级别的代码贡献使得 SGLang 社区的开发者无需重复底层探索与试错,便能直接获得性能倍增且稳定可靠的推理能力。

未来,百度百舸 AI 计算平台的研发团队将持续向 SGLang 社区开源更多生产级别的核心代码,与全球开发者携手推动大模型技术的创新发展与普惠应用。

来源:https://www.citreport.com/news/200037-1.html
上一篇大V吐槽搜狗输入法广告泛滥,专家称商业化不可避免 下一篇小米智能家电工厂投产:高端空调6.5秒下线刷新制造速度
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
宫本茂亲签3DS XL拍卖价破两万美元
科技数码 · 2026-05-29

宫本茂亲签3DS XL拍卖价破两万美元

今天来说一件挺有意思的事:2015年任天堂世界锦标赛冠军约翰·戈德堡,近日将他当年夺冠时赢得的宫本茂亲笔签名版3DS XL掌机放上了拍卖平台。截至2026年5月29日,这台签名掌机的竞拍价已突破两万美元,并且价格还在持续攀升。戈德堡在社交媒体上发布声明表示,经过相当长时间的慎重考虑,他决定将这台对自

七彩虹隐星P16 Pro游戏本新配置仅售7799元
科技数码 · 2026-05-29

七彩虹隐星P16 Pro游戏本新配置仅售7799元

七彩虹近期推出隐星P16Pro游戏本新配置,售价7799元。其搭载酷睿i9-13900HX处理器与RTX5060显卡,配备16英寸2 5K高刷电竞屏及高效散热系统。存储组合为16GB内存与1TB固态硬盘,支持后续扩展。该配置主打高性能性价比,适合预算有限但追求强劲性能的游戏玩家与轻度创作者。

苹果iPhone Hikawa握把支架448元重新上架
科技数码 · 2026-05-29

苹果iPhone Hikawa握把支架448元重新上架

苹果公司重新上架了与艺术家贝利·桧川及PopSockets合作设计的iPhone专用握把支架。该配件采用磁吸设计,兼具握持与支架功能,旨在通过人性化设计降低握持负担,并提供三种配色可选,售价448元。

苹果体育应用扩展至170市场 为2026世界杯引入对阵图
科技数码 · 2026-05-29

苹果体育应用扩展至170市场 为2026世界杯引入对阵图

苹果体育应用新增覆盖90多个国家和地区,全球可用市场总数超过170个。为迎接2026年世界杯,应用加入了完整的赛程对阵图和可视化阵型卡片,方便用户追踪赛事与战术。同时,应用支持实时活动功能,可将比分固定在锁屏或表盘,并新增一键跳转至新闻的入口。目前该应用仍仅限iPhone用户使用。

小米史上最强国产巅峰芯片玄戒O3 6月台积电3nm投产
科技数码 · 2026-05-29

小米史上最强国产巅峰芯片玄戒O3 6月台积电3nm投产

据博主爆料,小米下一代自研玄戒芯片计划于今年6月正式进入量产阶段,此次将采用台积电3nm工艺。初代玄戒O1累计出货量已突破100万颗,量产验证十分扎实。新一代芯片的产能将显著提升,这意味着供货问题基本得到解决。 根据现有曝光信息,这颗迭代芯片极有可能命名为玄戒O3,首发搭载机型预计为小米MIX Fo