游乐游手机版
首页/科技数码/文章详情

百度百舸X SGLang开源MTP代码,DeepSeek-V3.2推理性能提升2倍

时间:2025-10-28 15:57
【】开源社区是 AI 创新的核心引擎。通过全球开发者的智慧碰撞与代码共享,我们才能快速突破技术壁垒,共同迈向 AGI 的未来。近日,百度百舸与 SGLang 社区深度合作,将一套经过生产系统严苛验证

开源社区是推动 AI 创新的核心引擎。全球开发者汇聚智慧、共享代码,我们才有机会更高效地突破技术瓶颈,携手迈向通用人工智能的未来。

近期,百度百舸与 SGLang 社区展开深度合作,正式开源一套已在生产系统中经过严格验证的 MTP 高性能推理代码。

这套代码在性能上表现卓越,更在百度内部大规模服务中验证了其优异的稳定性与可靠性。SGLang 社区的实际测试表明,该代码让最新的 DeepSeek-V3.2 模型实现了解码吞吐量提升超过 2 倍的显著性能改进,从而帮助开发者直接在生产环境中部署这套优化方案。

代码地址:https://github.com/sgl-project/sglang/pull/11652

本次开源的核心是一个为 DeepSeek-V3.2 全新的 DSA 架构专门定制的 MTP 实现。由于 DSA 架构的引入,原先适用于旧版 DeepSeek 模型的 MTP 代码无法直接复用。同时,架构的升级在带来新的优化机遇的同时,也为推理性能突破带来了全新的挑战。

MTP 技术让模型在单次前向传播中一次性预测多个未来 token,再统一进行验证,这显著减少了生成完整序列所需的总步数。其核心价值在于通过改变传统的解码方式突破效率瓶颈:

○ 传统方式(自回归解码):模型每次只生成一个 token,必须等待上一个 token 生成完毕后才能继续生成下一个。这种方式虽然稳定,但在速度方面存在明显限制。

○ MTP 方式(批量生成,集中验证):模型能够智能地一次性推理出多个候选后续 token,再统一进行验证。这好比从逐个打字提升为智能联想输入,一次性能给出多个候选词组,从而大幅降低了生成轮次,打破了序列化处理的瓶颈。

百度智能云的核心工作,正是为全新的 DSA 架构实现了这套高效的 MTP 方案。生产级别的代码贡献使得 SGLang 社区的开发者无需重复底层探索与试错,便能直接获得性能倍增且稳定可靠的推理能力。

未来,百度百舸 AI 计算平台的研发团队将持续向 SGLang 社区开源更多生产级别的核心代码,与全球开发者携手推动大模型技术的创新发展与普惠应用。

来源:https://www.citreport.com/news/200037-1.html
上一篇大V吐槽搜狗输入法广告泛滥,专家称商业化不可避免 下一篇小米智能家电工厂投产:高端空调6.5秒下线刷新制造速度
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5

电动汽车电池新国标7月实施热失控不起火不爆炸
科技数码 · 2026-07-01

电动汽车电池新国标7月实施热失控不起火不爆炸

自2026年7月1日起,两项关乎电动汽车安全的核心强制性国家标准将正式实施,为行业加装“安全锁”——《电动汽车安全要求》(GB 18384-2025)与《电动汽车用动力蓄电池安全要求》(GB 38031-2025)同步落地。此次标准升级,从整车架构与电池系统两大维度,精准填补了近年来多起事故暴露出的