百度百舸持续开源生产级代码，联合SGLang社区打造先进AI基础设施
当前，Token 的消耗量呈现出年均百倍增长的态势。国家数据局统计显示，截至今年6月底，我国日均Token消耗量从2024年初的1000亿，已经突破至30万亿，1年半时间增长了300多倍。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
随着以DeepSeek、Ernie 为代表的 MoE 类推理模型爆火，大规模分布式推理系统的建设成了支持 AI 落地的挑战。推理成本、推理效率、推理稳定性，正在取代参数规模，成为决定AI商业化上限的关键变量。
围绕这一新的行业挑战，在12月14日由百度百舸与SGLang社区联合主办的技术分享活动上，百度百舸将自己在生产系统上的最新实践成果，SGLang将业界最新成果和动态，做了一次系统性分享。
百度百舸持续开源生产级代码，联合 SGLang 社区打造先进 AI Infra
在活动开场致辞中，百度智能云AI计算首席科学家王雁鹏明确表示：百度百舸正在将生产级代码持续开源到开源社区。百度在大规模生产环境中积累的大模型训推系统的各种能力，包括经过大规模系统打磨过的高度稳定的、高度优化的各种核心组件，都将逐一向行业分享。
同时，王雁鹏强调，开源并非一时的决定，而是百度坚信的技术方向和演进路径。未来，百度会持续联合各个社区，以开源的力量推动行业共同成长。
（百度智能云AI计算首席科学家王雁鹏）
作为大模型时代崛起的重要开源项目之一的SGLang，百度智能云10月份携手SGLang社区，将一套针对DeepSeek-V3.2推理性能优化的 MTP（Multi-Token Prediction，多token预测）技术代码正式开源。SGLang 社区表示这是一项巨大的贡献，社区实测显示，采用这套技术，DeepSeek-V3.2模型解码吞吐量能提升超过2倍。
在王雁鹏看来，推理引擎正变得越来越重要。智能经济时代，推理引擎消耗的算力，将成为最核心的生产资料。如果推理成本做不到足够低，身处大模型产业链上的玩家，就将失去竞争力，难以获取Scaling的效益。
在本次 Meetup 中，百度百舸团队围绕如何建设大规模分布式推理基础设施、DeepSeek V3.2 推理引擎等方面展开了系统性分享。
百度主任架构师田健重点介绍了百度百舸在大规模分布式推理集群基础设施上的实践。
随着大模型到达千亿、万亿规模的时代，其推理的部署也遇到了“不可能三角”的挑战，需要在模型规模指数级增长、部署效率与稳定性和资源成本与弹性之间，寻求新的平衡。
百度百舸新一代大规模分布式推理基础设施，以三大核心支柱破解大模型部署困局：通过自动化编排将分布式实例“原子化”，大幅简化跨节点管理复杂度；创新“静默实例”技术实现秒级资源激活，灵活应对潮汐流量；依托高性能流量调度与“班车调度”算法，极致压榨集群性能。
百度高级架构师刘伟分享了百度百舸基于万卡级生产系统实战经验，面向DeepSeek V3.2在推理引擎层面做的深度优化工作：通过轻量级CP让长文本推理的TTFT近乎线性降低，更创新研发ESS系统破解长文本推理的显存墙困境。
面对DeepSeek V3等MoE模型部署中FFN计算密度不足、GPU利用率低的痛点，百度高级工程师刘国维带来了百度百舸在DeepSeek V3系列模型上的AE分离框架实战，展示了在复杂并行与分离架构下，百度百舸如何在性能、稳定性与运维复杂度之间取得工程平衡。
SGLang 社区：推理框架的边界正在被不断拓展
来自SGLang 社区的 5 位开发者分享 了4 个业内最新进展，展现了 SGLang 社区在行业最前沿的动态。
SGLang 核心开发者张懿带来了SGLang在Linear Model优化与Diffusion支持上的最新进展。
随着长序列推理场景等的普及，传统KV Cache管理方式面临挑战。SGLang 在内存管理、投机推理适配等方面进行了大量工程优化，使推理框架能够更好地适配新一代模型结构。
在此基础上，面向DeepSeek等主流模型所指向的统一模型技术迭代路线，SGLang也在尝试从语言模型走向统一生成引擎。11月上线的SGLang Diffusion，便对外释放了一个强烈信号，即SGLang的目标并不是一个LLM引擎，而是统一推理执行层。
来自SGLang Diffusionteam的范舒翼、陈茜，系统介绍了面向图像与视频生成的高性能推理引擎 SGLang Diffusion。在图像与视频生成场景中，SGLang Diffusion通过Pipeline组合、并行策略与Kernel复用，将Diffusion推理性能整体拉升到Diffusers的2–6倍区间，为未来DeepSeek等“理解+生成”统一模型的问世，预留了系统优化空间。
在推理加速方向，SGLang开发者李升桂带来了SpecForge项目，解决了投机推理在真实系统中落地难、稳定性差的问题，让这一理论上成熟的方法，真正具备工程可用性。
同时，来自SGLang RL Team成员李冀，也展示了SGLang在强化学习场景下的最新进展，进一步拓展了推理框架的适用边界。
随着大模型发展重心从训练范式加速转向推理范式，Token消耗需求呈现出远超以往的增长曲线。百度将持续联合开源社区，打造行业领先的AI Infra，不断逼近推理系统的上限，持续满足行业对Token消耗年增百倍的诉求。
相关攻略
百度发布首款手机龙虾应用“红手指 Operator”：支持打车、订外卖等跨 App 交互操作 继昨日百度智能云推出即开即用的零部署服务DuClaw后，今日其再度带来一款革新性产品。全球首款真正意义上的手机龙虾应用——红手指 Operator，现已在安卓平台正式上线发布。 根据官方详细介绍，这款应用并
3月24日，全球权威商业媒体《Fast Company》发布2026年“最具创新力企业”榜单。百度凭借萝卜快跑（Apollo Go）入选Automotive类别全球第二，成为唯一进入该榜单前三的中国
三月正是奋斗的季节：百度网盘 SVIP 会员 14 5 元 月年内探底 对于经常和文件打交道的朋友来说，百度网盘超级会员几乎是刚需。它的年卡日常售价通常在298元，但这价格，说实话，常有下调空间。这不，机会来了——官方最近的“开工大促”直接放出了一个相当有吸引力的方案：一次性支付188元，就能获
3月31日，香港恒生指数收涨0 15%，恒生科技指数跌0 86%。 科网股多数下跌，比亚迪电子跌超5%，华虹半导体跌超4%，零跑汽车、地平线机器人跌超2%，阿里巴巴、美团跌超1%；美的集团涨超6%，
智东西作者 程茜编辑 心缘智东西3月31日消息，昨日，中国联通发布2026年中国联通山东济南市行业客户智算一体机服务项目中标候选人公示，百度以2 9亿元中标。该项目于3月9日发布招标文件，采购内容包
热门专题
热门推荐
洛克王国异色机械方方获取指南：实用战力与绝版收藏的双重选择 对《洛克王国》的老玩家而言，机械方方是机械系宠物中稳定可靠的代表。而其异色版本——异色机械方方，凭借独特的稀有配色，不仅将收藏价值和游戏“排面”提升至全新高度，本身也是一只攻防均衡、适合过渡与日常任务的实用机械系宠物。无论是追求全图鉴的收藏
以太坊2025年11月价格展望：多维数据揭示上涨动能 随着2025年第四季度拉开序幕，以太坊的市场行情正处在一个关键的十字路口。尽管在10月份经历了近7%的回调，但历史数据、链上指标与技术信号正共同描绘出一幅潜在复苏的图景。本文将深度分析以太坊在2025年11月的核心走势逻辑，探讨多头能否借此关键时
三角洲行动2026年3月29日最新摩斯密码大全与破解位置攻略 在《三角洲行动》这款热门射击游戏中，每日刷新的摩斯密码门是获取额外物资与补给的关键途径。许多玩家都在寻找当天准确的密码与高效寻路方法。为此，我们特地为各位特勤队员整理了2026年3月29日的最新情报，涵盖五张主流地图的精准密码和详细位置图
什么是 Polyhedra Network (ZKJ)？ 聊起Polyhedra Network，可以把它看作是一个用前沿技术重新定义数字世界的区块链协议。它的核心武器是现代零知识证明系统。在这个网络中，明星产品zkBridge扮演着关键角色，它能在不同的区块链网络之间实现无需信任中介、也无需消耗冗
菜鸡梦想家探索值获取攻略：高效收集方法全解析 在热门游戏《菜鸡梦想家》中，探索值是解锁新章节、开启隐藏剧情和推进游戏进度的核心资源。许多玩家都在寻找增加探索值的最快方法。其实，获取途径多样且贯穿于整个游戏体验。本文将全面解析探索值的几种主流获取方式，帮助你快速积累，畅通无阻地揭开游戏所有秘密。 一、