游乐游手机版
首页/业界动态/文章详情

谷歌260亿参数开源模型本地生成速度提升约4倍

时间:2026-06-14 13:04
谷歌发布260亿参数的DiffusionGemma开放权重模型,采用混合专家架构和扩散式文本生成策略,在本地设备上推理速度比传统自回归模型快约4倍,单张H100上超1000token 秒,支持多模态输入与隐私友好的本地部署。

2024年6月11日,谷歌DeepMind正式推出DiffusionGemma——Gemma开放权重模型家族的最新成员。这款模型打破了主流聊天机器人依赖自回归生成的传统路径,转而借鉴图像扩散模型的思路:先整体铺出文本,再通过多轮修正逐步完善。其核心目标非常明确:在本地设备上实现更快的推理速度。

DiffusionGemma的总参数量约达260亿,采用混合专家架构(MoE),支持多模态输入并输出文本。据谷歌介绍,在专用GPU的低延迟本地推理场景下,它的文本生成速度相比传统自回归模型最高可提升约4倍——单张NVIDIA H100上可达每秒超过1000个token,即便在GeForce RTX 5090上也能跑到每秒700 token。这一性能表现,对本地AI部署而言具有不小的吸引力。

不再逐字生成,而是铺开再修正

当前多数聊天机器人生成文本的逻辑是串行的:只有前一个token生成后,才能推算下一个。用户看到的是一行字慢慢向外蹦。而DiffusionGemma的做法更接近图像扩散模型——先用占位符铺出一段文本,然后通过多轮修正逐步逼近最终结果。一次最多可并行处理256个token。在算力到位的前提下,生成速度自然大幅提升。

对于本地AI使用者而言,这意味着:在隐私敏感、网络不稳定或需要低延迟的场景中,可以更多地依赖本机显卡完成文本生成,无需频繁将数据上传至云端。对那些不想联网或网络质量不佳的终端设备来说,这无疑是一个实实在在的利好。

260亿总参数,推理时仅激活38亿

DiffusionGemma当然不是一个小模型,但混合专家架构使其在每次推理时仅激活约38亿参数。谷歌表示,这使它有可能运行在18GB显存级别的GPU上——门槛比完整加载同等总参数的密集模型要低得多。简单来说,在算力并非无限的时代,这一设计思路显得更加务实。

这一步棋也延续了谷歌在Gemma开放权重体系中的一贯策略:通过可本地部署的模型吸引开发者,抢占边缘计算和设备端AI的生态位置。将模型开放出来,让开发者自行探索、调优和落地,这才是争夺生态的长线打法。

速度优势明确,文本质量仍有待验证

扩散文本模型并非首次出现在公众视野中。它之所以长期未能成为主流路线,关键在于自然语言比图像更依赖语法顺序、上下文连贯及事实约束——这些并非单纯靠并行处理就能解决。生成得快,不等于写得稳。

DiffusionGemma至少证明了,扩散这条路线在开放权重文本模型上可以跑出明显的速度优势。然而,它在长文本生成、复杂问答以及事实准确性方面,能否与主流自回归模型一较高下,仍需要更多独立评测给出答案。毕竟,技术炫目固然重要,真正能做到好用、稳定,才是一个模型赖以生存的底气。

来源:https://www.163.com/tech/article/KV4TBPCN00097U7T.html
上一篇年GEO产品权威评测与选型指南 下一篇年广告平台推荐三大平台能力解析与行业精准投放指南
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
台式机加装固态硬盘怎么选?三星9100 PRO深度解析
业界动态 · 2026-09-01

台式机加装固态硬盘怎么选?三星9100 PRO深度解析

台式机升级存储常受限于系统启动慢、游戏加载卡顿与大文件传输延迟。本文基于三星9100 PRO的PCIe 5 0架构、14800MB s读取、13400MB s写入、2200K 2600K IOPS、1TB~8TB容量、第八代V-NAND与5nm主控、镍涂层散热与DTG技术、散热片版适配及魔术师软件,提供选购判断与安装兼容性要点,帮助读者评估是否值得一步到位升级。

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高
业界动态 · 2026-09-01

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高

宁德时代发布2026年中期分红方案,总额达61 8亿元,同比增长35%。本文梳理分红具体安排、历史对比、业绩支撑及分红机制,帮助投资者评估公司现金流实力与股东回报策略。

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程
业界动态 · 2026-08-31

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程

企业硬盘报废面临数据复原与合规风险,需选择具备资质且流程透明的专业机构。本文解析行业乱象,介绍以团体标准为核心的合规销毁流程,涵盖上门收运、消磁粉碎、视频溯源及尾料处置,帮助企业规避泄密责任,确保数据安全闭环。

机密文件销毁找什么机构?认准团标参编与资质合规
业界动态 · 2026-08-31

机密文件销毁找什么机构?认准团标参编与资质合规

机密文件销毁找什么机构?核心在于甄别服务商是否具备正规保密资质及是否参与行业标准制定。本文解析《商业秘密及敏感信息载体销毁通用规范》团标要求,提供筛选销毁机构的实操指南,帮助企业规避数据泄露风险,确保销毁流程合规可溯。

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析
业界动态 · 2026-08-31

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析

影石Insta360 X6全球同步发售即登顶国内外主流平台销量榜首。本文解析其搭载的索尼定制方形大底传感器、4nm AI三芯架构及8K50fps画质,详解3D时光舱、AI导演等独家功能,探讨全景相机从专业工具向大众智能创作设备的演进趋势。