不要只关注OpenAI和Anthropic的大模型竞赛了。

最近，谷歌悄然完成了一项重要突破：将图像生成领域的扩散模型成功应用于文本生成，并且直接实现了4倍速度提升。

这款新模型名为DiffusionGemma，完全摒弃了传统自回归模型逐字生成的打字机方式，转而像一台印刷机那样运作——它一次性铺设256个token的“画布”，从随机噪声开始，经过多轮去噪过程，整段文字同时呈现。

速度表现十分惊人：在单块H100上每秒可生成超过1000个token，即便在消费级RTX 5090上也能达到700+的速率。与同等规模的自回归模型相比，速度提升了整整4倍。

更值得注意的是，这是一个拥有260亿参数的MoE模型，但推理时仅激活38亿参数。经过量化处理后，仅需18GB显存即可部署。这意味着：一张RTX 4090就能在本地流畅运行。

目前DiffusionGemma采用Apache 2.0开源许可证，模型权重可直接从Hugging Face下载，商用也完全允许。

速度至上，效率为王

至此，大家应该已经清楚，DiffusionGemma最突出的特点就是“快”。

究竟有多快？让我们用数据说话。

在同一块H100上（fp8，batch size=1），DiffusionGemma达到了1000+ tokens/s，而采用标准自回归的Gemma 4 26B A4B，即便启用了MTP加速，也仅能达到300+ tokens/s——速度差距接近4倍。

要理解DiffusionGemma为何如此之快，首先需要明白当前模型为何“慢”。

如今的主流大模型，无论是GPT、Claude还是Gemini，底层均采用自回归架构——如同一位打字员，从左到右逐字逐token地输出。每生成一个新token，都需要重新加载一次数百亿参数的模型权重。

在云端环境下，这并非大问题。服务器可以同时处理上千个请求，将硬件利用率推到极致。

但如果你在本地运行模型，场景则完全不同——

只有你一个人在本地使用，GPU的绝大部分算力实际上处于空闲状态，只等着逐字生成。工程师称这种现象为“内存带宽瓶颈”（memory-bandwidth bound）。

DiffusionGemma的解决方案，正是利用扩散模型来突破这一瓶颈。

回想一下，扩散模型在生成图像时，是否直接对整张图像的所有像素同时进行去噪？没错，它的工作机制就是一次性对一整块token进行并行操作，天然具备并行能力。

这意味着GPU一次性接收到大量并行计算任务，Tensor Core火力全开，不再等待。计算瓶颈从“内存带宽不足”转变为“算力是否充足”，而算力恰恰是GPU最擅长提供的。

具体到DiffusionGemma，其原理与Stable Diffusion类似，只不过去噪过程生成的不是图像，而是文本。

• 第1步： 铺设一张包含256个随机占位符的“画布”。
• 第2步： 进行多轮迭代去噪，高置信度的token优先锁定，然后利用它们作为上下文线索来修正其余部分。
• 第3步： 整段文本逐步收敛，形成最终输出。

用谷歌自己的比喻来说，这是从单线程的“打字机”升级为整版印刷的“印刷机”。

可以看看下面这个由Hugging Face制作的DiffusionGemma文本生成3D SVG演示，直观感受逐步生成的过程——模型并非从第一行代码写到最后一行，而是整块SVG代码同时浮现、同时修正，最终收敛成一把完整的3D宝剑。

双向注意力：不只是速度优势

除了速度，DiffusionGemma还有一个值得关注的亮点：双向注意力机制。

传统自回归模型只能单向向前看。当生成第N+1个token时，它只能看到第1到第N个token，无法看到尚未生成的未来内容。

而DiffusionGemma的256个token是同时生成的，每个token都能看到画布上的所有其他token，前后文同时可见。

这带来了自回归模型难以实现的能力——实时自我修正。

模型在生成过程中实时评估整段文本的一致性，一旦发现错误立即修正，无需等待全部生成后再回头修改。

谷歌举了一个非常直观的例子：数独游戏。

数独的核心特点是“后面的数字影响前面的数字”，自回归模型由于只能单向查看，处理起来异常困难。但DiffusionGemma经过微调后，成功率直接从0%跃升至80%。

因此，如果未来面对代码补全、行内编辑、复杂Markdown格式化等需要前后文协调的场景，扩散模型无疑具有结构性优势。

谷歌的“赛马”策略实验

当然，这并不意味着扩散模型完美无缺。

它在图像生成领域的主要局限，同样体现在文本生成中：速度与质量的平衡——去噪步数越少，速度越快，但质量越差；步数越多，质量越好，但速度优势也随之缩小。

在质量方面，与同参数量的Gemma 4 26B A4B相比，DiffusionGemma在多项基准测试中确实存在差距。谷歌也坦诚地表示，生产环境推荐使用标准Gemma 4，而DiffusionGemma面向的是对速度敏感的本地交互场景。

因此，正如谷歌CEO皮猜所说，DiffusionGemma目前更像一匹“赛马”——优先提升速度。

它实际上是谷歌对下一代模型形态的一次探索：如果不再坚持逐token生成，而是让模型充分利用现代GPU的并行计算能力，大模型的速度极限究竟还能被推高多少？

说实话，谷歌并非第一个尝试验证这条路径的人。早在今年2月，初创公司Inception Labs就发布了扩散文本模型Mercury 2，声称比Claude、Gemini快5到10倍，成为业内首个真正投产的扩散语言模型。

谷歌自己去年I/O大会上也展示过Gemini Diffusion实验，当时采样速度达到每秒1479 token，但之后沉寂了一年，外界一度猜测“无法落地”。如今，DiffusionGemma强势回归，并且NVIDIA从RTX到H100全线为其护航——从4090到H100再到DGX Spark全覆盖，vLLM、MLX、Unsloth、NeMo全部支持，llama.cpp也在开发中。

表面称其为“实验性”项目，实际行动却十分务实。谷歌此次为DiffusionGemma配置的资源和生态支持，显然不是为了展示技术Demo。

从模型到推理框架再到硬件生态，DiffusionGemma已经获得了充分的支持。至于它最终能否挑战自回归模型的主流地位，目前尚无定论。但至少，谷歌已将这条路径真正开源了。