谷歌近日正式推出DiffusionGemma，这是一款采用文本扩散这一前沿机器学习技术构建的大语言模型。事实上，该技术路线在业界已探索多时，而谷歌率先将其成熟产品化并对外开放源代码。

据官方数据显示，DiffusionGemma的文本生成速率达到传统大语言模型的四倍，同时内存占用显著降低。这意味着它不再局限于昂贵的服务器级GPU，而是能够在消费级显卡如GeForce RTX 5090上流畅运行——这才是关键亮点。

那么，它是如何实现这一突破的？文本扩散技术，顾名思义，借鉴了AI图像生成的成熟范式。图像生成的过程通常是从一张充满噪声的图片起步，AI逐步去除噪声、分析特征、恢复像素，最终生成清晰图像。DiffusionGemma的核心思路异曲同工，只是将处理对象从像素换成了文字。

当你输入提示词后，DiffusionGemma并不会像传统模型那样逐字逐Token地输出。相反，它首先生成一组随机词语作为占位符，然后通过多轮迭代，逐步将这些占位符替换为真正符合语义的词语，每轮替换后都会进行一次质量审查，如此循环直至生成完整回复。本质上，这是一种“批量生成、逐轮精修”的策略，而非传统的逐Token线性推进。

这种差异直接反映在效率层面：传统AI模型每次只能生成一个Token，而DiffusionGemma可以一次性并行生成256个Token。这类似于流水线上单线程作业与批量生产之间的效率差距，速度提升自然十分显著。

在具体硬件性能方面，谷歌提供的数据显示：在服务器级H100 GPU上，每秒可生成超过1000个Token；在桌面级RTX 5090上，每秒也能达到700个Token以上。对于需要高频交互的应用场景，这种速度提升将带来用户体验的质变。

那么，它为何能够在消费级GPU上运行？这主要得益于混合专家架构。DiffusionGemma的总参数量高达260亿，但每次推理时仅激活其中的38亿个参数。用比喻来说，就像一家公司拥有260名员工，但每次接到任务只需调用38人执行，其余人员无需参与。这样一来，内存和计算资源的占用自然大幅降低。此外，它还采用了名为NVFP4的轻量级数据格式，进一步压缩显存消耗。

该模型基于今年4月发布的Gemma 4 26B A4B进行构建。为实现文本扩散，谷歌对其注意力机制进行了关键性调整。传统模型的注意力模块仅能参考前文内容来推断当前词语的含义，而DiffusionGemma的新型注意力模块还可以同时审阅当前词语之后的文本。换言之，它具备了“回看”能力，这使得其在理解和生成方面更贴近人类的阅读习惯。

谷歌研究科学家Brendan O'Donoghue与Sebastian Flennerhag在博客中表示：“尽管AI研究社区多年来一直在探索基于扩散的文本生成方法，但将其应用于大规模模型始终充满挑战。DiffusionGemma通过改变模型对硬件的利用方式，成功突破了这一瓶颈。”——这段论述点明了此项工作的本质：并非创造了全新的算法，而是使早已存在的思路在硬件上真正得以落地。

目前，DiffusionGemma已在Hugging Face平台以开源许可证形式发布，公众可免费获取并使用。这意味着，不仅仅是大型企业，任何拥有相应显卡的开发者都能亲自尝试这一模型。

Q&A

Q1：DiffusionGemma是什么模型，有什么特别之处？

A：DiffusionGemma是谷歌推出的一款采用文本扩散架构的大语言模型。其独特之处在于，它摒弃了传统模型每次仅生成一个Token的方式，转而一次并行生成256个Token，生成速度达到传统模型的四倍。此外，其内存占用更低，可在消费级高端显卡如RTX 5090上运行，每秒生成速度超过700个Token。

Q2：DiffusionGemma的文本扩散原理是怎么运作的？

A：简而言之，它借鉴了AI图像生成领域成熟的技术路径。接收提示词后，模型首先生成一组随机词语作为占位内容，然后逐步将这些随机词替换为有意义的答案词语，每一轮都会对已有内容进行审查并补充新词，通过反复迭代直至生成完整回复。这种方法本质上属于“先生成后精修”，与传统逐Token生成的逻辑完全不同。

Q3：DiffusionGemma采用了哪些技术来降低内存占用？

A：主要依靠两项技术：其一是混合专家架构，模型总参数量达260亿，但每次推理仅激活38亿个参数，大幅降低了活跃参数数量；其二是采用轻量级数据格式NVFP4存储信息，进一步压缩显存占用。二者协同作用，使得模型能够在消费级GPU上流畅运行。