先说一个非常值得注意的现象:生成式AI的迅猛发展,把内存成本推向了历史高点,而谷歌作为这场变革的重要推动者,最近又在本地模型方面推出了新动作。近日,谷歌正式发布了全新的Gemma 4 12B模型,填补了今年早些时候产品系列中的一个重要空白。你可能会感到惊讶:这款Gemma 4 12B效率极高,普通消费级笔记本电脑就能流畅运行。

今年4月,谷歌曾一次性推出了Gemma 4系列的四款模型,同时宣布转向更加开放的Apache 2.0协议。当时发布的产品包括两款面向移动端优化的版本(E2B和E4B),以及两款主打高强度工作需求的模型(26B混合专家模型和31B密集模型)。不过,细心的开发者应该已经注意到:这四款模型之间,存在一段明确的能力空白。而这次发布的新模型,恰好填补了这个位置。
Gemma 4 12B的能力明显超越那几款移动版,同时又无需投入两万美元购买AI加速卡,就能在本地运行。谷歌表示:它的独特之处在于,能够在大量消费级笔记本上顺畅运行,同时模型质量不打折扣。只要设备配备16GB系统内存或显存,这款120亿参数的模型就能正常工作。内存占用大约是Gemma 4 26B混合专家模型的一半,但谷歌声称其基准测试表现几乎不分上下。这才是核心价值所在。
更值得关注的是,新模型还具备复杂多步推理和智能体工作流处理能力——这些功能此前只有更大体量的Gemma版本才能实现。尽管参数量更少,Gemma 4 12B却搭载了最新设计的多Token预测(MTP)草稿器。简单来说,这项技术会在空闲处理周期时,提前预测未来可能生成的Token,从而显著提升运行速度和效率。谷歌之前也为其他Gemma 4模型提供了可选的MTP版本,但Gemma 4 12B是首款将MTP作为默认配置、开箱即用的模型。
在多模态处理上,Gemma 4 12B也展现出了创新之处。Gemma 4系列原生支持多模态输入,可以接收文本、音频和图像。大多数生成式AI模型,包括其他Gemma 4版本,通常使用专用编码器处理非文本输入,再传给大语言模型。这种方法虽然有效,但会增加延迟,占用更多内存。而在这款中等体量的新模型里,谷歌为视觉处理设计了一套精简的嵌入模块——单矩阵乘法加位置嵌入,数据在保留空间感知信息的前提下直接传给大语言模型,省去了臃肿的中间编码器。音频处理更是直接,取消了编码环节:开发团队找到了一种方法,把原始音频信号直接投影成与文本Token相同的向量表示。
如果你想体验全新的Gemma 4模型,可以通过LM Studio、Google AI Edge Gallery等工具在线访问,无需本地下载。不过,Gemma 4 12B的真正亮点在于完全本地、自主运行。只要内存满足要求,模型权重现在就能在Kaggle和Hugging Face上直接下载,文件大小约18GB。
关于这个模型,几个常见的问题值得快速回顾一下:
Q1:Gemma 4 12B需要多少内存才能运行?
A:官方表态很清楚:只要设备有16GB系统内存或显存就能正常运行,不需要昂贵的专用AI加速硬件。模型权重文件约18GB,可以在Kaggle和Hugging Face上免费下载,主流消费级笔记本基本都能用。
Q2:多Token预测(MTP)功能到底有什么用?
A:MTP是内置的新技术,能在模型运行的空闲周期里提前算好未来可能出现的Token。这样一来,生成速度和整体效率都会明显提升。值得一提的是,Gemma 4 12B是该系列首款把MTP做成默认功能直接内置的模型,其他版本只是可选安装。
Q3:Gemma 4 12B如何处理图像和音频输入?
A:多模态处理上做了创新优化。视觉方面,使用单矩阵乘法与位置嵌入的精简模块,数据直接交给大语言模型,无需额外的中间编码器;音频处理更彻底,直接省去编码过程,把原始音频信号投影成与文本Token相同的向量,从而降低延迟并减少内存消耗。
