谷歌开源Gemma-3，引领AIGC领域算力革命。
核心内容：
1. 谷歌开源Gemma-3，算力需求锐减10倍的多模态大模型
2. Gemma-3的架构创新与技术亮点解析
3. Gemma-3性能对比，综合表现仅次于DeepSeek R1-671B

昨晚，谷歌首席执行官皮查伊亲自宣布：新一代多模态大模型Gemma-3正式开源，其核心竞争策略聚焦于“低成本、高性能”。

Gemma-3提供了四种参数规格：10亿、40亿、120亿和270亿。关键亮点在于，即便是最大规模的270亿参数版本，也仅需一张H100 GPU即可实现高效推理。要实现同等效果，其他同类模型通常需要消耗十倍以上的计算资源。毫不夸张地说，Gemma-3堪称当前市场上性能最强劲的“小参数”大模型。

根据LMSYS ChatbotArena的盲测数据，Gemma-3的综合成绩仅次于DeepSeek R1-671B，排名高于我们熟知的OpenAI o3-mini和Llama3-405B等模型。

有趣的是，DeepSeek的R1模型已然成为行业内的对标基准——国内外发布高性能低成本模型时，总免不了与它一较高下。前几天，阿里刚开源了QwQ-32B，号称参数规模大幅缩减20倍仍能与R1匹敌；如今谷歌也加入战局，积极参与这场“低成本模型竞赛”。

完整开源代码与模型权重已发布：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

Gemma-3架构与技术亮点

在架构设计方面，Gemma-3延续了前两代通用的解码器Transformer架构，但在此基础上进行了多项针对性的创新与优化。

长上下文带来的内存占用问题一直是大模型部署的痛点。Gemma-3的解决方案是采用局部与全局自注意力层交错的架构——每5个局部层中插入1个全局层。局部层的注意力跨度仅为1024个token，专注于局部细节信息；只有全局层才需要处理长距离依赖关系。这种设计显著降低了整体内存占用。

为了支持真正的长上下文处理，Gemma-3将上下文长度扩展至128K token（10亿参数版本为32K）。同时，全局自注意力层的旋转位置编码（RoPE）基础频率从10k提升至1M，而局部层则保持在10k。结合类似位置插值的方法扩展全局层的覆盖范围，使得模型在长上下文场景中能够更有效地捕捉信息，从而提升整体性能。

多模态能力是本次升级的一大亮点，Gemma-3能够同时处理文本与图像输入。它集成了定制版的SigLIP视觉编码器，这是一种基于Vision Transformer、通过CLIP损失变体训练而成的编码器。

为降低图像处理过程中的推理成本，Gemma-3采用了一项创新的图像嵌入压缩技术：将视觉嵌入压缩为固定大小的256个向量。这样一来，既能保留关键信息不丢失，又能显著减少计算资源的消耗。

此外，Gemma-3还引入了Pan&Scan方法，使模型能够灵活应对不同分辨率和宽高比的图像。简单来说，Pan&Scan会将图像分割成多个固定大小的区域，然后统一调整至标准分辨率后再送入编码器。这样做的好处是，避免了拉伸或裁剪导致的变形，从而让模型对图像内容的理解能力更强。

高效训练过程

在预训练阶段，Gemma-3采用了与Gemma 2相似的策略，但做了不少改进。为适应图像与文本混合数据的训练需求，本次使用的token预算远大于Gemma 2。具体来看：270亿参数版本使用了14T token，120亿版本用了12T，40亿版本用了4T，10亿版本用了2T。

与此同时，谷歌增加了多语言数据的比例，包括单语数据和并行数据，并采用特定策略来处理语言表示不平衡的问题。最终成果是，Gemma-3支持140种语言，其中35种语言可做到“开箱即用”。

在分词器方面，Gemma-3使用了与Gemini 2.0同款的SentencePiece分词器，具备分割数字、保留空格和字节级编码等特性。生成的词汇表包含262k个条目，这使得模型在处理非英语语言时表现更加均衡。

在训练优化上，知识蒸馏技术被扎实地应用。每个token会采样256个logits，按照教师模型的概率加权后，学生模型通过交叉熵损失来学习教师模型在这些样本中的分布。对于未被采样的logits，教师模型的目标分布会被设为0概率并重新归一化——这样能引导学生模型学到更优的分布，从而提升整体性能。

预训练完成后，Gemma-3进入后训练阶段。这一阶段的核心目标是提升模型的特定能力并整合新特性。后训练采用了改进版的知识蒸馏技术，从大型指令微调教师模型中汲取知识，同时结合基于改进版BOND、WARM和WARP的强化学习微调阶段。

为达成目标，谷歌使用了多种奖励函数来优化模型，这些函数针对帮助性、数学能力、编码能力、推理能力、指令遵循能力和多语言能力分别进行了专门设计。目标只有一个：最大化能力提升，同时最小化有害输出。奖励来源包括从人类反馈数据训练的加权平均奖励模型、代码执行反馈以及解决数学问题的真实奖励等。

测试数据

为评估Gemma-3的真实水平，谷歌在MGSM、Global-MMLU-Lite、WMT24++、RULER、MRCR等多个主流平台上进行了全面评测。

结果证明，投入的精力得到了回报——Gemma-3在多模态任务上表现出色。在DocVQA、InfoVQA和TextVQA等任务中，性能远超上一代模型。在长文本处理方面，Gemma-3的27B模型在RULER 128K上达到了66.0%的准确率，展现出扎实的长文本处理能力。

多语言支持同样不落下风，在MGSM和Global-MMLU-Lite等任务中均取得了不错的成绩。在对话能力评估中，Gemma-3的27B指令调优版本在ChatbotArena中的Elo分数达到1338，排名进入前10，距离DeepSeek R1这样的大体量模型已经十分接近。