游乐游手机版
首页/AI热点日报/热点详情

Gemma 4 12B无编码器架构驱动设备端多模态主动工作流

类型:热点整理2026-06-26
谷歌最近放出了一个重磅消息:Gemma 4 12B来了,它的目标很直接——把自主多模态智能塞进你的笔记本电脑。按照官方说法,这个新模型与Google AI Edge搭配之后,开发者可以在日常设备上本地构建和实验,从自主数据处理到生成可视化洞察,甚至直接搭建网页或执行工具,都能搞定。 那它靠什么实现这

谷歌最近放出了一个重磅消息:Gemma 4 12B来了,它的目标很直接——把自主多模态智能塞进你的笔记本电脑。按照官方说法,这个新模型与Google AI Edge搭配之后,开发者可以在日常设备上本地构建和实验,从自主数据处理到生成可视化洞察,甚至直接搭建网页或执行工具,都能搞定。

那它靠什么实现这种能力?核心在于架构上的一次创新——统一式多模态无编码器架构。传统多模态模型通常需要独立的视频和音频编码器作为预处理步骤,这会导致延迟增加、内存占用碎片化。Gemma 4 12B干脆把这些独立编码器全部省掉,直接把多模态数据喂进一个仅包含解码器的Transformer。这个Transformer跟Gemma 4 31B Dense模型用的是同一种先进解码器结构。

为了解决这些问题,Gemma 4 12B 采用了一个仅包含解码器的 Transformer ,它具有与 Gemma 4 31B Dense 模型相同的先进解码器结构。

具体来说,它用了一个仅有3500万参数的视觉嵌入器,替代了其他中型Gemma 4模型中使用的27层视觉Transformer。这个嵌入器通过单次矩阵乘法,把原始的48×48像素直接投影到大语言模型的隐空间中,同时利用因子化的X–Y坐标查找机制注入空间位置信息。音频方面也类似,不再需要独立的音频编码器,而是直接把16 kHz的音频切分为40毫秒的帧(640个采样点),线性投影到LLM的输入空间。这样一来,多模态输入共享一套权重,微调过程也简化了——无论是LoRA还是全模型微调,单次迭代就能更新整个多模态循环。

开发者可以通过几个渠道实际体验这个模型:Google AI Edge Gallery展示应用、Edge Eloquent设备端语音输入应用,以及LiteRT-LM。借助AI Edge Gallery应用,你可以即时生成并执行脚本,把自然语言指令变成可运行的代码。谷歌演示的一个例子就是,模型能创建一个Python程序,渲染一张PNG图表,对比2024年和2025年出生的前10名女婴的名字。

另外,通过LiteRT-LM(启动兼容OpenAI的服务器)或llama.cpp,Gemma 4 12B还能与现有的AI框架(如OpenCode)整合。模型可以从Hugging Face、Ollama、LM Studio、Google Cloud等多个平台获取。

Reddit上已经有不少讨论。LoveMind_AI 说这可能是他很久以来听过最令人兴奋的模型之一,尤其是无编码器设计能原生处理音频,非常令人振奋。Wrong_Mushroom 则解释,无编码器的好处在于不需要额外文件就能分享图像和音频,而且训练时这些因素已经被考虑在内,理论上准确性更高。关于编程能力,虽然有人怀疑其有效性,但也有用户表示用它构建了一个包含服务器端和客户端的Python应用,上下文理解能力出色,能一次性完成大量任务且几乎不出错。当然,也有人指出它在简单任务上表现尚可,但遇到更模糊的情况就会开始失效,无法完全取代QWEN 3.6。

如果想深入了解模型架构,Maarten Grootendorst的分析文章值得一读。

来源:https://www.bestblogs.dev/article/32da9a10?utm_source=rss&utm_medium=feed&utm_campaign=resources&entry=rss_article_item

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。