什么？大型AI模型也开始“打减肥针”了？

这并非空穴来风。据CNBC报道，苹果公司正在与初创企业PrismML接洽，这家公司以其最新的模型压缩技术闻名，苹果希望通过合作评估在iPhone上直接运行更大规模AI模型的可行性。

（图源：CNBC）

回想这些年，每当手机发布会进入AI展示环节，观众们往往都会下意识地拿起水杯——因为流程实在太熟悉了。

倒也不是对厂商有意见，实在是这套流程大家都烂熟于心：先让AI总结屏幕内容，再通过图像编辑进行个性化调色或消除路人，今年还普遍新增了语音助手点咖啡的功能。

但这也不能全怪手机厂商，当前主流大模型确实无法装入手机，而经过裁剪的端侧模型，智能水平又远远不够。最终，厂商能宣传的只有云端更新的功能——比如豆包推出AI播客后，主流厂商几乎在三个月内纷纷跟进。

问题来了：如果完整大模型能“瘦身”到手机装得下，那么端侧AI助手真的能承担起主力角色吗？

从54GB降至4GB，模型压缩技术即将普及？

先来看看这两个问题：

PrismML究竟是何方神圣？

根据官网介绍，PrismML是一家专注于模型压缩的初创公司，脱胎于加州理工学院研究团队，并获得了Khosla Ventures、Cerberus和Google的支持。其研究重点是如何在尽可能不降低模型性能的前提下，大幅压缩体积和运行成本。

（图源：PrismML）

他们具体做了什么？

PrismML的思路与BitNet等低比特模型路线类似，它通过大幅简化AI模型内部信息的存储方式，将每个权重限制为二值或三值表达，从而显著降低存储和运行模型所需的内存，实现体积缩小。

具体来说，传统大模型的一个参数，通常需要16bit甚至32bit来保存。

（图源：HuggingFace）

在这种情况下，一个270亿参数的模型若采用FP16精度，其体积约为270亿×2字节≈54GB，这大致是Qwen3.6-27B在FP16下的体积。

别说智能手机，就连许多消费级PC也难以完整运行这样的模型。

而在PrismML的方案中，1-bit版本的参数被简化为{-1, +1}，好比以前照片每个像素需保存16级灰度，现在只需黑、白两种灰度。虽然信息损失巨大，但体积可压缩至原来的1/14，并且通过训练方式可以恢复部分推理性能。

（图源：PrismML）

基于这一技术，PrismML于7月15日正式发布了Bonsai-27B模型。该模型基于Qwen3.6-27B微调，在保留完整上下文的前提下，将体积从约54GB压缩至不足4GB，使其能够在12GB内存的iPhone上原生运行。

要知道，谷歌面向手机和边缘设备推出的Gemma 4 E4B约为3.65GB，而PrismML用几乎相同的“占地面积”，塞进了一个名义上拥有270亿参数的密集模型。

至于实际使用体验暂且不论，硬件厂商看到这个数据无疑会眼前一亮。

（图源：PrismML）

因此，苹果对这项技术感兴趣，一点也不奇怪。

要知道，苹果自身的端侧模型大约30亿参数，也采用了2位量化、缓存共享等手段，但仅能实现实时翻译、相册搜索和邮件摘要等功能，基本不具备Agent相关的执行能力。

而Bonsai-27B模型仍然保留了Qwen3.6-27B的部分Agent能力。

当然，性能损失依然存在。在PrismML的测试中，三值版本综合成绩约为全精度模型的95%，1-bit版本约为90%，而在工具调用等Agent关键任务上，损失更为明显。

社区测试也有反馈称，PrismML三值版本相比Q4_K_XL仍存在幻觉、Agent循环等问题，但优势在于体积极小，基本实现了以5.9GB体积媲美17.9GB的效果。

（图源：Reddit）

但无论如何，能用总比不能用强。

从物理上装不下，到实际体验能否接受，沿着这条路继续推进，后续的竞争将会更加激烈。

AI手机爆发在即，端侧AI能力亟需提升

有趣的是，7月15日，苹果智能、华 为小艺、OPPO、小米、vivo等七款提供手机端侧生成式人工智能的模型服务，均已在中国网信部门完成备案。

不得不说，这份名单颇为热闹，显然今年手机厂商都开始认真布局端侧AI了。

（图源：网信办）

原因不难理解，诸如通知摘要、通话整理、相册搜索、图片识别等任务，完全没必要每次都依赖云端处理。

尤其是聊天记录、照片和文件等私人信息，能够在本地解决当然最佳。考虑到Grok最近爆发的隐私问题，完全可以理解大家不愿意让自己的数据在互联网上传来传去的心情。

问题来了，从实际体验来看，目前各品牌手机AI功能仍以云端为主，绝大部分功能在断网后便无法使用。

为什么会出现这种情况？目前手机的端侧AI又发展到了什么水平呢？

正好，我最近在Google AI Edge Gallery中体验了Gemma 4 E4B，可以分享一些使用感受。

（图源：谷歌）

首先，需要说明的是，Gemma 4 E4B已经是手机端侧模型中相当出色的一款，支持文字、图片、音频处理；模型下载后，即使在断网状态下也能正常使用。

例如Ask Image功能，实现了以往许多手机端侧AI难以做到的多模态输入。

实测显示，Gemma 4具备不错的图片识别能力。虽然对动漫角色仍不太熟悉，但能较好地捕捉画面特征，常见的食物、硬件、花卉等都能准确识别。

还有Ask Audio功能，最多可上传30秒音频并进行转写、总结等操作。

这个功能表现较为逊色，可能是由于录音模糊，语音转文字的结果与原音频几乎无关，目前可用性一般，建议还是用豆包或千问进行总结更为可靠。

至于文本处理嘛...

我向几款可在手机端部署的模型输入了一篇约2500字的文章，要求它们生成摘要。

最终，只有Gemma 3n E4B和Gemma 4 E4B完成了任务。前者耗时近两分钟，且答案抓不住重点；后者给出的摘要更加简明扼要，基本覆盖了主要信息点，用于快速浏览资料完全足够。

甚至一些以往解决不了的逻辑题，Gemma 4 E4B也能通过长时间思考给出答案，只是思考时间远超在线大模型的响应速度。

实际测试表明，Gemma 4 E4B证明了手机本地模型确实能够胜任工作。

然而，只有在进行摘要、改写、简单识图等任务时，用户才愿意使用它；一旦任务稍微复杂，尤其是涉及长文本、细节判断和内容创作时，它与在线大模型之间的差距依然明显，更不用说Agent调用等高级任务了。

要知道，从压缩率和功能性来看，Gemma 4已经是目前最强的手机端侧AI模型之一。

想要突破这一瓶颈，苹果或许需要舍弃现有的压缩方式，在相同空间内塞入参数规模更大的模型，才能使手机拥有一个不那么容易犯错的“大脑”。

参数规模不是关键，效率才是模型落地的核心

过去谈论大模型时，人们往往认为参数越多越有排面。

百亿只是起步，万亿也不嫌多，发布会上报参数像菜市场称重，主打一个“我家萝卜，又大又壮”。

这听起来没问题，但实际运行起来却是另一回事。

根据Jordan Hoffmann团队的Chinchilla缩放定律研究，在相同训练算力下，训练数据更充分的70B模型能够全面超越欠训练的280B和530B模型。即便是万亿参数的MoE模型，显存占用和内存带宽依然是巨大挑战。

（图源：arxiv）

更重要的是，如此庞大的参数规模，自然不可能进入消费级终端设备。

端侧模型若想常驻手机，就必须提升效率，直面内存、功耗和散热问题。PrismML的压缩算法为各硬件厂商指明了一条道路，再加上千问、百度与苹果的本地化合作，也让苹果三年前承诺的“苹果智能”距离真正落地更近了一步。

未来大模型的进步，或许不再需要依靠骇人的参数数字。

在有限的存储空间内稳定运行，少犯错、少发热，关键时刻真正能帮上忙，这才是端侧AI下一阶段最应该努力的方向。

以「智能伙伴·共创未来」为主题的WAIC2026即将开幕。

AI叙事路线从模型参数堆叠转变为Agent生产力落地；异构协同、光子计算持续提升计算上限；具身智能加速应用，机器人走进家庭和工厂，让物理AI变为现实。