昨天的苹果发布会刚开到一半，Apple 智能（Apple Intelligence）这个词条就已经席卷了热搜榜。
发布会上，苹果官宣牵手 OpenAI，GPT-4o 将被正式融合到 Apple 智能系统。尽管苹果高管 Craig Fedrighi 对外表示，OpenAI 仅仅只是入选者之一，但这场看似珠联璧合的合作，还是躲不过外界的「挑刺儿」和「吃瓜」。
就连马斯克都来凑热闹，先是给苹果的隐私保护打了个差评，接着放狠话说要禁用苹果设备。不过，剧情总有反转——据 CNBC 报道，马斯克已经撤回了针对 OpenAI 及其 CEO Sam Altman 的诉讼。另外，还有细心的网友发现，新版 Siri 似乎真能读取手机上的所有应用程序。究竟真相如何？不妨翻阅一下苹果最新发布的博客，或许这里面隐藏着答案。
端云混合，30 亿参数端侧模型有惊喜
Apple 智能的路线，是典型的「两条腿走路」——端侧模型和云端大模型并行。
云端大模型自不用提，庞大而复杂，需要在苹果的芯片服务器上运行，并且能够处理更专业、更复杂的任务。而在端侧模型上，Apple 智能拥有一个大约 3B 参数的模型。在国内普遍徘徊在 7B 的水平线面前，苹果的 3B 参数显得有些低调。
一般来说，考虑到端侧设备计算能力和存储空间有限，参数越多，模型的学习能力越强。但苹果这个端侧模型虽然只有 3B 参数，却打出了「四两拨千斤」的效果。
过去一整年，类似这种大有打破「Scaling Laws」的案例我们可没少见。比如微软最新的 Phi-3-mini 模型，只用 3.8B 参数就敢与 7B 大哥叫板。又或者，跑在 Google Pixel 8 Pro 上的 Gemini Nano，分别只有 1.8B（Nano-1）和 3.25B（Nano-2）。
比起纸面参数上的较量，苹果主打一个「用户的体验才是王道」。博客透露，苹果采用了很多真实世界中的例子来测试模型的实际效果，从分类、问答、数学推理，到开放式问答、安全性、总结和写作，可谓是应有尽有。而且，就算是和 Phi-3-mini、Gemma-7B、Mistral-7B 等模型同台竞技，在人类「评委」的投票下，苹果的端侧模型也都是众望所归的佼佼者。
苹果对 AI 的追求，不仅仅是好用，更是安全。在测试处理有害内容、敏感话题和事实准确性的能力上，苹果基础模型也下足了功夫，违规率远低于绝大多数模型。
作为一家坐拥超过 22 亿活跃设备的巨头，苹果在违规率上的选择似乎只有低和更低。这其实也与苹果一向的安全措施相吻合。库克的那番话虽然口头上处处不谈隐私，但字里行间全是隐私的雷点：它必须了解你，并基于你的个人背景——你的日常生活、你的人际关系、你的沟通等等——所有这一切都超出了人工智能的范围。这是个人智能，也是苹果公司的下一个重大举措。
假如 AI 成了我们的「第二大脑」，隐私保护就不能是摆设。苹果给出的方案是：Apple 智能要深深扎根在 iPhone、iPad 和 Mac 里，这绝非功能或者服务，而是要成为系统的一部分。
但也正是因为如此，马斯克声称，如果苹果对 ChatGPT 是系统级别的集成，他将禁止员工将 iPhone 带入特斯拉。不过，或许也不用过于担心这个问题——Apple 智能背后的模型主要分成三层：本地模型（经过微调的 3B 小模型，专用于摘要、润色等任务，经过适配器的加持后能力不弱）、私有云计算（本地模型满足不了要求的，会传到云端运算，苹果确保端到端加密，保障用户数据的安全和隐私）、第三方 LLM（用于泛用的知识问答聊天，如 Siri 等应用接入了 GPT-4o 等外部模型）。
也就是说，苹果本质上还是将 OpenAI 的 ChatGPT 模型视为一个插件，未来也可能与其他模型合作。如果苹果自研模型足够强，自然可以完全淘汰第三方 LLM。另外，博客也提到，Apple 智能系统还包括其他一些模型，比如帮助程序员在 Xcode 中编写代码的模型，以及帮助用户在发信息时更直观、有趣地表达自己想法的扩散模型。
Apple 智能是如何炼成的
如果你想在电脑上制作视频，你需要安装一些额外的应用程序。在 AI 模型的世界里，苹果模型背后用到的「适配器」也是同样的道理。
简单来说，适配器就是一些模型权重的小集合，相当于一个小型插件，让模型能够快速适应不同的任务。例如，模型处理邮件和通知的总结，看起来差不多，但实际上有许多细微的差别，所以苹果给模型加上了一个叫做 LoRA 的适配器，让它能更好地完成这种任务。苹果还特别挑选了 750 个不同的总结来测试实际效果，结果发现，用了适配器的模型确实比别的模型做得更好。
苹果的诀窍在于，只调整这些适配器，而不动基础模型的「出厂设置」。这样做的好处是，模型保留了它原有的广泛知识，同时又能够通过适配器来学习一些特殊的技能。更重要的是，每个适配器占用的空间不大，哪怕模型有 30 亿参数的「大脑」，也不过占几十兆的「脑细胞」。
要想让模型学得好，数据的质量非常关键。苹果在训练模型时采取了一种混合策略，选择用人工标注的数据和苹果自己生成的数据一起训练。至于训练这些基础模型时，苹果用的是经过许可的特定数据，包括专门挑选出来增强模型特定功能的数据，以及用网络爬虫 AppleBot 从网上收集的公开数据。苹果还强调，在训练过程中，并没有用到用户的私人信息或任何交互数据，甚至还特别小心地用过滤器去清除那些在网上公开的个人信息。
训练过程中，苹果开发了两种新的技术手段来提高模型的效果。第一种方法是在训练时，让模型参考一些「老师」的意见，这些「老师」会帮助模型在遇到不确定的情况时做出选择。第二种技术叫做基于人类反馈的强化学习（RLHF），它用一种特殊的优化策略和留一算法来调整模型，让模型能够更好地估计自己的输出是否准确。通过这两种方法，模型在执行任务时的准确性有了很大提升，学得更快、更准确。
而在解决手机和云端服务器资源有限的问题上，苹果也施展了好几个新招数：
- 分组查询注意力（grouped-query-attention）：优化模型处理文字的方式
- 共享输入输出词汇表：端侧模型拥有 49k token，云端模型拥有 100k token，且包含更多语言和技术相关的词汇
- 低比特量化（low-bit palletization）：在减轻手机电量和内存压力的同时，让模型运行得更快
- 混合配置策略：采用 2 位和 4 位配置的策略，即使在有限的空间里，也能保持和没有压缩的模型一样的准确性
- Talaria 工具：帮助模型选择最合适的「传输速度」
- 激活量化和嵌入量化：让神经引擎上的键值缓存更灵活更高效
随着这些优化策略一一落实，苹果的模型在 iPhone 15 Pro 上的表现足以令人瞩目：每个 token 的处理时间仅需 0.6 毫秒，而且每秒能生成 30 个 token。这还不算，苹果还「藏着」一些技巧可以让 token 的生成速度更快，不过博客中并未透露太多。
实际上，Apple 智能的登场谈不上早，但也算不上太晚。晚的是，在其他 Android 厂商早在 AI 手机赛道上驰骋了一两年时，苹果似乎只是在一旁静静地观察，直到最近才缓缓地迈出自己步伐。但别忘了，苹果作为全球领先的终端消费场景制造商，它的每一个动作都牵动着市场的脉搏。简言之，在 AI 的实际落地场景中，苹果才是不可或缺的那一个。这就好比，将 AI 命名为 Apple Intelligence，表面上看是一个巧妙的「谐音梗」，但从更深层次来看，当 Apple 智能融入苹果的生态系统，这本身就是一种实力和自信的象征。当然，在此之前，无论是厂商在 AI 赛道上的博弈，还是无法回避的隐私问题——说实话，我更感兴趣的是，国行苹果的 AI 功能究竟会花落谁家？
