2023年10月，苹果公司悄然发布了一款名为Ferret的开源多模态大语言模型，直到近期才逐渐受到更广泛关注。该模型是苹果与哥伦比亚大学研究人员合作的成果，当时公开了代码和模型权重（仅限研究用途，未提供商业许可）。坦白说，这一消息在当时并未引起太大轰动。

然而近期情况发生了变化。Mistral推出的开源MoE模型成为业界焦点，谷歌的Gemini也即将登录Pixel Pro并逐步整合进Android系统。一个明显的趋势正在浮现：本地大语言模型（Local LLMs）正为移动端和小型设备开辟全新的应用可能。正是在这一背景下，许多人开始重新审视苹果此次低调的开源举动。

欧洲医疗开源AI非营利组织负责人Bart de Witte近日在X平台上表达了惊讶：“我之前竟然没注意到这个。”他进一步指出，苹果在去年10月正式迈入开源AI领域，而Ferret的发布彰显了该公司对深度AI研究的长期承诺，并进一步巩固了其在多模态AI领域的领先优势。他甚至期待未来Local Large Language Models能够作为重新设计的iOS的一部分，在iPhone上本地运行。

那么，Ferret究竟具备什么能力？苹果AI/ML研究科学家Zhe Gan在去年10月的一条推文中阐述了其核心特性——一个能够在图像中以任意粒度对任意位置的任意物体进行参照和定位的系统。关键突破在于，它还能通过使用图像中任意形状的区域来实现这一操作。

更直白地说：该模型能够分析图像上绘制的区域，识别出对用户查询有用的元素，并在检测到的元素周围绘制边界框。随后，它可将识别出的元素作为查询内容的一部分，以标准的响应方式给出反馈。

举例来说：如果用户高亮图像中的某只动物，然后询问LLM这是什么动物，模型不仅能识别出动物的种类，还能判断出你指向的是动物群中的特定个体。随后，它还能结合图像中检测到的其他元素，提供更丰富的上下文回复。

相关资源链接：GitHub上可获取项目代码和模型权重，arXiv上已发布详细论文。Ferret提供7B和13B两个版本。为增强模型能力，苹果专门收集了名为GRIT的数据集，包含110万个样本，这些样本涵盖了丰富的层次空间知识。

苹果长期以来给人的印象是封闭——封闭生态系统、围墙花园式开发、严格保密协议、极少公开技术细节，甚至为每一个小功能申请专利。然而，通过这次发布开源LLM模型，这家公司似乎在逐渐转变形象。它在AI领域的积极参与和创新精神正日益显现。无论对苹果自身还是对整个AI行业而言，这都是一个值得长期关注的信号。

VentureBeat撰稿人Ben Dickson的一句话或许代表了许多人的感受：“2023年最让你意外的人工智能进展是什么？对我来说，是苹果发布了开源LLMs（尽管是非商业许可）。”的确，一个以封闭著称的行业巨头主动打开一扇门，这一举动本身就耐人寻味。