近日，Meta正式开源了MobileLLM模型家族，这是一系列专为智能手机等移动设备打造的小语言模型。此外，Meta还同步发布了600M、1B和1.5B三个新参数版本，相关代码已在GitHub上公开，便于开发者下载使用。

在架构设计上，MobileLLM采用了精简高效的路线。研究团队引入了SwiGLU激活函数和分组查询注意力机制，核心目标是在不牺牲模型性能的同时，最大限度地提升运行效率。毕竟，智能手机的计算资源远不及云端服务器，需要对模型进行深度压缩与优化。

训练效率是另一大亮点。Meta团队使用32块Nvidia A100 80G GPU，训练数据量达到1万亿tokens。具体来说，1.5B参数版本的训练仅耗时18天，而125M版本更是惊人地只需要3天。在业界，这样的训练速度极具竞争力。

那么性能表现如何？在零样本常识理解任务测试中，MobileLLM 125M和350M版本的准确率分别比Cerebras、OPT、BLOOM等同类模型高出2.7%和4.3%。虽然看似百分点不多，但在小模型领域，这已是显著的提升。

更令人惊喜的是，Meta还将MobileLLM-1.5B与参数量更大的模型进行了对比。结果显示，它不仅在性能上领先于GPT-neo-2.7B、OPT-2.7B、BLOOM-3B，甚至超越了Qwen 1.5-1.8B。简而言之，参数更少，表现却更优，这才是MobileLLM真正的核心竞争力所在。