端侧MoE模型突破：Meta MobileMoE实现手机高效推理，性能超越苹果同类方案

近两年，混合专家模型（MoE）在云端大模型领域已屡见不鲜。然而，一个显著的现象是：移动端大语言模型几乎仍以稠密架构为主。究其原因，手机的算力、内存及功耗限制极大，子十亿参数范围内的端侧MoE过去一直缺乏系统性研究。

不过，随着移动设备DRAM容量的持续提升，这一局面正在被打破。Meta团队提出的MobileMoE，堪称首次在商业智能手机上成功实现高效MoE推理的里程碑。实测结果令人瞩目：在14项基础测试中，MobileMoE-S/M在相近内存条件下，仅用稠密基线1/2到1/4的推理计算量，便达到了持平甚至更高的平均准确率。尤其在iPhone 16 Pro的GPU/MLX后端，MobileMoE-S的输入阶段最高提速达3.8倍，生成速度显著提升。

论文链接：https://arxiv.org/abs/2605.27358

更值得关注的是，研究团队总结出一套端侧MoE的缩放规律，用于指导更适配手机部署的模型结构。最终，MobileMoE为端侧大语言模型建立了全新的帕累托前沿——在精度与推理计算开销之间实现了更优的平衡，成为移动端AI部署的新标杆。

图｜MobileMoE 为端侧大语言模型建立了新的帕累托前沿。

MobileMoE架构设计详解：面向手机端的高效MoE语言模型

简单来说，MobileMoE是一类专门针对手机端部署优化的MoE语言模型。整体架构仍为decoder-only Transformer，但将原有的稠密前馈层替换为MoE层。其运行逻辑是：路由器为每个token选出得分最高的少数专家参与计算，同时一个共享专家始终参与。整个训练流程分为四步：预训练、中期训练、监督微调及量化感知训练。

预训练：研究团队在2048上下文长度下，使用约6T token的开放许可数据进行预训练。数据以Web内容为主，涵盖数学、代码、知识和科学等多领域。

中期训练：上下文长度扩展至8192，显著提升知识、代码、数学和科学等高质量数据占比，总规模约500B token。

监督微调（SFT）：基于超过8000万个样本的开放许可指令微调数据，对MobileMoE-Base进行微调。

量化感知训练：将线性层和embedding量化至INT4，激活动态量化至INT8，而router保留FP32精度。

图｜MobileMoE 的四阶段训练。

实验结果与性能分析

消融实验：专家数量、粒度与共享专家的影响

研究团队首先比较了三个架构变量：专家数量E、专家粒度g，以及是否加入共享专家。

图｜专家数量 E 的缩放。

在固定内存预算下，当内存高于约0.25GB时，MoE的损失开始低于对应的稠密模型。继续增加专家数量E，损失进一步下降，但当E达到8后边际收益明显减弱。对专家粒度g的实验表明，更细粒度的专家配置整体更优，其中g=8在效果与训练开销之间取得了最佳平衡；从8增至16时，损失改善不足0.01，但训练时长增加约50%。在相同计算预算下，加入共享专家后模型损失进一步降低。

基于消融实验结果，研究团队最终采用E=8、g=8、带共享专家的配置——即60个细粒度路由专家、Top-4路由策略和1个共享专家。该结构应用于MobileMoE-S/M/L三个版本。

图｜在计算最优条件下对 MoE 模型进行缩放。

图｜MoE 架构的训练效率。

14项基础评测：刷新端侧帕累托前沿

研究团队在常识推理、知识、科学、阅读和推理五大类共14项基础评测中，将MobileMoE与Gemma 3、SmolLM2、Qwen3.5、OLMo 2、OLMoE-1B-7B等模型放在统一设置下重新评测。

图｜MobileMoE 的预训练轨迹。

Base模型对比结果显示，MobileMoE-M平均分高于Qwen3.5 2B，MobileMoE-L平均分高于OLMoE-1B-7B，且所需模型规模更小。研究团队指出，MobileMoE-L的Base版本平均分已高于OLMoE-1B-7B的Instruct版本。在训练规模上，MobileMoE仅使用约6T预训练token，远少于Llama 3.2 1B的9T和SmolLM2 1.7B的11T。在指令微调模型整体比较中，MobileMoE-M的平均准确率已接近OLMoE-1B-7B，但活跃参数和总参数均减少约60%。

图｜MobileMoE-Base 模型对比。

高级评测：代码与数学任务性能突出

在指令微调后的高级评测中，MobileMoE在代码和数学任务上的表现更为亮眼。以MobileMoE-L为例，其在代码和数学两类评测中的平均分均高于Qwen3.5 2B和OLMoE-1B-7B。不过研究团队也坦诚指出，在指令跟随和知识推理能力上，Qwen3.5 2B仍然更胜一筹。

图｜高级基准测试上的 Instruct 模型对比。

量化与端侧部署：INT4仍具竞争力，手机端实测提速明显

量化后，MobileMoE-S/M/L的整体平均分相比各自BF16版本有所下降，降幅大约控制在2到3分之间。即便如此，MobileMoE-L的INT4版本表现仍高于OLMoE-1B-7B Instruct的BF16版本。

研究团队还将MobileMoE部署到Samsung Galaxy S25和iPhone 16 Pro上进行实测。结果显示，在可比INT4权重内存条件下，MobileMoE-S相比MobileLLM-Pro，输入阶段提速1.8-3.8倍，逐token生成阶段提速2.2-3.4倍。

内存占用方面，在Samsung Galaxy S25、8K上下文和真实prompt条件下，MobileMoE-S的峰值RSS为1.49GB，低于MobileLLM-Pro的1.91GB。

图｜端侧运行时延迟。

局限性及未来优化方向

客观而言，MobileMoE尚未达到完美。在更高阶的指令遵循以及知识推理能力上，指令微调后的MobileMoE仍落后于Qwen3.5 2B。研究团队认为，这一差距可能与更完善的后训练有关。未来若要缩小差距，训练侧需要加强蒸馏、面向推理的后训练，以及多模态扩展。

此外，研究团队指出，MoE在手机上的内存占用会随输入内容变化。与固定模板输入相比，真实输入通常导致更高内存占用。若仅基于模板化输入进行测试，可能低估实际部署场景中的内存压力。未来准确评估端侧MoE的真实内存表现，仍需要更多真实实测数据支撑。

与此同时，研究团队已在CPU和GPU后端完成系统性真机测试，但NPU路线仍有待探索。值得注意的是，MoE的运行时内存占用对输入内容比较敏感。未来，动态路由、专家剪枝、混合精度量化以及移动端NPU部署，都是提升端侧效率的关键方向。

更多技术细节，详见原论文。