本次查询：MoE模型
中文解释：混合专家模型
常见场景：大模型训练与推理 / 高规模AI系统 / 多任务学习
一句话解释
MoE模型的核心思想是：不训练一个巨大的万能模型，而是训练多个小型“专家模型”，每个专家擅长处理特定类型的数据或任务，再通过一个调度器（门控网络）动态决定让哪些专家来回答当前问题。
为什么会被关注
传统大模型参数量动辄千亿，训练和推理成本极高。MoE模型通过“稀疏激活”——每次只让部分专家工作——能用更少的计算资源达到甚至超越密集模型的性能。GPT-4、Mixtral 8x7B等知名模型都采用了MoE架构，让普通开发者在消费级显卡上也能运行接近百亿参数的效果。
核心逻辑
MoE模型由多个专家网络和一个门控网络组成。输入数据先经过门控网络，后者输出一个概率分布，选择得分最高的少数几位专家（通常是Top-1或Top-2）进行实际计算。这些专家输出结果加权合并后进入后续层。训练时，门控网络会学习如何根据输入特征分配专家，并通过辅助损失平衡各专家的负载，避免少数专家被过度使用。
常见场景
MoE广泛用于大型语言模型，如 OpenAI 的 GPT-4、Mistral 的 Mixtral 系列。在机器翻译中不同语言对可使用不同专家；在推荐系统中不同用户兴趣可由不同专家建模。此外，MoE也被用于多任务学习，让共享底层同时保留任务专属专家，提升泛化能力。
容易混淆的点
MoE并非每个专家独立训练再集成，而是端到端联合学习。它和模型集成（Ensemble）的区别在于：MoE只有一组专家权重，推理时动态组合；集成是多个完整模型投票。MoE也不等于“增加层数”——它是在宽度（专家数量）上扩展，但每次只激活少量路径，因此计算量可控。初学者常误以为“专家数量=参数量”，实际上总参数量远大于激活参数量。