本次查询：MoE
中文解释：混合专家模型
常见场景：大规模语言模型训练与推理 / 多模态模型 / 降低AI计算成本。
一句话解释
MoE（混合专家模型）就像一个由众多领域专家组成的委员会，面对一个问题时，系统只会请出最相关的几位专家来共同解决，而不是让所有专家都参与。这种“按需调用”的方式，让模型在保持庞大知识储备的同时，大幅减少了每次计算的实际开销。
为什么会被关注
随着大模型参数规模爆炸式增长，训练和运行成本成为巨大瓶颈。MoE架构提供了一种优雅的解决方案：它允许模型总参数量变得极大（如万亿级别），但每次推理只激活其中一小部分（如数十亿参数），从而实现了“用较小的计算代价，撬动超大模型能力”的目标，被业界视为突破当前模型规模天花板的关键技术之一。
核心逻辑
MoE模型主要由两部分构成：一是多个并行的“专家”网络，每个专家擅长处理特定模式的数据；二是一个“路由”网络，负责根据输入数据判断应该将任务分配给哪几个专家。整个过程是稀疏的，即对于任意输入，只有被选中的专家会被激活并进行前向计算，其他专家处于“休眠”状态，这极大地节省了计算资源。
常见场景
目前，MoE主要应用于超大规模语言模型，例如Google的Switch Transformer和GLaM，以及开源的Mixtral 8x7B模型。这些模型通过MoE结构，在文本生成、理解等任务上取得了优于同计算成本稠密模型的性能。它也被探索用于多模态模型，以高效处理图像、语音等不同模态的信息。
容易混淆的点
MoE常与“模型集成”混淆。模型集成是训练多个独立模型再综合结果，而MoE是单个模型内部的动态结构。
另外，MoE提升的是模型容量和任务处理潜力，但并不直接等同于最终性能提升。其效果高度依赖于路由机制的设计与训练稳定性，糟糕的路由会导致专家利用不均，反而影响效果。