Qwen3 系列模型即将迎来新一轮技术升级，此次迭代带来的变革，或许会令不少用户感到惊喜。

这一切的源头，源自 HuggingFace Transformers 代码仓库中的一个 Pull Request。通过仔细审查提交的代码，一些关键改进已经逐步显现。

本次更新主要聚焦于小参数模型。目前曝光的几个版本大致包括：

• Qwen3-15B-A2B，一款采用 MoE 架构的模型
• Qwen3-8B-beta
• Qwen3-0.6B-Base

这些模型均偏向入门级别，但平心而论，真正令人期待的，是未来是否会推出一个 30-40B 参数规模的专职 MoE 版本。

与传统 MoE 的差异

Qwen3 的 MoE 模型，与基于新架构的传统 MoE 相比，拥有几个显著且差异化的设计：

• 路由策略： 传统 MoE 大多采用全局路由策略，即所有专家均需参与计算。而 Qwen3 MoE 选择稀疏路由，仅激活 Top-K 个专家参与运算。这一改变直接降低了计算量。
• 负载均衡： 传统 MoE 在此方面缺乏显式优化，专家坍塌（即某专家负担过重，其他专家闲置）的问题时有发生。Qwen3 MoE 则集成了 load_balancing_loss 机制，通过损失函数惩罚不均衡状况，从而保障模型训练的稳定性。
• 计算复杂度： 从公式来看，传统 MoE 的计算复杂度为 O(N×E)，其中 E 代表专家数量。Qwen3 MoE 将复杂度优化至 O(N×K)，K 即 Top-K 路由结果参数。由于 K 远小于 E，推理速度自然得到提升。
• 动态适应性： 传统 MoE 往往使用固定频率的 RoPE，而 Qwen3 MoE 的动态频率机制能够根据实际场景灵活调整 RoPE 参数配置，这属于动态适应性方面的增强。

与 Qwen2.5 的比较

回看上一代产品，与 Qwen2.5 相比，Qwen3 MoE 实现了全方位升级：

• RoPE 类型： Qwen2.5 仅支持静态 RoPE，而 Qwen3 MoE 支持 dynamic、yarn、llama3 等多种动态变换类型。
• 稀疏层调度： Qwen2.5 未明确支持稀疏层调度机制。而 Qwen3 MoE 通过 mlp_only_layers 和 sparse_step 实现了对模型内部稀疏通道的灵活控制。
• 注意力后端： Qwen2.5 仅停留在基础注意力实现，而 Qwen3 MoE 集成了 Flash Attention 2 和 SDPA 加速方案。这一改进带来的提速效果十分显著。
• 生成缓存管理： Qwen2.5 使用传统 KV 缓存机制，而 Qwen3 MoE 支持滑动窗口缓存（sliding_window），能够大幅降低解码过程中的内存占用。
• MoE 实现： Qwen2.5 并未采用 MoE 架构，而 Qwen3 MoE 从零实现了稀疏 MoE + 负载均衡损失机制，完全遵循不同的技术路线。

Qwen3 MoE 的核心优势

通过以上对比，可以将 Qwen3 MoE 的优势归纳为以下几点：

• 动态 RoPE： 支持多种缩放策略，既能适配长序列场景，也能针对不同硬件的性能特点进行优化，真正做到硬件友好。
• 稀疏 MoE： 通过 Top-K 路由和负载均衡损失机制，提升了模型容量与训练稳定性，降低了资源浪费。
• 高效注意力： Flash Attention 2 和 SDPA 的集成，极大优化了生成阶段的计算速度。
• 模块化设计： 继承并扩展了 Llama/Mistral 的组件体系，代码可维护性出色，后续模型迭代与优化也更易落地。
• 生成优化： 滑动窗口缓存与动态 KV 更新的组合，直接降低了解码时的内存占用。

总结

从整体体验来看，在小参数模型领域，qwen 系列始终是值得信赖的选择。此次即将更新的 Qwen3-15B-A2B 尤其值得关注。尽管其总参数量达到 15B，但由于采用稀疏 MoE 架构，实际推理时激活的参数量仅为 2B。这意味着它对硬件配置的要求极低，运行速度也更为迅捷。