在大模型领域，Scaling Law（缩放定律）长期被视为通往通用人工智能（AGI）的关键路径——通过不断扩大数据与模型规模，理论上能够持续增强智能水平。然而，无论是密集模型还是混合专家（MoE）架构，业界在真正有效扩展超大规模模型方面的实践经验仍相当有限。直到近期，DeepSeek V3、R1等模型的问世，才让业界清晰看到了超大规模MoE模型的潜力及其实现方法，例如强化学习与知识蒸馏等。
与此同时，阿里通义千问团队正在推进超大规模MoE模型Qwen2.5-Max的研发工作。该模型经过超过20万亿个标记的预训练后，进一步通过精心设计的监督微调（SFT）和基于人类反馈的强化学习（RLHF）进行后训练。简而言之，Qwen2.5-Max此次全面采用了与DeepSeek相似的技术路线。
一、稠密模型与MoE模型
究竟什么是Dense模型？什么是MoE模型？Dense模型（稠密模型）采用每一层与前面所有层直接连接的设计。这种架构有助于更有效地利用特征、减少参数数量，同时促进梯度传播、缓解梯度消失或爆炸问题。而MoE模型（混合专家模型）则通过门控网络将输入分配给一组专家网络，由门控机制决定每个输入应由哪些专家处理。
那么，Qwen2.5-Max为何放弃Dense而选择MoE？MoE模型通过多个专家子模型的协同工作，能够更高效地处理特定任务，同时智能选择相关专家来处理输入数据，以此优化计算资源的使用。具体来说：
- 专家协同工作： MoE模型通过多个“专家”子模型协同工作，能够更高效地处理特定任务。这种分工协作模式相当于一个团队中各个专家各司其职、共同完成复杂项目，从而提升整体效率与效果。
- 智能选择专家： MoE架构可智能地选择最合适的专家模型来处理输入数据，从而优化计算资源分配。这意味着在处理不同任务时，仅激活相关的专家子模型，降低不必要的计算开销。
目前，众多大模型厂商纷纷放弃Dense转向MoE，这类似于移动互联网时代业界选择水平扩展的微服务架构，而非持续垂直提升单机性能。
在基座模型对比中，Qwen2.5-Max与领先的开源MoE模型DeepSeek V3、最大的开源稠密模型Llama-3.1-405B以及Qwen2.5-72B进行了比较。结果显示，MoE模型（Qwen2.5-Max和DeepSeek V3）的得分高于Dense模型（Llama-3.1-405B和Qwen2.5-72B）。具体对比结果如下图所示。
一文读懂DeepSeek - 混合专家（MoE）架构
二、预训练和后训练
Qwen2.5-Max的预训练与后训练流程是怎样的？Qwen2.5-Max通过超过20万亿个标记的预训练数据，结合精心策划的监督微调（SFT）和基于人类反馈的强化学习（RLHF）方法，实现了高效的预训练与后训练。
- 监督微调（SFT）： 利用大量人工标注数据对预训练模型进行微调的过程。
- 基于人类反馈的强化学习（RLHF）： 通过收集人类对模型输出的反馈，并运用强化学习算法优化模型。Qwen2.5-Max采用了多阶段强化学习，包括离线学习（DPO）和在线学习（GRPO）。
Qwen2.5-Max为何选择拥抱DeepSeek技术路线？虽然Qwen2.5-Max的预训练及后训练流程与OpenAI类似，都基于大规模数据、先进架构以及监督与强化学习，但其独特之处在于采用了优化的GRPO强化学习算法，并用知识蒸馏替代大规模SFT进行后训练。这些策略与DeepSeek在提升模型性能与效率方面的探索方向一致，因此被认为全面采纳了DeepSeek的技术路线。
- GRPO（群组相对策略优化）： 通过组内相对奖励来优化模型，无需额外的价值模型（critic model）。在传统强化学习中，模型（策略模型）根据环境反馈的奖励信号调整行为，通常需要一个额外的价值模型来评估当前策略。GRPO简化了这一流程，放弃价值模型，直接利用组内相对奖励优化策略模型。
- 知识蒸馏（Distillation）： 是一种模型压缩与知识迁移技术，通过将大型教师模型中的知识转移到小型学生模型，从而提升学生模型的性能。该方法常用于降低计算成本，同时保持甚至提高模型性能。