Meta 终于在这个节点正式发布了 Llama 4 系列的首批模型。按照官方说法，这次发布是对 Llama 系列的一次彻底重新设计。值得一提的是，从发布时间线来看，原本规划好的节奏显然被年初 DeepSeek R1 的冲击打乱了，但这反而让这次升级更具看点。
先来划重点：
核心变化：Llama 4 全系转向混合专家（MoE）架构，并且从底层开始就是原生多模态训练，不再是 Llama 3 那种纯文本模型。本次发布了两款模型——Llama 4 Scout 和 Llama 4 Maverick，同时还有最强大的 Llama 4 Behemoth 预览版本。
下面做一个快速梳理。
Llama 4 Scout：性能最强的小尺寸模型
参数：17B 激活参数，16 个专家，总参数量 109B。
亮点：运行速度极快，原生支持多模态。更炸裂的是，它拥有业界领先的 1000 万+ Token 多模态上下文窗口——这意味着可以一次性处理 20 多个小时的视频内容。而且，在单张 H100 GPU 上就能跑起来（Int4 量化后），部署门槛并不高。
Llama 4 Maverick：同级别中的多模态实力派
参数：17B 激活参数，128 个专家，总参数量 400B，上下文窗口 100 万+。
性能：在多个主流基准测试中，它直接超越了 GPT-4o 和 Gemini 2.0 Flash。推理与编码能力与新发布的 DeepSeek v3 相当，但关键在于，它的激活参数量不到后者的一半。性价比表现非常突出，其实验性聊天版本在 LMArena 上 ELO 评分达到 1417，排名第二。
部署：可以在单台主机上运行，相对友好。
Llama 4 Behemoth（预览，训练中）
定位：Meta 迄今最强的模型，也是全球顶级大语言模型的有力竞争者。
性能：在多个 STEM 基准上，已经优于 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。
参数：288B 激活参数，16 个专家，总参数量高达 2 万亿（2T）。
训练细节：采用 FP8 精度，在 32000 块 GPU 上训练了 30 万亿多模态 Token，规模堪称恐怖。它目前扮演着 Maverick 模型进行代码蒸馏时的教师模型角色。
技术亮点解读
原生多模态：所有模型都采用早期融合策略，将文本、图像、视频的 Token 无缝整合到统一的模型骨干中，不再需要额外的视觉编码器进行拼接。
训练流程优化：采用了 轻量级 SFT → 在线 RL → 轻量级 DPO 的后训练流程。开发者特意强调，过度使用 SFT/DPO 会过度约束模型，限制在线 RL 阶段的探索能力，因此必须保持“轻量”。
超长上下文的秘密（10M+）
实现这一突破的关键是 iRoPE 架构（"i" 代表 interleaved layers, infinite）。
核心思想：通过追求无限上下文的目标来指导架构设计，尤其在长度外推能力上——在短序列（最大训练长度 256K）上训练，然后泛化到极长序列。
具体做法：
- 本地注意力层使用 RoPE 处理短上下文（如 8K），这一层可以并行化，保证效率。
- 全局注意力层才负责处理长上下文（>8K），且不使用位置编码（借鉴了 NoPE 论文的思想），这有助于提升外推能力。
- 为应对上下文变长时注意力权重趋于平坦的问题，在推理时对全局层应用温度缩放，增强长距离推理，同时保持短上下文性能。
业内评价与思考
一个遗憾（前 Kaggle 总裁、fast AI 创始人 Jeremy Howard）：虽然感谢开源，但 Jeremy Howard 也表达了失望。Llama 4 Scout 和 Maverick 都是大型 MoE 模型，即使量化后，也无法在消费级 GPU 上运行。这对于开源社区的可及性来说，是一个不小的损失。
Jim Fan（英伟达高级研究经理）：他提出了几个值得关注的观点。
部署便利性优先：对于开源模型，特别是 MoE 架构，易于部署正变得比单纯追求模型尺寸更重要。Meta 强调 Llama 4 Scout 能在单张 H100 上运行，这与 Llama-3 401B（虽然强大但采用率较低）形成对比，说明 MoE 更符合当前开源策略的方向。
智能调参 MetaP：一项用于智能调整训练超参数的新技术。虽然细节不多，但他猜测这可能类似于 Meta 开源的 Ax 框架中的贝叶斯优化，能在有限的试验预算内进行自适应实验。
后训练策略：重 RL 轻 SFT/DPO：降低 SFT/DPO 的权重，提升在线 RL 的权重，防止模型被过度约束，限制其在 RL 阶段的探索能力。
自我批判式数据筛选：训练过程中较早的 checkpoint 可以作为“批评家”来评估后续模型，帮助过滤掉过于简单的训练样本，让模型在不断筛选和学习中变得更强大。
Behemoth 的训练细节与数据挑战：由于模型能力太强，普通的 SFT 数据对它来说太“简单”，因此需要裁剪掉高达 95% 的 SFT 数据，而小模型只需要裁剪约 50%。
实现千万级上下文窗口的技术手段，总结起来其实相当精炼：
- 去除部分位置编码：在全局注意力层不使用位置编码。
- 调整 Softmax 注意力：根据上下文长度动态调整注意力计算。
写在最后
这次 Llama 4 的发布，推理模型还不见踪影，这多少让人感到有些遗憾。毕竟 Meta 也属于一线大厂，在推理这条赛道上不应该缺席。不过官方表示这只是开始，后续还有更多模型正在开发中，特别提到了 Llama 4 Reasoning 模型。
另外，与 DeepSeek 的 MIT 开源方式相比，Llama 4 的新许可证有几项值得注意的限制：
- 每月活跃用户超过 7 亿的公司必须向 Meta 申请特殊许可，Meta 可自行决定授予或拒绝。
- 必须在网站、界面、文档等处突出显示“使用 Llama 构建”。
- 使用 Llama 材料创建的任何 AI 模型的名称开头必须包含“Llama”。
- 必须在任何分发的通知文本文件中包含具体的归属通知。
- 使用必须遵守 Meta 单独的可接受使用政策。
这种开源的“开放性”究竟如何，还需要市场和社区去检验。但从技术本身来看，Llama 4 在 MoE 架构、原生多模态和超长上下文这几个维度上，确实带来了实打实的进步。