Meta今天凌晨突然甩出了Llama 4系列，这一下子让整个AI圈炸开了锅。要知道，这可不是简单的“Llama 3升级版”，而是彻彻底底从头设计的一套新模型家族——头一回用上了混合专家（MoE）架构，并且原生支持多模态，不再是之前那个只能读写文字的“偏科生”。业内不少人把这次发布，视作开源模型社区真正走向多模态融合与高效推理的起点，从目前流出的测试数据来看，这个说法并不为过。

这次一次性端出了三款定位截然不同的模型：Scout、Ma verick，还有那个堪称“怪兽”的Behemoth。三款产品分别楔入轻量级部署、主力通用场景和超大规模计算这三个维度。而更令人兴奋的，是它们在苹果Silicon芯片上跑出来的成绩——比如，三台M3 Ultra Mac就能协同驱动参数量高达2万亿（2T）的Behemoth模型。这个数据背后释放出的信号，可能正在重新划出一条线：个人算力与企业级AI之间的那道鸿沟，或许比我们想象中更窄了。

Llama 4系列：MoE架构开启原生多模态新时代

如果用一个词来概括Llama 4的核心变化，那就是“脱胎换骨”。它不再是纯文本模型，而是原生具备了多模态能力，同时第一次在Llama系列里采用混合专家（MoE）架构。换句话说，这一次Meta不再是挤牙膏式的迭代，而是直接把路线图推倒重来了。

Llama 4 Scout：精巧高效的入门级模型

Scout的定位很清楚——“性能最强的小尺寸模型”。它拥有17B激活参数，背后是16个专家模型，总参数高达109B。最令人印象深刻的是它的处理速度：经过Int4量化之后，可以单靠一张H100 GPU就跑起来，完全不像一个百亿级参数模型该有的作风。它还有一个业界领先的资本——超过1000万token的多模态上下文窗口。如果换算成视频内容，理论上可以一口气处理长达20多个小时的画面，这给长视频分析和超长文档理解打开了一扇全新的大门。

Llama 4 Ma verick：主力多模态通用模型

作为Llama 4的“当家花旦”，Ma verick扛起了主力多模态模型的旗帜。它的激活参数同样是17B，但专家数量扩展到了128个，总参数一越飙升到400B，支持100万+token的超长上下文。从各大基准测试的数据反馈来看，Ma verick已经贴身逼平甚至超过了一些公认的强敌：在多项主流评测中赢下了GPT-4o和Gemini 2.0 Flash，推理和编码能力与最近大火的DeepSeek v3相当，但激活参数只有后者的一半左右。一个很能说明问题的数据是，它的实验性聊天版本在LMArena上的ELO评分冲到了1417，排在第二位——这个性价比，确实有点不讲道理。

Llama 4 Behemoth：2万亿参数的巨型模型

Behemoth——这个名字或许已经泄露了Meta的野心。这是Meta迄今为止最庞大的模型，也是全球最顶级的LLM之一，目前仍在紧张训练中。它的参数规模是碘伏性的：288B激活参数、16个专家模型，总参数2万亿（2T）。在STEM类基准测试中，Behemoth已经展现出压制GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro的能力。Meta披露的训练规格十分惊人：FP8精度，32000块GPU，处理了超过30万亿多模态token。更有意思的是，Behemoth还扮演了Ma verick“教师模型”的角色——用它来蒸馏代码能力。由于模型能力实在太强，训练过程中需要裁剪掉高达95%的SFT数据，相比之下小模型只需裁剪约50%。

MoE架构：Llama系列的革命性转变

Llama 4系列带来的最重要的技术变量，就是MoE架构。这个架构的核心逻辑，是让模型在处理每个token时，只激活全部参数中极小的一部分，以此换取计算效率的指数级提升。举个例子，Ma verick的4000亿总参数中，每次跑任务只有170亿个参数会被激活——相当于一个4000人的大团队里，每次只派出170个专家去解决问题。

印象很深的一个设计巧思是，Meta在模型里交替使用了稠密层和MoE层。MoE层包含128个路由专家和一个共享专家，每个token都同时发给共享专家，并只被分配给128个路由专家中的一个。这样，在运行时只有部分参数运转，显著降低了推理成本和服务延迟。

原生多模态能力：无缝整合文本与视觉

原生多模态的引入，是Llama 4另一个不能忽视的变化。Meta采用了早期融合技术，在模型框架中把文本和视觉token无缝融合在了一起，从而实现了使用海量无标签文本、图片和视频数据进行联合预训练。

为了支撑这种能力，视觉编码器也专门做了升级——基于MetaCLIP，并且在训练中与一个冻结的Llama模型分开进行，从而确保编码器能更好地适配LLM的需求。

MoE模型与苹果芯片：天作之合的高效组合

苹果ML工程师实测：M3 Ultra展现惊人性能

苹果的ML工程师Awni Hannun在第一时间就拿出了测试结果：在单台512GB内存的M3 Ultra上，使用MLX推理框架，Llama 4 Ma verick的推理速度达到了50 token/秒。这个数据的冲击力在于——你是在个人计算设备上，运行着一个超过400B参数的庞然大物。相比之下，M3 Ultra Mac Studio跑DeepSeek 671B的4bit量化版，在MLX框架下大约是19.17 tokens/s。虽然总参数量接近，但因为MoE架构的稀疏激活特性，Ma verick在同样硬件上反倒跑出了更快的速度。

稀疏MoE模型与Apple Silicon的协同优势

很多人把MoE模型和Apple Silicon的结合称之为“天作之合”，这个说法是有技术依据的。两者在设计理念上存在深层的契合点：MoE追求稀疏激活，而苹果的统一内存架构天然适合大规模但稀疏的计算模式。

具体来看，主要有三个原因：

1. 统一内存架构优势——CPU和GPU共享同一内存池，彻底消除了传统架构下频繁的数据搬运成本。对于“每次只激活一小撮参数”的MoE来说，这种架构简直就是量身定做。
2. 内存带宽与稀疏计算的匹配——虽然Apple Silicon的内存带宽（约800GB/s）远低于专业GPU（H100是3TB/s，MI300X达5.3TB/s），但MoE模型的稀疏性质天然地降低了对内存带宽的需求。在Ma verick中，每次只有4.25%的参数被激活，带宽压力减轻了不是一点半点。
3. MLX框架的专门优化——苹果为自家芯片打造的MLX框架，可以充分调用统一内存和神经网络引擎，把运行效率再往上拉一个台阶。

这种组合带来的直接结果是，个人消费级产品有史以来第一次能够运行参数达数千亿且能力不缩水的AI模型——这为AI走向大众化和个人应用，埋下了一颗很有想象力的种子。

成本效益分析：苹果Silicon的独特优势

内存成本：Silicon平台的决定性优势

部署大型模型，内存从来都是最金贵的资源，也是最贵的成本。苹果Silicon平台在这方面拥有一个可以称之为“决定性”的优势——每GB内存的售价：

• NVIDIA H100：80GB内存，带宽3TB/s，每GB成本约312.50美元
• AMD MI300X：192GB内存，带宽5.3TB/s，每GB成本约104.17美元
• Apple M3 Ultra：512GB统一内存，带宽800GB/s，每GB成本约18.55美元

也就是说，Apple M3 Ultra的每GB内存成本仅为H100的约1/17，MI300X的约1/6。这种差距的根源其实很简单：苹果用的是常规LPDDR内存，而不是专用的HBM显存。

部署超大模型的成本对比

拿Llama 4 Behemoth这个2万亿参数的巨兽来做测算，对比不同平台在fp16精度下完整部署的硬件成本：

• NVIDIA H100方案：需要约50块H100卡，总成本约125万美元
• AMD MI300X方案：需要约21块MI300X卡，总成本约42万美元
• Apple M3 Ultra方案：需要约8台512GB的M3 Ultra，总成本约7.6万美元

即便算上带宽差异可能带来的性能损失，Apple Silicon方案在纯成本上的优势还是压倒性的。更何况对于MoE模型来说，内存带宽并非主要瓶颈——这让苹果方案的性价比显得更加突出。

稀疏度与内存刷新率的关系

稀疏MoE模型之所以对Apple Silicon格外友好，还有一个常被忽略的技术细节：这类模型对内存刷新率的要求相对较低。计算过程中只需要访问部分参数，内存访问模式更局部化，因此不会过分依赖高刷新率。

在这点上，三款模型的表现有所不同。Ma verick的稀疏度最高（激活参数只占总参数的约4%），因此是最适合Apple Silicon的模型；Scout（约16%）和Behemoth（约14%）的稀疏度低一些，对内存系统的压力相应更大。

本地部署的革命：Llama 4重新定义AI可及性

MLX框架：释放Apple Silicon潜能的关键

苹果的MLX推理框架是让Llama 4在Mac上高效运行的核心利器。它完全围绕Apple Silicon统一内存架构和神经网络引擎做了深度优化。实测数据很能说明问题：用MLX框架在M3 Ultra上跑DeepSeek 671B，速度是19.17 tokens/s，比用GGUF框架的15.78 tokens/s快了约21.5%。

不同规模模型的最小部署配置

按照4-bit量化来估算，部署各模型的具体门槛如下：

1. Llama 4 Scout（109B参数）：最小配置需64GB内存的M4 Max，存储需求约14GB，预期推理速度30-40 tokens/s。
2. Llama 4 Ma verick（400B参数）：最小配置需256GB内存的M3 Ultra，存储需求约50GB，预期推理速度20-25 tokens/s。
3. Llama 4 Behemoth（2T参数）：需要3台512GB内存的M3 Ultra协同工作，存储需求约250GB，预期推理速度5-10 tokens/s。

这些数据意味着什么？即使是个体用户，也已经具备了在本地部署并运行大型AI模型的现实条件。Scout和Ma verick可以在高配但仍在个人可负担范围内的Mac上流畅运转——这在不久前还是大型研究机构和科技公司的专利。

多机协同运行Behemoth：前所未有的本地部署

最后关注一下那个最“离谱”的场景：用3台512GB的M3 Ultra Mac协同运行2万亿参数的Behemoth模型。别笑，这已经不是理论推演——苹果ML工程师已经给出了确切的验证数据。这意味着，一个小型团队甚至高端个人用户，理论上可以在本地拥有全球最强大AI模型之一的运行环境，彻底摆脱对云服务或超算中心的依赖。

当然，这种分布式推理需要特殊的框架支持，涉及模型并行和张量并行等技术，通信开销也会拖慢一点推理速度。但哪怕考虑性能折损，与传统50块H100的方案相比，在成本、便利性和可得性上的差距仍然是碾压级的。

能力评估：Llama 4的惊艳表现与代码生成短板

多模态理解能力的突破

Llama 4在多模态理解能力上的突破毫无疑问。原生多模态设计让模型能同时处理文本、图像和视频内容，并在这些模态间建立深层语义关联。Ma verick的表现尤其突出，在图像精准理解和创意写作方面取得了不错的成绩，非常适合通用助手和聊天类应用。

超长上下文窗口的加持也十分亮眼——Scout支持1000万+Token，Ma verick支持100万+Token。这样强的上下文处理能力，意味着模型能理解数小时的视频内容或数百页的文档内容，这对AI应用场景的拓展是碘伏性的。

代码生成能力的短板

但表现并非面面俱到。一个明显的短板，出现在代码生成上。

有网友直接公开了Llama 4 Ma verick在Python六边形测试中“翻车”的结果。Python六边形测试，如今几乎已经成为每个新发布大模型的“试金石”，而Llama 4的成绩并不理想。同样一份来自KCORES团队的测试，展示了其他模型在弹跳小球任务上的表现——没有对比就没有伤害，差距确实存在。

这种短板可能有几个原因：

1. 训练数据的侧重——相比Llama 3，Llama 4在训练数据的构成上明显更偏向多模态内容，代码数据比例的减少是显而易见的。
2. 资源分配的权衡——为了强化多模态能力，代码理解和生成方面的资源投入做了让步。
3. MoE架构的影响——虽然MoE架构极大提升了总体效率，但对于需要追求严谨结构化输出的代码生成任务，可能反而不如传统稠密模型那样形成专一能力。

有意思的是，Meta在发布信息中提到了正在开发的Llama 4 Reasoning模型——这很可能就是针对代码生成等推理任务的专门优化版本。

与竞品模型的整体对比

综合来看，Llama 4 Ma verick在LMArena上ELO排名第二的成绩摆在那里，综合能力确实有目共睹。但落到具体的专项任务上，与竞品相比仍有明显优劣：

• 多模态理解——优于多数现存模型，但与GPT-4o和Gemini 1.5 Pro相比还有一定差距
• 推理能力——与DeepSeek v3相当，但可能不及Claude系列
• 代码生成——明显弱于专注于代码的模型，比如DeepSeek-Coder和CodeLlama

下周：Llama 4与Qwen3的潜在竞争

Qwen3即将发布：行业竞争加剧

有消息称，阿里巴巴的Qwen3预计在下周发布。这个消息一下子把火药味拉得更浓了——Qwen2已经展现出卓越的中文理解和生成能力，而Qwen3的登场，无疑会将与Llama 4的正面竞争推向白热化。

两者的潜在竞争点主要会集中在：

1. 中文能力——Qwen系列在中文场景的表现一直是王牌，Llama系列虽然支持多语言，但在中文深度理解上仍有可突破的空间。
2. 模型架构——如果Qwen3也同步采用MoE架构，两者就真正在架构上正面硬碰硬，决定胜负的关键将落在训练数据的质量和方法的差异上。
3. 多模态能力——Llama 4的原生多模态设计是不可忽视的差异点。Qwen3能否在这方面迎头赶上甚至实现超越，将直接决定格局的走向。
4. 开源策略——Llama 4采用了带有一定限制的许可证，而Qwen2的许可证更开放。不同的策略会带来不同的生态效应，这将在长期影响开发者社区的选取。

开源模型的发展趋势

从Llama 4和即将发布的Qwen3身上，可以清楚看到开源模型正在朝几个方向演进：

1. MoE架构成主流——稀疏激活的MoE模型大概率会成为下一代大语言模型的主流选择，可以用更小的计算成本换来更强的性能。
2. 原生多模态——未来的模型不会是“文本模型+视觉插件”的缝合体，而是从根基上就为多模态而设计。
3. 个人设备部署——随着架构的优化和个人算力的攀升，大型AI模型在个人计算机上跑起来，可能变成常态。这会彻底改变AI的部署模式。
4. 专业化分支——Llama 4 Reasoning的出现预示着，未来大型模型会发展出更多为特定任务专门优化的分支，更精准地去解决不同领域的问题。

总结

Llama 4的发布，的确可以称得上大语言模型发展历程中的一个重要里程碑。它的MoE架构和原生多模态设计，走出了一条全新的技术路线。最值得玩味的，其实是它与Apple Silicon结合后展现出的效率和成本优势——在个人设备上部署超大规模AI模型不再是空想。虽然在代码生成这类特定任务上还有明显需要补课的环节，但Llama 4整体呈现出的性能和架构创新，已经给开源AI模型立起了一个新标杆。

随着Qwen3等竞争对手下周的陆续登场，开源AI模型领域的这场竞速赛，注定会越来越精彩。而Llama 4率先迈出的这一步，已经实实在在地推进了“让AI回归个人”的愿景——这才是AI民主化，该有的样子。