据IT之家1月2日消息,Signal65最新发布了SemiAnalysis InferenceMAX基准测试分析报告。在Deepseek-R1 0528混合专家(MoE)模型的推理场景中,英伟达(NVIDIA)的Blackwell GB200 NVL72机架系统性能表现远超AMD的Instinct MI355X。
IT之家指出,混合专家模型是一种高效的AI模型架构,Deepseek-R1 0528便是其中的典型代表之一,已成为诸多基准测试中常用的模型。

图源:Signal65
不同于传统模型每次任务都需动用整个“大脑”,混合专家模型拥有一组“专家”。系统会根据问题类型,只激活最擅长处理该类问题的几位“专家”来协同工作。然而,当模型规模大幅扩展时,节点间巨大的通信延迟和带宽压力会成为瓶颈,形成计算瓶颈。
对此,英伟达采用了名为“极致协同设计”的策略。GB200 NVL72通过紧密互连72颗芯片,并配备高达30TB的高速共享内存,极大地优化了全对全通信效率,有效解决了大规模数据传输的延迟难题。

图源:英伟达
测试数据显示,在类似的集群配置下,英伟达方案中每个GPU的吞吐量高达每秒75个tokens,其性能达到了AMD Instinct MI355X的28倍。
对于超大规模云计算厂商而言,总体拥有成本始终是其考量的核心指标。Signal65结合甲骨文云的定价数据分析指出,GB200 NVL72机架不仅性能强劲,其经济性也同样令人瞩目。其每个token的相对成本仅为AMD方案的十五分之一,同时还提供了更高的交互速率。

图源:Signal65
尽管英伟达在MoE领域占据主导地位,但这并不意味着AMD已全面落败。报告指出,AMD的MI355X凭借高容量HBM3e内存,在处理密集型模型时,依然是一个极具竞争力的选择。
该媒体指出,AMD目前尚未推出新一代机架级解决方案来应对NVL72的挑战。不过,随着未来AMD Helios平台与英伟达Vera Rubin平台的竞争临近,双方在机架级扩展方案上的角逐将日趋激烈。
