北美时间4月5日，MLPerf 3.0最新结果出炉。作为全球AI基准测试的“华山论剑”，这次戴尔拿出了相当亮眼的成绩单：数据中心赛道，PowerEdge XE9680斩获3项第一、9项第二；边缘计算赛道，XR系列拿下10项第一。可以说，这是戴尔在AI基础设施领域的一次全面发力，值得关注。
先简单介绍下MLPerf——它由ML Commons联盟组织，是全球最知名、参与度最高的AI计算基准测试，涵盖训练和推理两大领域。测试选取AI各热门领域的经典模型，在严格的技术规范下（如训练精度、延迟等），对硬件、软件和服务的性能进行公平评估。
这次公布的MLPerf Inference v3.0推理测试，包含图像分类ResNet-50、目标检测RetinaNet、医疗图像3D U-Net、语音识别RNN-T、自然语言处理BERT-Large、推荐系统DLRM等6个模型赛道，汇集了全球25个厂商超过6700条性能数据，以及2400条性能功耗数据。含金量不言而喻。
MLPerf Inference v3.0的AI业务场景
戴尔这次提交了27种不同服务器配置，共计255项测试数据，涵盖PowerEdge XE9680、R750xa、XR7620、XR5610等型号，GPU包括NVIDIA H100、A100、A30、L4、T4、A2以及高通AI加速卡。如此丰富的配置组合，为行业选型提供了极具参考价值的样本。
数据中心赛道表现
在MLPerf Inference最受关注的数据中心基准测试（Datacenter closed）中，戴尔16G PowerEdge服务器XE9680首次亮相便交出了亮眼成绩。8卡H100配置的XE9680参加了12项测试，全部位居前2，其中在RetinaNet Server、RetinaNet Offline和RNN-T Server三个项目上直接拿下第1名。
Datacenter RetinaNet Server测试数据
Datacenter RetinaNet Offline测试数据
Datacenter R-NNT Server测试数据
与上一期MLPerf Inference v2.1相比，PowerEdge XE9680将戴尔在各个项目的最好成绩提升了3倍到8.4倍。进步幅度相当惊人。
戴尔的MLPerf Inference v3.0与Inference v2.1成绩对比
MLPerf Inference v3.0 Datacenter全部Dell机型测试数据
边缘计算赛道表现
边缘计算是MLPerf另一大重点场景。与数据中心追求极致算力不同，边缘计算更看重设备对复杂环境的适应能力，以及功耗和成本的平衡。在满足AI计算吞吐和延迟的前提下，提供更高性价比和性能功耗比的方案，才是边缘AI的核心诉求。
在MLPerf Inference v3.0 Edge closed power测试中（主要衡量边缘AI计算的性能功耗比），戴尔XR系列边缘计算优化服务器在全部14项测试中拿下10项最佳成绩。其中，PowerEdge XR5610搭配NVIDIA最新发布的L4 GPU，取得9个项目第一；PowerEdge XR4000搭配NVIDIA A2 GPU，在BERT 99 Offline项目中拔得头筹。
* Dell XR5610参加的9个项目分别是ResNet Single Stream、Resnet Multi Stream、RetinaNet Single Stream、RetinaNet Offline、3D-UNet 99 Single Stream、3D-UNet 99 Offline、3D-UNet 99.9 Offline、RNN-T Single Stream、BERT-99 Single Stream。
PowerEdge XR5610
PowerEdge XR4000
NVIDIA L4是一款单宽GPU加速卡，专为AI视频和生成式AI而设计，生成式AI性能较上一代GPU提升2.7倍。戴尔PowerEdge服务器在今年一季度开始提供L4选型支持。
以此次测试中的图像分类ResNet-50与自然语言处理BERT-99为例，L4的推理计算性能分别达到T4的2.1倍和2.13倍。与A10相比，L4在绝大多数规格上非常接近，但功耗不到其一半，成本优势明显。可以预见，L4将成为未来AI推理计算中极具竞争力的GPU选择。
L4与T4 AI推理性能对比
当下，ChatGPT掀起了全球AI大模型及AIGC的热潮。与之前的小模型相比，大模型参数量增长100到1000倍。以GPT-3为例，1750亿参数，2020年训练时使用了超过10000张NVIDIA GPU。据第三方测算，即使使用1024张A100/A800训练GPT-3，仍需超过一个月时间。AIGC时代对AI算力的需求被推到了前所未有的高度。
在本次MLPerf Inference v3.0中表现优异的PowerEdge XE9680，正是戴尔为复杂计算、AI/ML/DL及HPC密集型工作负载打造的利器。它能够快速开发、训练和部署像ChatGPT这样的大型模型，助力更多AIGC场景落地。
PowerEdge XE9680
此外，AI与边缘的融合是未来趋势，越来越多AI推理计算将出现在边缘侧。边缘设备部署环境千差万别，往往无法像数据中心那样拥有完备的机房条件，可能面临高温、低温、高海拔、粉尘、震动等恶劣环境。戴尔XR系列服务器针对这些场景做了专门优化，对高温、低温、海拔、防尘、抗震有更强的适应能力，并通过了电信和海事行业标准。机箱深度通常只有通用机架服务器的一半左右，外形更加紧凑精巧。
这次参加AI Inference v3.0 Edge项目测试的XR系列，是戴尔专为边缘计算场景设计的服务器，此前已发布XE2420、XR12、XR11、XR4000等产品，今年还将有更多新品面世。可以说，在AI算力的全场景布局上，戴尔已经走出了很扎实的一步。