新型AI存储方案的软硬件选型

硬件层面

采用的F2026 AI服务器是一台2U闪存JBOF，配备2个或4个NVIDIA BlueField-3 DPU，以及24块高性能ScaleFlux CSD5000 NVMe SSD。CSD5000是ScaleFlux最新推出的内置硬件压缩与解压缩能力的高性能NVMe SSD介质。网络层则由NVIDIA Spectrum-X交换机承担。

软件层面

核心软件是华瑞指数云ExponTech的下一代分布式存储软件平台WADP（WiDE AI Data Platform）。

（本方案采用的2U存储节点及ScaleFlux CSD5000 NVMe SSD）

实测部署架构：AI训练与推理环境的真实配置

整个部署架构如下：

• 1台2U AIC JBOF作为存储服务器，配备4块NVIDIA BlueField3 DPU（提供1600Gbps网络带宽）和24块ScaleFlux CSD5000 NVMe SSD，后端WADP存储软件运行于DPU内。
• 1台标准2U服务器作为计算服务器，配备4块NVIDIA BlueField3 DPU（提供800Gbps网络带宽），在DPU内部运行WADP存储软件的存储网关和协议。
• 计算服务器可配置GPU用于训练或推理。存储软件和网络流量全部运行在DPU内，存储IO完全不消耗计算服务器的CPU和内存资源，因此计算服务器有更充沛的资源用于计算处理。
• 测试环境特意选了4台NVIDIA Spectrum-X交换机组成两层网络，核心目的是模拟并验证在大规模组网时，RoCE网络能否有效处理拥塞，存储软件能否持续保持稳定性能和低时延。
• 存储服务器（JBOF）和计算服务器均支持按需独立扩展，可灵活加入更多节点，构成大规模、存算分离、按需扩展的AI训练与推理集群。

基础存储性能验证

基于上述实测环境，我们进行了存储系统的基础性能测试，方法是从计算节点运行FIO，验证关键指标。

• 单个计算节点可达到近90GB/s的存储带宽，接近网卡物理带宽上限。
• 单个计算节点达到310万IOPS。当配置更多计算节点时，IOPS同步增加。考虑到整个存储系统的后端和协议端都跑在DPU内，而DPU的CPU处理能力远不如服务器CPU，单节点组合即能达到310万IOPS，充分体现了该方案的IO处理效率。
• 存储系统的IOPS与存储节点上部署的DPU数量呈线性比例扩展，说明其横向扩展能力极佳。本方案存储节点最多可配置8张DPU（当前测试环境为4张），可实现IOPS和网络带宽翻倍。
• 小IO size并发大压力下，时延低至266微秒；大IO size打满计算节点物理带宽时，时延仍能保持在1毫秒以下。

MLPerf Storage v1.0测试结果

MLPerf是影响力最广的国际AI性能基准评测，其中Storage子项专门针对AI存储需求。它通过运行分布式训练测试程序模拟GPU计算过程，实时执行AI服务器对存储系统的读写访问，以此评估存储系统能支撑的最大GPU数量和带宽表现。

MLPerf Storage v1.0于2024年8月推出，全球共十三家高性能存储厂商参与并提交了正式结果，包括DDN（Lustre）、华&为、WekaIO、Hammerspace等知名分布式文件系统公司。

本次我们选用ResNet50模型（主要用于图像分类与识别），在上述1个存储节点（JBOF）+1个计算节点的环境下进行测试，结果如下：

测试结果关键看点：

• ExponTech的新型AI存储方案在单客户端能支持的GPU卡数量上，超过了所有参与MLPerf Storage v1.0正式测试的厂商，位居全球第一。
• 单客户端存储带宽达到近30GB/s，位居全球第二。
• 本次测试仅有一个客户端节点（计算节点），CPU和内存配置较低，在运行MLPerf Storage v1.0时已触及计算节点能力瓶颈，但远未达到存储节点瓶颈。如果换用更强处理能力的计算节点，性能数据将更高——支持更多GPU卡，实现更高存储带宽。

总结：新型AI存储方案的关键特点与优势

基于真实环境的全面测试，总结ExponTech与ScaleFlux、AIC联合打造的AI存储方案（基于英伟达BlueField3 DPU和Spectrum-X网络）的几大核心优势：

• 世界顶级性能：SPC-1评测超越所有高端全闪存储阵列并打破世界纪录；MLPerf Storage v1.0测试数据大幅领先WekaIO、DDN等著名并行文件系统。
• 世界顶级容量密度：当前每2U存储节点可实现超过1.6PB裸容量，明年可扩展至每2U超6.6PB，最大化数据中心空间的AI数据价值。
• ScaleFlux CSD5000盘内透明压缩解压缩能力：不消耗额外系统资源，不影响性能的前提下实现裸容量的数倍放大，存储效率惊人。
• 多协议统一支持：同一平台同时支持高性能分布式块存储和文件存储等多种协议，覆盖AI训练、推理、数据汇集、数据准备、RAG等全场景，无需配置不同存储方案或反复拷贝数据，实现AI算力和存力的完全存算分离与独立扩展，管理更高效。
• 强大的并行扩展性：存储节点与计算节点均可独立水平扩展，性能和容量呈等比例增长。
• 高可靠、高可维护：存储节点采用比标准服务器更精简的JBOF，硬件故障率低；JBOF内部采用冗余硬件设计保障可靠性，提升可维护性。
• 基于RoCE的超大规模组网能力：采用RoCE动态路由和细粒度负载均衡实现更好的拥塞控制，基于标准以太网在大规模RDMA组网中实现高带宽、低抖动和超低时延。
• 优化的总体拥有成本（TCO）：高密度存储节点 + 透明盘内压缩 + 新型软件定义存储的组合，简化硬件成本，大幅提升存储空间利用效率和读写性能，简化管理，AI客户将因此显著优化其AI Storage的TCO。
• KV Cache大规模持久化方案即将推出：实现AI推理集群内K、V向量的全局共享，以低成本、高性能的大规模存储能力替代推理过程中大量重复的K、V向量运算，进一步大幅降低AI推理算力成本。