超级计算机的使命很纯粹——用来建模和模拟科学计算中最复杂的过程。说白了,就是探索那些在物理世界里根本没法实操、甚至不可能演示的新发现。但换个角度看,NVIDIA推出的BlueField DPU(数据处理器),正在把HPC资源变得更高效,同时在数学建模、分子动力学、天气预报、气候研究,乃至可再生能源这些广泛领域里,加速解决实际问题的进程。

先说说BlueField已经干成的事:在云网络、网络安全、通信和边缘计算这些领域,它已经带来了明显的改变。而在HPC的多个细分方向上,它更是引发了应用程序性能和系统效率层面的创新。拿BlueField-3来说,它提供了相当惊人的计算能力——基于多个Arm AArch64内核、多线程数据路径翻跟斗、集成的NVIDIA ConnectX-7 400Gb/s网络,再加上I/O路径里一堆可编程加速引擎。它还配了双DDR 6500MT/s DRAM控制器,以及高达32 GB的板载内存。这已经是第三代片上数据中心基础设施了,能让从云端到核心数据中心再到边缘的整个链条,都运行在软件定义、硬件加速的轨道上,既高效又强大。那么问题来了,这一切对HPC到底意味着什么?
提高HPC应用程序性能和可扩展性
HPC的核心追求,说到底就是性能和可扩展性。近二十年来,InfiniBand网络在这两方面一直是领跑者,这背后有几层原因。从宏观上看,InfiniBand本质上就是最高效的数据搬运方式:直接数据放置。当数据从网络接口奔向需要它的应用程序时,整个过程不需要惊动CPU或操作系统,也不用把数据复制好几份。但既然InfiniBand已经如此高效,BlueField又能带来什么额外的好处?
InfiniBand这些年一直在解决的一个关键问题,就是把网络通信的开销从CPU身上剥离,让它能专心应付自己最擅长的事:应用程序计算和分支代码。可惜,当今主流服务器里的CPU太“万能”了,不得不把自己的计算周期、时间和资源,分配给成百上千个几乎跟实际计算无关的进程。BlueField的做法,就是通过卸载、加速和隔离一系列高级网络、存储和安全服务,给超级计算带来了前所未有的创新和效率。
为什么人工智能时代带来了对BlueField DPU的需求
人工智能研究作为一个正式学科,1956年才成立。不过在那之前十年,科学家们就已经开始琢磨创造人工大脑的可能性。后来随着现代计算机硬件和软件的发展,这些概念才慢慢变成现实。2006年,NVIDIA推出了业界首个针对GPU的C编译器开发环境CUDA,复杂计算问题的求解速度一下比传统方法快了100倍。今天,AI成果遍地开花,几乎渗透到了科学研究的每一个角落,既改变了我们的生活方式,也重塑了整个工业格局。
同样是在2006年中,业界还提出了一个关于非阻塞集合操作的首个方案——为消息传递接口(MPI)的集合组通信功能设计的非阻塞接口。理论上这个想法很出色,但实际应用中,它始终没能得到广泛实现。原因或许在于,在DPU出现之前,它的全部好处根本没机会被兑现。如今,随着BlueField-3的问世,这项技术终于具备了实现创新、性能和效率所需的基本要素。为了提高应用程序性能和可伸缩性,同时消除操作系统抖动的影响,非阻塞集合操作再次回到了人们的视野中。科学计算还有几个领域——包括早期的一些例子——BlueField正在展示它如何把HPC变成一种高效且可持续的计算模式。
通过网络计算节省CPU周期
NVIDIA的Scalable Hierarchical Aggregation and Reduction Protocol(SHARP)技术,通过把许多阻塞集体操作从CPU卸载到交换网络,而且不用在端点之间多次发送数据,从而有效提升了MPI操作的性能。这一创新举措,既减少了数据到达聚合节点时穿越网络的数据量,也大大缩短了MPI操作时间。BlueField则更进一步,利用其Arm内核实现非阻塞操作,额外扩展了网络计算能力,让系统主机CPU能够实现峰值重叠计算。
图2展示了一个使用MVAPICH2-DPU库的实例——这个库正在进行优化,目标就是充分释放BlueField的全部潜力。你可以看到,主机上的计算过程与MPI_Ialltoall通信之间,被成功提取出了峰值的重叠能力。

适用于HPC工作负载的计算存储
计算存储——或者说存储计算——就是给传统的存储设备配上HPC功能。具体操作是,在存储设备内部或旁边,完成部分选定的计算任务,这样就能减轻主机的处理负担,同时减少数据移动。BlueField的能力在于,它能在单卡上把存储和网络计算结合起来。它让存储软件堆栈可以从计算节点卸载下来,同时作为网络架构附加的NVMe控制器,还能加速压缩、校验和计算、奇偶校验生成这类关键存储功能。这些服务通常出现在并行文件系统里。
整个存储系统堆栈在Linux内核中透明卸载,而在NVMe目标端,由NVIDIA DOCA简单实现标准存储功能。新一代开放存储架构,为加速、隔离和保护高性能存储系统提供了全新的范式。这套系统采用硬件和软件协同设计,让DPU对用户来说既高效又透明。文件系统的加速,意味着存储系统里关键功能的性能会得到提升;而存储系统的性能,正是基于深度学习的科学探索得以顺利推进的关键因素。
能把存储客户端和服务器完全卸载到DPU上,这带来了此前根本无法实现的安全和性能隔离级别。关键数据平面和控制平面功能被迁移到DPU上单独的域里,这样既减轻了服务器CPU的负担,也在CPU或其软件受损的情况下,提供了可靠的功能保护。
NVIDIA DOCA软件框架
NVIDIA DOCA SDK是释放BlueField潜力的总钥匙。它和BlueField DPU一起,通过一个全面开放的开改平台,支撑起了能带来突破性网络、安全、存储和应用程序性能的应用开发。DOCA支持一系列操作系统和发行版,内含驱动、库、工具、文档和示例程序。即将发布的NVIDIA DOCA 1.5和2.0版本,引入了大量网络、存储、安全功能和增强特性,给HPC开发者提供了突破性的性能和高级编程能力:全新的通信通道库、快速访问主机内存以实现UCX加速、存储仿真(SNAP)——包括存储加密,以及全新的NVIDIA DOCA服务——比如UCC卸载服务和遥测服务,还有NVIDIA DOCA安全SDK。
改变HPC领域的今天和明天
好多创新领域已经初露锋芒。BlueField DPU、NVIDIA DOCA以及整个社区,还会持续给HPC领域带来变化。有些想法已经落地了,比如在数据中心范围内强化性能隔离,或者增强作业调度程序以实现更智能的作业安排。科学应用程序通常高度同步,因此系统噪声对大型HPC系统的负面影响,可能会导致性能大幅下降。减少由存储等其他环节引起的系统噪音,就成了至关重要的事。
遥测信息的力量巨大。它不只是收集路由器、交换机和网络流量的数据;更重要的是,可以通过工作负载和I/O特性,收集和共享有价值的信息。AI框架精确地调整了NVIDIA Quantum-2 InfiniBand平台中的性能隔离算法。那些共享公共数据中心资源(比如网络和存储)的多应用程序环境,能够确保获得可以实现的最佳性能,就像每个应用程序都作为单个实例在裸机上运行一样。BlueField DPU完全有能力应对大规模计算带来的种种挑战。
