2023年，AI这词儿，算是彻底出圈了。像ChatGPT、GPT-4、文心一言这些AIGC大佬，文本撰写、代码开发、诗词创作那是样样拿手，展现出的内容生产能力，确实让人不得不服。 除了AIGC大模型本身，更值得关注的是其背后的通信技术。到底是一张怎样的强大网络，在支撑着这一切？AI浪潮的反噬，又将给传统网络带来怎样的变革？来说重点，咱们把这事儿掰开看看。

AIGC，到底需要多大的算力？

数据、算法和算力，是AI发展的三大基本要素，这已经是行业共识了。 前面提到的那几个大模型之所以厉害，不只是因为它们背后有海量的数据喂着，算法也在不断迭代升级。更重要的是，咱们的算力规模，确实已经上了一个新台阶。强大的算力底座，才能支撑AIGC吃得消、跑得动。 如今，大模型的训练参数已经从千亿级飙到了万亿级。为了完成这种规模的训练，底层的GPU数量，也达到了万卡级别。就拿ChatGPT来说，据说是动用了10000块V100 GPU，组成了一个高带宽集群。一次训练，要消耗约3640 PF-days的算力——也就是每秒1千万亿次计算，跑上3640天。 一块V100的FP32算力是0.014 PFLOPS；一万块，就是140 PFLOPS。如果GPU利用率能到100%，那一次训练就得3640÷140=26天。可GPU利用率怎么可能到100%？按33%算（这是OpenAI自己给的假设利用率），那26天就得翻三倍，变成78天。 所以，GPU的算力，以及GPU的利用率，对模型训练的影响非常大。 那么问题来了——影响GPU利用率的最大因素是什么？ 答案是网络。 一万甚至几万块GPU，作为计算集群，跟存储集群交互数据时，需要极大的带宽。而且，GPU在训练计算时，都不是单打独斗，而是混合并行。GPU之间要频繁交换数据，同样需要极大的带宽。 如果网络不给力，数据传输慢，GPU就得等数据，利用率自然会掉。利用率一降，训练时间拉长，成本变高，用户体验也跟着打折扣。 业界有过一个模型，算过网络吞吐能力、通信时延和GPU利用率之间的关系，结果长这样： 大家一眼就能看出来：网络吞吐能力越强，GPU利用率越高；通信时延越大，GPU利用率越低。 一句话，没有好网络，别玩大模型。

怎样的网络，才能支撑AIGC的运行？

为了应对AI集群对网络的这种挑战，业界也是想了不少办法。传统的思路，主要就是三种：Infiniband、RDMA、框式交换机。咱们逐个简单了解一下。

Infiniband组网

搞数据通信的童鞋，对Infiniband（简称IB）应该不陌生。它是目前组建高性能网络的最佳途径，带宽极高，能实现无拥塞和低时延。据说ChatGPT和GPT-4用的就是Infiniband。 Infiniband有什么缺点？一个字——贵。相比传统以太网组网，IB组网的成本能贵好几倍。而且技术比较封闭，目前主流的供应商就一家，用户基本没什么选择余地。

RDMA网络

RDMA是远程直接数据存取。核心思路就是：应用程序的数据不再绕道CPU和复杂的操作系统，直接跟网卡通信。这样既大幅提升了吞吐能力，又降低了时延。 RDMA最早是跑在InfiniBand网络上的，现在逐渐移植到了以太网上。目前，高性能网络的主流方案，是基于RoCE v2协议来组建支持RDMA的网络。 这里面有两个重要搭配技术——PFC和ECN。PFC是基于优先级的流量控制，ECN是显式拥塞通知。它们的本意是避免链路中的拥塞，但如果频繁被触发，反而可能导致发送端暂停或降速，拉低通信带宽。后面还会提到。

框式交换机

国外有部分互联网公司，尝试用框式交换机（DNX芯片+VOQ技术）来满足高性能网络需求。 但这种方案有几个明显挑战。 第一，扩展能力一般。机框的大小限制了最大端口数，想做更大规模集群，得横向扩展多个机框。 第二，功耗大。机框内线卡芯片、Fabric芯片、风扇等一堆东西，单设备功耗能超过2万瓦，有的甚至3万多瓦，对机柜供电能力要求太高。 第三，单设备端口数量多，故障域也大。 基于这些原因，框式交换机只适合小规模部署AI计算集群。

到底什么是DDC

前面说的都是传统方案。既然不完美，那就得想新办法。 于是，DDC——Distributed Disaggregated Chassis（分布式分散式机箱）——粉墨登场了。 你可以把它看成是前面框式交换机的“分拆版”。框式交换机扩展能力不足，那就把它拆开，一个设备变多个设备。 传统框式设备，一般分为交换网板（背板）和业务线卡（板卡），相互之间用连接器连接。而DDC方案，把交换网板变成了NCF设备，业务线卡变成了NCP设备。连接器则变成了光纤。框式设备的管理功能，在DDC架构中也变成了NCC。 NCF：Network Cloud Fabric（网络云控制平面） NCP：Network Cloud Packet Processing（网络云数据包处理） NCC：Network Cloud Controller（网络云控制器） DDC从集中式变成分布式之后，扩展能力大大增强。它可以根据AI集群的大小，灵活设计组网规模。 举个例子——单POD组网和多POD组网。 单POD组网中，采用96台NCP作为接入，每台NCP下行有18个400G接口，负责连接AI计算集群的网卡；上行有40个200G接口，最大可以连接40台NCF。每台NCF提供96个200G接口。整个POD的上下行带宽超速比是1.1:1。一个POD能支撑1728个400G网络接口，按一台服务器配8块GPU来算，可以支撑216台AI计算服务器。 单POD组网 多级POD组网，规模可以更大。在多级POD组网中，NCF设备要牺牲一半的SerDes，用来连接第二级的NCF。这种情况下，单POD采用48台NCP作为接入，每台NCP下行有18个400G接口。 多POD组网 单个POD内，可以支撑864个400G接口（48×18）。通过横向增加POD（比如8个），实现规模扩容，整体最大可支撑6912个400G网络端口（864×8）。 NCP上行40个200G，接POD内40台NCF。POD内的NCF采用48个200G接口，这些接口每12个一组上行到第二级的NCF。第二级的NCF采用40个平面，每个平面4台NCF-P，分别对应POD内的40台NCF。 整个网络中，POD内部实现了1.1:1的超速比（北向带宽大于南向带宽），而POD和二级NCF之间，则实现了1:1的收敛比（南向带宽/北向带宽）。

DDC的技术特点

从规模和带宽吞吐的角度看，DDC已经能满足AI大模型训练对网络的需求了。 但网络运作过程很复杂，DDC还需要在时延对抗、负载均衡性、管理效率等方面再下功夫。

基于VOQ+Cell的转发机制，对抗丢包

网络工作时，经常会出现突发流量，导致接收端来不及处理，引发拥塞甚至丢包。 为了应对这种情况，DDC采用了基于VOQ+Cell的转发机制。 发送端从网络接收到数据包后，会先分类到VOQ（虚拟输出队列）中存储。在发送前，NCP会先发送Credit报文，确认接收端是否有足够的缓存空间来处理这些报文。如果接收端没问题，就把数据包切片成Cells（小切片），并动态负载均衡到中间的NCF节点。如果接收端暂时处理不过来，报文就在发送端的VOQ里暂存，不会直接发过去。在接收端，这些Cells会重组、存储，然后再转发出去。 切片后的Cells采用轮询机制发送，可以充分利用每一条上行链路，确保链路上的传输数据量大致相等。 轮询机制 这种机制充分利用了缓存，能大幅减少丢包，甚至完全不丢包。数据重传少了，整体通信时延更稳定、更低，带宽利用率自然就上去了。

PFC单跳部署，避免死锁

前面提到过，RDMA无损网络中引入了PFC技术来做流量控制。简单来说，PFC就是给一条以太网链路创建8个虚拟通道，每个通道指定优先级，允许单独暂停和重启其中任意一条，同时其他通道的流量不受影响。 PFC的问题在于死锁。所谓死锁，就是多个交换机之间因为环路等原因，同时出现拥塞，各自都在等待对方释放资源，结果谁都不动，永久堵死。 DDC组网下，不存在PFC死锁问题。因为从整个网络的角度看，所有NCP和NCF可以看成一台设备。对于AI服务器来说，整个DDC就是一个交换机，不存在多级交换机，所以没有死锁。 另外，DDC的数据转发机制还可以在接口处部署ECN。一旦检测到RoCE v2流量出现拥塞，就会向服务器端发送拥塞通知报文，要求降速。

分布式OS，提升可靠性

最后看看管理控制平面。前面提到，在DDC架构中，框式设备的管理功能变成了NCC。NCC如果采用单点方式，一旦出问题，整网就报销了。 为了避免这种情况，DDC可以取消NCC的集中控制面，构建分布式OS。基于分布式OS，通过SDN运维控制器和标准接口（Netconf、GRPC等），每台NCP和NCF独立管理，拥有独立的控制面和管理面。这样既提升了系统可靠性，也方便部署。

DDC的商用进展

综上所述，相比传统组网，DDC在组网规模、扩展能力、可靠性、成本、部署速度方面，有着明显优势。它是网络技术升级的产物，提供了一种碘伏原有架构的思路，实现了网络硬件的解耦、架构的统一、转发容量的扩展。 业界曾经用OpenMPI测试套件，对框式设备和传统组网设备做过对比模拟测试。结论是：在All-to-All场景下，相比传统组网，框式设备的带宽利用率提升了约20%，对应GPU利用率提升了8%左右。 正是由于DDC的这些能力优势，这项技术已经成为行业重点方向。比如锐捷网络，就率先推出了两款可交付的DDC产品：400G NCP交换机——RG-S6930-18QC40F1，以及200G NCF交换机——RG-X56-96F1。 RG-S6930-18QC40F1高度2U，提供18个400G面板口、40个200G Fabric内联口、4个风扇和2个电源。RG-X56-96F1高度4U，提供96个200G Fabric内联口、8个风扇和4个电源。据悉，锐捷网络还会继续研发，推出更多适合智算中心网络场景的产品。

最后的话

AIGC的崛起，已经掀起了互联网行业的新一轮技术革命。 越来越多的企业，正在加入这个赛道。这意味着，网络基础设施的升级，迫在眉睫。 DDC的出现，大幅提升了网络基础设施的能力，不仅有效应对了AI革命对网络础设施的挑战，更将助力整个社会的数字化转型，加速人类数智时代的全面到来。