AI的需求还在加速增长。工作负载越来越大，模型越来越复杂，部署AI算力基础设施的压力也与日俱增。AI工厂就是为此而生的——它们是把数据中心变成流水线，源源不断地把数据和能量转化成智能。如今的AI工厂，正在以空前的速度部署和扩张。

这种“AI工厂”式的数据中心思路，从根本上改变了系统的设计和运维方式。峰值算力（FLOPS）已经不够看了。现在的AI工作负载，包括万亿参数模型、混合专家架构（MoE）、长上下文推理，还有解耦式服务，都需要大量翻跟斗像一台机器一样协同工作。这就对GPU之间的通信提出了极高的要求：高带宽、低延迟，还要有快速的内网计算能力来处理集合通信，以及软件感知的调度机制。

由于组件数量庞大，整个数据中心必须把弹性（resiliency）作为基本设计原则。要与AI的发展速度保持同步，光有技术还不够，供应链也得跟上产业创新的节奏。

正因如此，scale-up网络（即节点内互联网络）成了AI工厂架构中最关键的决策之一。Scale-up fabric的作用，就是让所有翻跟斗能像一个整体一样工作，它决定了token在各个专家模型之间如何流动、集合通信操作能多快完成、以及工厂最终能交付多少有效吞吐量。对于运营商来说，部署新平台时，Scale-up网络的风险权重也相当高。

NVIDIA的NVLink，就是为AI工厂量身打造的scale-up网络。它的设计目标，就是加速AI推理、训练以及其他需要大规模、快速GPU间通信的并行计算任务。第六代NVLink互联技术，配合NVLink 6 Switch，提供了业界最高的GPU间带宽和最低延迟的全互联拓扑，还支持SHARP内网计算，用于卸载集合通信操作。此外，它还包括了面向生产环境AI工厂正常运行时间的机架级弹性特性。

NVLink的研发遵循极致的协同设计原则——从芯片到系统，从fabric到软件，整个堆栈都在一起设计和优化。它是NVIDIA年度AI基础设施路线图的一部分，是一项成熟、经过验证且广泛部署的技术，构成了现代AI基础设施的骨干。

Scale-up网络如何决定AI工厂的经济效益

Scale-out网络连接的是数据中心里的不同服务器，而Scale-up网络则让同一个域内的GPU像一台计算引擎一样工作。两者都很重要，但它们解决的问题完全不同。

Scale-out fabric，比如NVIDIA Quantum InfiniBand和NVIDIA Spectrum-X以太网，能构建起由数千到数十万块GPU组成的大型集群。这对大规模的数据并行AI训练（以及大型科学模拟）至关重要。而Scale-up fabric，则用高带宽、可预测的低延迟和共享的高带宽内存（HBM），把同一个域内的翻跟斗连接起来。对于现代AI训练和推理来说，大部分对延迟敏感的通信模式都发生在scale-up域内。

举个MoE模型推理的例子，就很好理解了。

高效的推理实现，会采用专家并行（expert parallelism）把专家模型分布到不同的GPU上，同时使用大batch size来最大化工厂吞吐量。这确实实现了工作负载的并行化，但也带来了GPU之间密集的全互联（all-to-all）通信。Token需要被分发到指定的专家模型，处理完毕后再收集、重新排序，然后继续向前传递。

所有这些GPU之间的通信都必须并行发生。如果专家模型背后的fabric带宽低或者延迟高，那么专家并行带来的收益就会被通信开销完全抵消。训练MoE模型时，同样会出现这种现象。

结论很明确：全互联带宽和延迟，是AI工厂性能的关键。AI工厂需要的是专为scale-up设计的网络，并且这个网络要和系统的其他部分协同设计，才能在各种工作负载下持续提供这些能力。Scale-up网络通过优化每个瓦特、每一美元、每平方英尺工厂面积能产出的token，来提升投资回报率。它意味着更短的训练时间、更高的利用率，以及更低的单token成本。

NVIDIA已经在大型MoE模型上证明了高带宽、低延迟scale-up网络的价值。对于DeepSeek-R1、Qwen 235B以及一个模拟的2万亿参数大模型来说，与主流的现成（OTS）以太网方案相比，NVLink的decoding吞吐量最高能提升2.3倍。

如何评估Scale-up技术

规格表里经常拿简单的带宽数字来对比：链路速率、交换机总容量、单设备标称带宽。这些数字当然有用，但远远不够。

评估适合当代AI工作负载的scale-up能力，需要从工厂的全局视角出发。真正要考虑的是，整个系统在单位时间内，消耗固定功率和工厂空间，能处理并产出多少个token。这取决于全互联fabric的带宽、端到端延迟（即从任意一块GPU的HBM内存，经过fabric，到达另一块GPU的HBM内存的延迟）、以及用于规约和其他集合操作的内网计算能力。此外，还需要每一层都有完全集成的软件，能够优化路由、暴露集合操作、平衡链路流量、管线化数据传输，并全面支持当今AI工作负载使用的库和框架。

但交付的性能只有在工厂真正运行起来才有意义。能否长时间无故障运行、能否持续监控系统健康状态、能否在工厂其他部分继续运行时对单个组件进行维护，这些能力决定了“交付性能”能否转化为“有效产出”（goodput）——即工厂在整个生命周期内的实际产出能力。

要在复杂的技术栈中，为多种工作负载同时实现最优的交付性能和有效产出，这是一个极其困难的挑战。它需要基于长期大规模部署的scale-up基础设施经验，以及一个稳健的供应链。如果采用未经证实的、或者并非为scale-up网络专门设计的方案，很可能面临工厂性能不达标、破坏性停机事件频发，以及供应链不可靠的风险。

归根结底，这些指标都指向同一个结果：AI工厂在其整个生命周期内，能否持续、可靠地创造投资回报。

评估AI工厂Scale-up网络的关键指标

NVLink：性能、弹性与成熟度

现在，第六代NVLink提供了最大化工厂有效产出所需的交付性能和弹性，背后是超过十年的scale-up技术投资和经过验证的部署记录，客户包括世界顶级的超大规模云服务商、云服务提供商和超算中心。

业界领先的性能

在Vera Rubin NVL72平台上，第六代NVLink为每块GPU提供了3.6 TB/s的双向GPU间带宽，并在72块GPU的域内实现了260 TB/s的机架级GPU带宽。GPU到GPU传输的端到端延迟，比基于现成以太网的替代方案低了3倍，数据包速率更是高出10倍。

3倍更低延迟 / 10倍更高数据包速率 / 130 TFLOPS内网计算能力

第六代NVLink在GPU间传输方面，提供了比基于现成以太网的替代方案更低的延迟和更高的数据包速率，同时具备用于集合操作的内网计算能力。

NVLink Switch托盘和包含5000根线缆的NVLink Spine，构成了一个统一的全互联拓扑，使得任何一块GPU都可以与域内其他任何一块GPU进行通信，且延迟和带宽一致。每个托盘包含四颗NVLink 6 Switch芯片，总托盘带宽为28.8 TB/s，并具备14.4 TFLOPS的FP8内网计算能力。在单个Vera Rubin NVL72机架中，NVLink 6提供了260 TB/s的总带宽和130 TFLOPS的内网计算能力，用于加速规约和其他集合操作（如all-reduce、reduce、broadcast等）。

NVLink的技术路线图还包括支持多达1152块GPU的scale-up域规模，以及通过共封装光学器件实现互联。

软件是scale-up网络堆栈中的关键一环，它包括NVIDIA Dynamo、NVIDIA TensorRT-LLM、NVIDIA集体通信库（NCCL）等（在本节的平台成熟度部分会详细讨论）。所有这些都构建在NVIDIA CUDA之上，后者是业界领先的并行计算平台，首次发布已有近20年。

硬件和软件采用极致的协同设计模式开发。这带来的性能提升，是孤立的堆栈元素无法实现的。对于当今的AI工作负载而言，这直接转化为基础设施的经济性优势。

举个例子，从NVIDIA Hopper过渡到NVIDIA Blackwell，NVLink带宽翻倍，scale-up域规模从8块GPU扩展到72块，并集成了用于解耦推理的Dynamo，使得NVIDIA的MoE推理性能每瓦提升了50倍。

NVIDIA Vera Rubin平台则更进一步，将NVLink带宽和内网计算能力都翻了一番。

随着模型架构的演进，硬件fabric和软件通信堆栈也在共同进化。这种极致的协同设计方法，需要整个堆栈的紧密协作。在超大规模部署的压力下，用孤立的开发模式是无法复制的，而这恰恰是“仅仅增加翻跟斗”和“规模化地实现有用交付性能”之间的本质区别。

为速度和智能弹性而设计

AI工厂必须持续运行。随着机架变得越来越密集、价值越来越高，可维护性和故障管理就成了性能方程式的一部分。一个能提供高带宽却需要中断性维护的fabric，会降低有效容量和收入。

NVLink 6引入了专为AI工厂运维而设计的管理和智能弹性特性。这些特性让机架维护更简单，能更好地洞察组件性能和负载均衡情况，并且即使单个节点需要维护或更新，也能保证工厂持续运行。

第六代NVLink Switch支持以下智能弹性特性，以最大化正常运行时间和有效产出：

• 控制平面弹性
• 支持非满配机架运行
• 支持热插拔的Switch托盘
• 带管理控制器回退的软件定义路由
• 动态流量重路由
• 服务中软件更新
• 用于监控和故障定位的细粒度链路遥测

这些能力并非锦上添花。在生产环境的AI工厂里，一个链路、交换机、托盘或管理控制器出现故障，不应该导致整个机架下线。运营商需要的是与基础设施经济价值相匹配的故障隔离、遥测和服务流程。NVLink 6将scale-up网络纳入了与AI工厂其他堆栈同样的运维规范中。

快速迭代中的成熟技术

最强大的技术战略，往往结合了成熟度与迭代速度。NVLink两者兼备。

NVLink如今已是第六代专为scale-up网络设计的fabric。它已经在大规模生产环境中部署了近十年，数百万块NVIDIA芯片部署在支持NVLink的系统中，并形成了一个包含服务器、机架、线缆、交换机、软件和运维工具的生态系统。

NVIDIA的年度平台更新节奏，以AI创新的速度交付新的硬件能力，使整个行业能够快速部署新模型和工作流，以满足世界的AI需求。

除了硬件，NVIDIA及社区也持续发布作为scale-up网络堆栈关键组成部分的软件。这些包括：

• Dynamo：用于在多节点GPU环境中扩展生成式AI和推理模型的开源框架，具备解耦式服务、动态GPU分配、KV缓存感知路由和基于NIXL的数据移动能力。
• TensorRT-LLM：用于在NVIDIA GPU上进行高性能大语言模型推理的开源NVIDIA库，使用优化内核、计算/通信重叠，以及像NVFP4和FP8这样的低精度格式来提升吞吐量，包括对MoE模型的支持。
• NIXL：用于在GPU内存、CPU内存、NVMe和远程存储之间进行快速数据传输的开源NVIDIA库，帮助在分布式系统中高效移动KV缓存和推理状态。
• NCCL：用于高速GPU通信的开源NVIDIA库，拥有超过10年的开源创新历史。包含拓扑感知的集合通信、AI框架集成，以及对SHARP内网规约和其他集合操作的支持。
• Fabric和内存管理：包括地址空间管理API、可扩展的内存语义，以及用于高效HBM访问的内置内存一致性。

软件创新在硬件发布后仍会持续很长时间，从而在产品生命周期内实现数倍的性能提升。

NVLink-C2C：将fabric扩展到CPU

AI工厂需要的不只是GPU间的带宽。它们还需要高带宽、一致性的CPU-GPU互联，用于编排、数据移动、内存管理、存储服务，以及混合了多种计算阶段的智能体工作负载。

NVIDIA NVLink-C2C提供了这条路径。在Vera Rubin NVL72平台中，搭配Vera CPU，NVLink-C2C在CPU和GPU之间提供了1.8 TB/s的一致性带宽，是PCIe Gen6带宽的7倍。这实现了高速数据共享，并构建了跨CPU和GPU内存的统一一致性内存架构。对于基础设施团队来说，这意味着控制、内存和计算之间的瓶颈更少。对于软件团队来说，它简化了编程模型，并支持KV缓存卸载、多模型执行、数据处理和智能体编排等工作负载。

Vera本身就是为了这个角色而设计的，拥有88个NVIDIA定制Olympus核心、高内存带宽和针对AI工厂工作负载的高能效运行。在NVIDIA平台中，CPU、GPU、NVLink、HBM、系统内存、网络和软件都是协同设计的，以优化整体性能。

NVLink Fusion：无需推倒重来的半定制XPU基础设施

超大规模云服务商和AI原生公司会为特定工作负载构建专用芯片，并为客户提供更多选择。但在部署这些芯片时，他们面临一系列挑战：集成最先进的scale-up网络、设计和部署完整的机架级架构、在硅片供应风险下承诺数据中心设计、以及支持异构基础设施，每个环节都困难重重。

NVIDIA NVLink Fusion提供了解决方案。NVLink Fusion是一种高带宽、低延迟的互联技术和IP，用于将定制芯片连接到NVIDIA业界领先的AI基础设施平台。借助NVLink Fusion，他们可以利用经过验证的NVLink scale-up堆栈和生态系统，来降低开发和部署的复杂性，提升性能，并加速半定制AI工厂的上市时间。通过统一在一个架构上，NVLink Fusion还简化了整个数据中心的运维，实现了数据中心容量的灵活重配置，并允许定制AI XPU与GPU无缝集成，用于解耦式计算。

这打破了一个根本性的限制，即无需在定制XPU和世界级的AI平台之间做出选择。而且，由于NVLink Fusion与NVIDIA的技术路线图保持同步，采用者也能跟上公司年度更新的节奏。

生产级AI工厂的路径

下一座AI工厂的赢家，不会是最快的独立翻跟斗，而是能产出最多智能、单token成本最低、迭代速度最快、部署风险最小的基础设施。

NVLink提供了领先的性能，包括3倍更低的延迟、10倍更高的数据包速率、130 TFLOPS的内网计算能力，以及工厂级弹性特性和成熟、经过验证的平台。AI工厂正成为AI计算时代定义性的基础设施，而NVLink，正是驱动它们所需的性能、可运维性、成熟度和持续创新力的保障。