前期我们探讨过Nvidia人工智能芯片的路线图与工艺细节，今天将深入剖析其关键的互联技术，尤其是NVLink C2C。这项技术在很大程度上决定了芯片与系统的物理架构，是Nvidia打造SuperChip超级芯片、实现性能与成本差异化的重要基石。

NVLink C2C是一种低延迟、高密度、低成本的芯片互联方案。相比传统SerDes互联，它采用高密度单端架构与NRZ调制，在同等带宽下能够实现延迟、功耗与面积的最优平衡。而与Chiplet Die-to-Die互联相比，NVLink C2C具备更强的驱动能力，支持独立封装芯片之间的互联，因而可以使用标准封装，满足低成本部署需求。

为了实现CPU与GPU间的缓存一致性操作（Cache-Coherency），NVLink C2C接口的延迟被要求控制在极低水平。以H100 GPU为例，其左侧需要同时支持NVLink C2C和PCIe接口。前者用于与自研Grace CPU组成Grace-Hopper SuperChip，后者则用于连接PCIe交换芯片、第三方CPU、DPU等设备。NVLink C2C的互联带宽达到900GB/s，而PCIe仅为128GB/s。

当Hopper GPU与Grace CPU组成SuperChip时，需要支持封装级的互联。值得注意的是，Grace CPU之间同样可以通过NVLink C2C互联形成Grace CPU SuperChip。然而，出于成本考量，Nvidia并未采用双Die合封的方式，而是选择通过封装间的C2C互联进行扩展。

从延迟角度分析，NVLink C2C采用40Gbps NRZ调制，可实现无误码运行（BER < 1e-12），无需FEC，接口延迟可控制在5ns以内。相比之下，112G DSP架构的SerDes本身延迟可能高达20ns，且采用PAM4调制需要引入FEC，这将额外增加百纳秒级的延迟。此外，NVLink C2C使用独立的时钟线传递时钟信号，数据线上无需维持直流均衡的编码或扰码，从而将延迟压缩到极致。可以说，满足芯片间低延迟互联需求，是Nvidia引入NVLink C2C的核心驱动力。

再看互联密度。当前112G SerDes的边密度可达12.8Tbps每边长，远超H100的（900+128）GB/s * 8/2 = 4.112Tbps的边密度需求。而NVLink C2C的面密度是SerDes的3到4倍（169Gbps/mm²对比552Gbps/mm²）。但当前NVLink C2C的边密度仍略低于SerDes（281Gbps/mm对比304Gbps/mm）。因此，追求更高的边密度并非NVLink C2C需要解决的主要矛盾。

从驱动能力来看，112G SerDes远强于NVLink C2C，这在一定程度上限制了NVLink C2C的应用范围。未来，类似NVLink C2C的单端传输线技术可能会进一步演进以拓展传输距离。尤其在224G及以上SerDes时代，芯片间互联更加依赖电缆方案，这对计算系统并不友好，会带来芯片布局、散热等工程挑战，同时也面临成本压力。

功耗方面，112G SerDes的功耗效率为5.5pJ/bit，而NVLink C2C仅为1.3pJ/bit。在3.6Tbps互联带宽下，两者功耗分别为19.8W和4.68W。单独看，互联功耗降低了不少，但H100 GPU整体功耗约700W，因此互联功耗占比并不大。

成本方面，NVLink C2C在面积和功耗上优于SerDes，因此在提供相同带宽时，可以节省更多芯片面积用于计算和缓存。不过，由于计算芯片并非IO密集型，这种成本节约的比例并不显著。但关键在于，当需要将双Chiplet芯粒拼装成更大规模芯片时，NVLink C2C可以在某些场景下避免使用先进封装，这对降低成本有明显帮助。例如Grace CPU SuperChip选择标准封装加NVLink C2C互联进行扩展，就是因为当前工艺水平下，先进封装的成本远高于逻辑Die本身。

C2C互联技术还有一个潜在应用场景是大容量交换芯片。当其容量突破200T时，传统架构中SerDes的面积和功耗占比过高，会给芯片设计与制造带来困难。此时可以利用出封装的C2C互联技术实现IO扇出，同时尽量避免使用先进封装。不过，当前的NVLink C2C技术并不适合这个场景，因为它无法与标准SerDes实现比特透明的转换，需要引入背靠背的协议转换，这会增加延迟和面积功耗。

值得一提的是，Grace CPU具有上下翻转对称性，因此单个芯片设计可以支持同构Die组成SuperChip。而Hopper GPU不具备这种对称性，未来的双Die B100 GPU芯片很可能由两颗异构Die组成。

NVLink和NVLink C2C技术提供了更灵活的设计，实现了CPU与GPU的灵活配置，可以构建满足不同应用需求的系统架构。它支持灵活的CPU、GPU算力配比，可组成1/0、0.5/1、0.5/2、1/4、1/8等多种组合的硬件系统。同时，NVLink C2C支持Grace CPU和Hopper GPU芯片间的内存一致性操作，让Grace CPU成为Hopper GPU的内存控制器和IO扩展器，实现了4倍IO带宽和5倍内存容量的扩展。这种架构打破了HBM的瓶颈，实现了内存超发。对训练而言，可以缓存更大模型，利用ZeRO等技术外存缓存模型，带宽提升能减少Fetch Weight的IO开销。对推理而言，同样可以缓存更大模型，按需加载模型切片推理，有可能在单CPU-GPU超级芯片内完成大模型推理。

有媒体测算，Nvidia H100的利润率高达90%，并给出了估算的成本构成。Nvidia向台积电下单，采用N4工艺制造GPU芯片，平均每颗成本155美元；从SK海力士采购六颗HBM3芯片，成本约2000美元；台积电生产的GPU和采购的HBM3一起送到CoWoS封装产线，以性能损耗最小的方式加工成H100，成本约723美元。

先进封装成本高昂，是逻辑芯片裸Die成本的3到4倍以上，GPU内存的成本占比更是超过60%。按DDR 5美金/GB、HBM 15美金/GB估算，H100 GPU中HBM成本占比为62.5%；GH200中HBM和LPDDR的成本占比则高达78.2%。

尽管不同来源对各部件绝对成本的估算略有差异，但结论非常明确：内存在AI计算系统中的成本占比可高达60%到70%以上，先进封装的成本是计算Die成本的3到4倍以上。在接近Reticle面积极限的大芯片良率达到80%的情况下，先进封装无法有效降低成本。因此，非必要不使用，应遵循这一原则。

Nvidia与AMD和Intel GPU架构对比

相比之下，AMD的GPU更加依赖先进封装技术。MI250系列采用了基于EFB硅桥的晶圆级封装，MI300系列则应用了AID晶圆级有源封装基板技术。而Nvidia并没有用尽先进封装的能力，一方面在当前代际保持了相对较低的成本，另一方面也为下一代GPU保留了工程工艺的价值发挥空间。

Intel的Ponte Vecchio GPU则将Chiplet和先进封装技术推向了极致。它涉及5个工艺节点（包括TSMC和Intel两家厂商），47个有源Tile，并同时采用了EMIB 2.5D和Foveros 3D封装技术。可以说，它更像是一个先进封装技术的试验场。当然，Intel的主力AI芯片是Gaudi系列。值得注意的是，Gaudi系列由TSMC代工：Gaudi 2采用7nm工艺，Gaudi 3采用5nm工艺。