好的，收到您的需求。作为一名在科技领域深耕多年的行业分析师，我将以我惯用的口吻，对这份报告进行人性化重写，确保其核心信息完整、结构清晰，同时剔除所有AI腔调和推广信息。 --- 最近有一份来自海外的深度报告，把OpenAI、谷歌和微软在AI基础设施层的家底儿扒了个干净。我们把它最核心的六条判断提炼出来，并做了精校翻译，希望能帮你快速抓住关键脉络。 **核心观点** 1. **模型越大，胃口越大**：AI模型越做越大，对算力的渴望简直是“饕餮盛宴”。现在前沿模型的训练集群已经到了万卡级别，而且还在疯狂扩张。一个明显的变化是，训练不再局限于一个数据中心，而是开始向多个数据中心协同进化。 2. **液冷技术，谷歌的护城河**：高密度液冷AI芯片成了香饽饽。但谷歌早在多年前就开始布局，现在靠着这个，已经在基础设施上把竞争对手远远甩在身后，形成了一道坚实的壁垒。 3. **比模型架构更重要的秘密武器**：相比模型本身怎么设计，各家大厂私藏的容错训练技术，反而成了更关键、也更不愿示人的核心技术壁垒。这玩意儿比算法重要得多。 4. **训练模式要变天了**：大模型的训练机制正在悄悄地从“同步训练”转向“异步训练”。这是个根本性的变化，影响深远。 5. **谷歌一骑绝尘，微软疯狂追赶**：在基础设施这块，谷歌的优势巨大。但微软和OpenAI也没闲着，它们正拉着供应链上的一堆合作伙伴，从四面八方弯道超车，势头非常迅猛。 6. **2025年，电信行业将被引爆**：到2025年，电信行业会有一次显著的增长，其带来的实际影响可能会让所有人大吃一惊。预计将有超过100亿美元的电信资本支出，专门投入到多数据中心训练里。这波增量，恰好赶上了市场自身的周期回升。 以下是这份报告的精校翻译，阅读大概需要30分钟。 --- 因为Scaling Law那套理论还在往前冲，AI基础设施建设的需求也跟着水涨船高。最顶尖的AI模型训练集群，今年就已经扩展到了10万个GPU，而且计划到2025年要超过30万个。但问题是，时间成本、政策法规、电力资源这些物理限制摆在那儿，那种把大模型训练都挤在一个数据中心站点的传统玩法，已经快走到头了。 所以，Google、OpenAI和Anthropic已经开始执行一个新计划：把大模型训练从一个站点，扩展到多个数据中心。谷歌拥有当今世界上最先进的计算系统，而且率先大规模使用了很多关键技术——比如机架级液冷架构、多数据中心训练——这些技术直到现在才被其他公司开始学着用。 Gemini 1 Ultra就是在多个数据中心上训练的。有意思的是，尽管谷歌手里的FLOPS（算力）更多，但他们现有的模型在效果上还是落后于OpenAI和Anthropic，原因是在合成数据、强化学习和模型架构这几个方面还在追赶。不过，即将发布的Gemini 2可能会改变这一切。 另外，到2025年，谷歌就有能力在多个计算中心园区进行千兆瓦级别的训练了。但让人意外的是，谷歌的长远计划其实没有OpenAI和微软那么激进。 来源：Google 大多数公司现在才刚刚开始引入高密度液冷AI芯片，用的是Nvidia的GB200架构，预计明年出货量能达到数百万。可谷歌呢？人家早就部署了数百万个液冷TPU，液冷AI芯片的总容量已经超过1吉瓦。这么一比，谷歌和竞争对手在基础设施上的差距，一下子就出来了。 来源：SemiAnalysis Datacenter Model 上图展示的这个AI训练园区，目前的电力容量接近300兆瓦，预计明年会提升到500兆瓦。不光规模大，这些设施的能效也高得吓人。看下面这张图，那个由水管连接的巨大冷却塔和中央供水系统，能够散掉近200兆瓦的热量。 来源：Google 借助这套系统，谷歌大部分时间都不用开传统的冷却器。根据最新的环境报告，这个系统让谷歌在2023年大部分时间里都能关闭冷水机组，从而实现了1.1的PUE（能源使用效率，数值越低越好）。 虽然上图只展示了供水系统，但水是通过“直接到芯片”系统送到机架的，然后液-液热交换器再把机架产生的热量传递给中央供水系统。这套极其节能的系统，跟我们之前分析Nvidia GB200时提到的L2L部署非常像。 而微软那边呢，他们目前最大的训练集群还不支持液冷。虽然单栋建筑的总面积跟谷歌的差不多，但每栋建筑能支持的计算资源却少了大约35%。公开数据显示其PUE是1.223，但这个算法对风冷更有利，因为它没算服务器内部风扇的能耗（举个例子，在H100服务器里，风冷系统的风扇能耗能占到服务器总功率的15%以上，而液冷系统里不到5%）。 所以，给芯片提供每瓦功率，微软需要额外再增加大约45%的电力去供给服务器风扇、冷却设施和其他非计算负载；而谷歌只需要额外增加大约15%。如果再算上TPU本身效率更高，这两家的对比差距就更复杂了。 来源：SemiAnalysis Datacenter Model 另外，为了在沙漠地区（比如亚利桑那州）实现合理的能源效率，微软需要大量用水。他们的水利用率达到了2.24升/千瓦时，远高于行业平均的0.49。谷歌的平均值也只略高于1。 **这种高水耗已经被不少媒体盯上了，所以他们被要求在新数据中心改用风冷式冷水机。但这会减少单栋建筑的用水量，同时会进一步推高PUE，拉大和谷歌在能源效率上的差距**。后续的报告里，我们会更详细地聊聊数据中心是怎么运作的，以及典型的超大规模设计方案。 结论是，基于现有的数据中心设计参考，**谷歌不仅基础设施更高效，而且能更快地建成兆瓦级的数据中心**。因为他们的每栋建筑容量高出50%以上，而且每单位IT负载所需的公共电力更少。 ## 谷歌的AI训练基础设施 谷歌建基础设施一直有自己独特的打法。虽然单个数据中心的设计已经领先于微软、亚马逊和Meta了，但这还不足以完全展现他们的优势。 谷歌在过去十几年里，不断地建大规模园区。爱荷华州康瑟尔布拉夫斯的那个站点就是个很好的例子，虽然年头不短了，但西区IT容量仍然接近300兆瓦。 来源：SemiAnalysis Datacenter Model 虽然其中相当一部分容量跑的是传统工作负载，但我们认为底部的建筑里放了大量的TPU。而东边的扩展区域用了最新的数据中心设计，会进一步提升AI训练能力。 谷歌最大的几个AI数据中心彼此也离得非常近。他们主要有两个多数据中心区域，一个在俄亥俄州，一个在爱荷华州/内布拉斯加州。现在，康瑟尔布拉夫斯周围那片区域正在大举扩建，容量将超过现在的两倍。 来源：SemiAnalysis Datacenter Model 除了上面提到的园区，谷歌在此区域还有三个站点在建，而且都在升级高带宽光纤网络。在这片区域里，有三个站点相距大约15英里，分别是康瑟尔布拉夫斯、奥马哈和帕皮利恩艾奥瓦，另一个站点在50英里外的林肯内布拉斯加。 下图展示的帕皮利恩园区，将为谷歌在奥马哈和康瑟尔布拉夫斯的业务增加超过250兆瓦的容量。加上前面的站点，2023年，这里的总容量就超过了500兆瓦，其中大部分都分配给了TPU。 来源：SemiAnalysis Datacenter Model 另外两个站点虽然规模还不如别人大，但正在快速扩建。这四个园区合并后，预计到2026年将形成一个千兆瓦级的AI训练集群。距离约50英里的林肯数据中心，将成为谷歌最大的单个站点。 谷歌庞大的TPU部署还不止这些。另一个即将建成的千兆瓦级集群在俄亥俄州哥伦布市附近。那里也是类似模式，三个园区正在开发中，预计到2025年底总容量就能达到1吉瓦！ 来源：SemiAnalysis Datacenter Model 下图展示的纽奥巴尼集群将成为谷歌最大的集群之一，目前已经部署了TPU v4、v5和v6。 来源：SemiAnalysis Datacenter Model 谷歌在俄亥俄州和爱荷华州/内布拉斯加州的这些集中数据中心区域，还可以进一步互联起来，为单个模型训练提供多吉瓦的算力支持。 我们在数据中心模型里详细记录了超过5000个数据中心的季度历史和未来电力数据，涵盖了AI实验室、超大规模计算商、新型云服务商和企业的集群建设情况。关于多数据中心训练的软件栈和方法，我们会在后面详细说。 ## 微软和OpenAI的反击？ 微软和OpenAI很清楚自己短期内的基础设施劣势。所以，他们启动了一个极具野心的基础设施建设计划，目标就是要超越谷歌，在液冷的多数据中心训练集群上击败它。 微软和OpenAI正在建设超高密度的液冷数据中心园区，规模接近千兆瓦级。他们还跟Oracle、Crusoe、CoreWea ve、QTS、Compass等公司合作，试图打造比谷歌更大的AI训练和推理总容量。 其中一些园区一旦建成，规模会超过谷歌任何一个园区。实际上，微软在威斯康星州的园区，将比谷歌在俄亥俄州的所有园区加起来还要大，当然，这需要一些时间。 更具野心的是，OpenAI和微软计划把这些超大型园区互联起来，进行全美范围的大规模分布式训练。微软和OpenAI将率先构建一个多吉瓦的计算系统，并和他们的供应链合作伙伴一起，推动有史以来最雄心勃勃的基础设施建设。 这篇文章的最后，会详细介绍微软和OpenAI的基础设施建设计划。在此之前，我们先聊聊多数据中心的同步和异步训练方法、滞后节点、容错机制、静默数据损坏，以及跟多数据中心训练相关的各种挑战。 接着，我们会解释数据中心怎么互联，以及通过光纤通信网络实现城域之间长距离连接的技术和设备。 最后，我们会探索一下电信供应链，讨论下一阶段人工智能基础设施建设中，谁是最大的受益者，以及哪些公司在这方面的杠杆率最高。 ## 多数据中心分布式训练 在深入聊微软和OpenAI的基础设施之前，咱们先得搞清楚分布式训练的基本概念。目前，大语言模型主要是同步训练的。 简单来说，训练数据被分成很多小批次，每个小批次由运行在不同GPU集群上的模型副本分别处理。在处理完一个小批次后，每个副本会计算出梯度，然后所有副本必须在每个小批次处理结束时同步一下。 这个同步过程，通常是通过像all-reduce这样的集体通信操作，把所有副本的梯度聚合在一起。梯度聚合后会被平均，然后统一更新模型的参数，这样所有数据副本的参数就能保持一致，模型也能稳定地收敛。这个过程要求所有设备在进入下一步之前互相等待，确保没有一个设备在模型状态上过于超前或落后。 来源：Preferred Networks 虽然同步梯度下降能提供稳定的收敛，但挑战也不小。尤其是在单个训练任务里用到10万个以上芯片的时候，通信开销会大幅增加。同步训练的性质决定了它对延迟有严格要求，必须有足够大的带宽来连接所有芯片，因为数据交换通常是突发式的。 当你尝试用多个区域的GPU来执行同一个训练任务时，它们之间的延迟也会增加。就算用光速在光纤里跑（20.8万公里/秒），从美国东海岸到西海岸的往返时间也需要43.2毫秒。再加上各种电信设备的延迟，对于标准的同步训练来说，这个延迟太大了。 根据阿姆达尔定律，当存在大量同步活动时，往工作负载里加更多芯片带来的加速收益会逐渐减少。随着芯片数量增加，程序运行时间里需要同步的部分（那些没法并行化的计算）保持不变，所以会达到一个理论极限。即便把GPU数量翻倍，整体吞吐量的提升也可能不到1%。 来源：Wikipedia 除了阿姆达尔定律说的理论限制，用同步梯度下降还面临着实际挑战，比如“滞后”问题。只要有一个芯片的速度慢了10%，整个训练任务的速度就会跟着降10%。 比如下图里，字节跳动观察到他们的MFU（机器利用率）从第7500步到第19000步逐渐下降，就是因为工作负载里的多个芯片一个接一个地变慢了，整个工作负载都被这些滞后芯片拖了后腿。 来源：ByteDance 在识别并移除滞后的芯片后，他们从检查点重新启动了训练任务，MFU才恢复正常。如图所示，MFU从40%降到了30%，下降了25%。当你拥有100万个GPU时，这25%的MFU下降，就相当于有25万个GPU闲着，而单单这些GPU的资本支出就超过100亿美元。 ## 容错训练 容错训练是所有分布式系统里的重要组成部分。当数百万个计算、内存和存储单元同时工作时，几乎必然会出现故障。即便是看似“相同”的系统，也可能因为硅片差异而性能不同。 系统设计的初衷就是为了解决这些问题。但让人意外的是，在全球最大的计算难题——机器学习训练中，用的却是完全相反的策略。所有芯片都必须完美运行，因为哪怕10万个GPU里只有1个出了故障，这个GPU也会导致所有10万个GPU需要从检查点重新开始，造成巨大的资源浪费。 而在容错训练中，当单个GPU出故障时，只有少数几个GPU会受到影响，绝大多数GPU可以正常运行，完全不需要从模型权重检查点重启。像LLAMA 3.1这样的开源模型，就因为缺乏合理的容错训练机制，已经消耗了大量成本和时间。 Nvidia的InfiniBand网络也存在同样的问题，它要求每个数据包必须按完全相同的顺序传递。任何顺序上的偏差或失败都会导致数据重传。就像在10万GPU集群报告里提到的那样，单纯的网络故障就可能需要花费数小时来处理。 实现容错训练的主要开源库叫TorchX，但它有明显的缺点，没法覆盖所有的长尾故障情况，也不支持3D并行性。这就导致几乎每个大型AI实验室都在开发自己的容错训练系统。 不出所料，谷歌是容错基础设施的领军者。他们通过Borg和Pathways系统，实现了最好的容错训练。这些库涵盖了最多的边缘情况，并且是一个高度垂直整合的整体：谷歌自己设计训练芯片，制造自己的服务器，写自己的基础设施代码，然后自己训练模型。这就像造车一样，垂直整合程度越高，就越能快速处理并解决根本性问题。几年前推出的谷歌Pathways系统就是其技术实力的证明。 总的来说，当集群扩展到10万个以上GPU用于单一任务时，容错是必须解决的最重要问题之一。在AI系统的可靠性上，Nvidia远远落后于谷歌。这也是为什么负责容错性的职位在Nvidia的招聘信息里屡次被提及的原因…… 来源：Nvidia Workday CPU领域的容错基础设施问题基本上已经解决了。比如，谷歌的内部数据库Spanner支撑着谷歌所有的生产服务，包括YouTube、Gmail和Stadia，并且能在全球范围内分布式扩展，同时对存储服务器和NVMe磁盘故障有容错能力。在谷歌数据中心，每小时有数百个NVMe磁盘出故障，但对终端用户和内部系统来说，Spanner的性能和可用性一点都不受影响。 另一个在大型集群中实现容错的传统CPU工作负载例子是MapReduce。MapReduce是一种建模方式，用户可以通过处理数据样本进行“映射”，然后将多个数据样本“规约”成一个聚合值。 MapReduce通过检测哪些CPU工作节点出故障来实现容错，并在另一个CPU工作节点上重新执行失败的映射和规约任务。 来源：Google 在CPU领域，大部分容错研究和系统开发是由Jeff Dean、Sanjay Ghemawat以及谷歌的很多世界级分布式系统专家完成的。尤其是现在机器学习训练规模越来越大、对更好容错系统的需求不断增加，这些在创建强大、可靠系统方面的专业知识，将成为谷歌的竞争优势之一。 通常，GPU的故障呈现U型曲线，大多数故障发生在集群生命周期的初期和末期。这就是为什么集群的全面烧机测试极为重要。不幸的是，一些AI Neocloud试图从集群生命周期里最大限度地榨取收益，往往没有为集群做适当的烧机测试，导致最终用户体验极差。 相比之下，在超大规模公司和大型AI实验室，大多数集群都会在高温和急剧温度波动下进行长时间的烧机测试，以确保所有早期死亡故障都已过去，并进入随机故障阶段。充足的烧机时间必须与避免过度消耗GPU和收发器使用寿命之间取得平衡，尤其是在它们已经通过早期问题之后。 磨损故障通常发生在组件使用寿命的末期，主要是长期使用导致的老化和损耗。通常在24/7的使用周期里，组件会在中高温之间快速波动，导致磨损加剧。尤其是收发器，因为剧烈的热循环，非常容易受到高强度的磨损。 来源：SemiAnalysis 在CPU领域，当托管虚拟机的物理主机出现较高错误率的迹象时，通常会把虚拟机迁移到另一台物理主机上。超大规模云计算公司甚至已经能实现虚拟机的实时迁移，用户几乎察觉不到。这通常是通过在后台复制内存页面来完成的，当用户的应用短暂减速时，虚拟机会迅速切换到正常的第二台物理主机上。 来源：SemiAnalysis 有一个主流的Linux软件包叫CRIU，它被用于主要的容器引擎，如Docker、Podman和LXD。CRIU允许在物理主机之间迁移容器和应用，甚至可以把整个进程状态冻结并保存到存储磁盘。长期以来，CRIU只支持在CPU和AMD GPU上运行，因为Nvidia一直拒绝实现这个功能，直到今年才有所改变。从2024年开始，Nvidia GPU也支持CRIU的检查点功能，这使得在不同物理主机之间迁移CPU进程状态、内存内容和GPU进程变得更简单了。 来源：SemiAnalysis 在微软的Singularity集群管理器论文里，作者描述了如何使用CRIU来实现GPU虚拟机的透明迁移。Singularity从一开始就设计成能够支持GPU工作负载的全球调度和管理系统。这个系统已经用于Phi-3训练（1024个H100 GPU）和其他许多模型。这表明微软试图追赶谷歌的垂直整合Borg集群管理器。 来源：Microsoft 不幸的是，因为容错训练太重要了，这部分方法的发布实际上已经停止了。当OpenAI等公司向硬件行业谈起这些问题时，他们的描述都非常模糊和概括，避免透露任何分布式系统的技术细节。需要明确的是，这些技术比模型架构更重要，因为它们都可以被视为计算效率的一部分。 来源：OpenAI 另一个常见的问题是静默数据损坏，它会导致计算机处理结果时无意中产生静默错误，而不会向用户或管理员发出任何警告。因为“静默”意味着错误不可察觉，这个问题非常棘手。 这些静默错误在很多情况下可能微不足道，但也可能导致输出被扭曲为NaN（非数字）或输出梯度极大。正如下面谷歌的Jeff Dean展示的梯度范数图所示，有些SDC可以通过图表上看到梯度范数的峰值来识别，但其他SDC用这种方法就检测不到。 来源：Google 另外，还有一些梯度范数的峰值不是因为硬件SDC，而是因为数据批量过大或超参数没调对。所有运行GPU集群的公司都会遇到SDC问题，但通常是资源有限的中小型Neocloud无法快速识别和修复这些问题。 对于Nvidia GPU，有一个叫DCGMI Diagnostics的工具可以帮助诊断诸如SDC之类的GPU错误。它可以捕捉到相当一部分常见的SDC，但遗憾的是，它漏掉了不少导致数值错误和性能问题的边缘情况。 我们在测试来自不同Neocloud的H100 GPU时发现，尽管DCGMI诊断工具的第4级通过了，但NVSwitch的算术逻辑单元没有正常工作，导致使用NVLS NCCL算法时出现性能问题和错误的All-reduce结果。我们会在即将发布的NCCL/RCCL集体通信文章里深入探讨我们的基准测试结果。 相比之下，谷歌的Pathways系统在识别和解决SDC问题方面表现出色。由于谷歌的基础设施和训练堆栈的高度垂直整合，他们能在大规模训练任务开始之前，轻松地在前置和后置阶段检查中识别SDC。 来源：Google 异步训练曾经是一种广泛使用的训练技术。2012年，来自谷歌大脑的著名百倍工程师Jeff Dean发表了一篇叫《DistBelief》的论文，描述了用于在数千个CPU核心集群上训练深度学习模型的异步和同步梯度下降技术。这个系统引入了一个全局“参数服务器”，并被广泛用于生产环境中，训练谷歌的自动补全、搜索和广告模型。 来源：ResearchGate 这种参数服务器风格的训练在当时效果非常好。然而，因为新模型架构的收敛性挑战，大家逐渐简化了训练过程，回归到全同步梯度下降。目前和之前的所有前沿模型，如GPT-4、Claude、Gemini和Grok，都在用同步梯度下降。但是，要继续扩大训练过程中使用的GPU数量，我们认为现在正在逐步回归到异步梯度下降。 ## 训练策略 根据阿姆达尔定律，解决添加更多芯片时收益递减的一种方法，是减少程序之间所需的全局同步次数，让更多的工作负载在整体时间上能半独立地运行。这种方法非常适合多园区、多区域甚至跨大陆的训练，因为不同GPU之间的延迟和带宽存在层次结构。 在一个园区内的建筑物之间（距离小于1公里），延迟非常低，带宽非常高，可以更频繁地进行同步。相比之下，当你在同一区域内（小于100公里）时，虽然带宽仍然很大，但延迟会更高，所以同步的频率应该相应减少。另外，不同园区之间拥有不同数量的GPU是可以接受的，因为负载均衡相对容易实现。比如，A园区有10万个GPU，B园区有7.5万个GPU，那么B园区的批次大小可能约为A园区的75%，同步时可以对不同园区的结果进行加权平均。 来源：SemiAnalysis 这个原理同样适用于多个区域和跨大陆的情况，在这些情况下延迟更高，所以同步的频率应该进一步减少。实际上，这构成了一个同步的层次结构。 打个比方，这就像你更常见到离你距离较近的朋友，而不太常见到同一海岸线上的其他城市的朋友，至于那些生活在其他大陆城市的朋友，见面的频率就更低了。 来源：PyTorch 此外，分层同步梯度下降的另一个好处是，它有助于缓解滞后问题，因为大多数滞后现象通常只会在几个步骤中间出现，随后会恢复正常性能。所以，同步次数越少，滞后现象在其异常表现期间打断同步过程的机会就越少。由于不是每次迭代都进行全局同步，滞后现象的影响就变得不那么显著了。分层同步梯度下降是近期多数据中心训练中非常常见的创新。 来源：PyTorch 另一种有前景的方法是重新审视Jeff Dean在2012年《DistBelief》论文里讨论的异步参数服务器的使用。每个模型副本处理自己的一批tokens，每隔几步，模型副本就会与参数服务器交换数据并更新全局权重。 这有点像Git版本控制，每个程序员在自己的任务上工作几天后再把它合并到主分支。这种方法简单实现可能会引发收敛性问题，但OpenAI能够通过各种优化器的创新来解决本地模型副本与参数服务器交换数据时的更新问题。 来源：Research Gate MetaAI的《Branch-Train-Merge》论文提出了一个类似的想法，即从现有的大语言模型分支出来，然后在数据集的子集上进行训练，最后再合并回去。我们认为这一方法的经验将会被整合到像OpenAI这样的公司使用的多园区训练技术里。 对于Branch-Train-Merge和其他类似方法的主要挑战在于，对于像GPT-3 175B或GPT-4 1.8T这样的现代大型语言模型，合并问题还没解决。需要投入更多的工程资源来管理合并过程并更新主分支，以确保模型的收敛性。 来源：Meta 为了把这种方法扩展到层级结构，我们还需要引入多层的参数服务器，其中数据在模型副本与最近的参数服务器之间，以及参数服务器之间进行交换。在最低层级，单个模型副本与其最近的参数服务器通信，更频繁地进行更新，以确保在本地组内更快地收敛和同步。这些本地参数服务器会被分组到更高的层级，每个层级在向上传播之前汇总并精炼来自下层的更新。因为涉及大量的GPU，参数服务器可能需要以FP32形式保存主权重。这类似于Nvidia推荐的FP8训练服务器，将主权重保存在FP32以避免多个GPU累积时发生溢出。 然而，在进行矩阵乘法之前，训练服务器会将数据向下转换为FP8以提高效率。我们认为，这种方案仍然适用，即参数服务器中的主权重为FP32，但实际计算将在FP8或更低的精度（如MX6）下进行。 来源：SemiAnalysis 为了实现多园区训练，谷歌目前使用了一个强大的分片器，叫MegaScaler，它能够在一个园区内的多个计算集群之间以及一个区域内的多个园区之间进行分区，使用Pathways进行同步训练。MegaScaler为谷歌提供了在扩大用于单一训练任务的芯片数量时强大的稳定性和可靠性优势。 不过，随着行业逐渐回归异步训练，这可能成为他们的一道障碍。MegaScaler建立在同步训练的原则之上，即每个数据副本与所有其他数据副本进行通信以交换数据。将异步训练加到MegaScaler里可能会非常困难，可能需要大规模重构，甚至可能得启动一个全新的项目。虽然Pathways是以异步数据流为基础设计的，但所有当前生产环境中的Pathways用例都是完全同步的SGD式训练。不过，显然谷歌有重新构建这个软件栈的能力。 来源：Google, Jeff Dean 跨区域连接数据中心时有两个主要限制因素：带宽和延迟。我们普遍认为，从长远来看，限制因素将是由于光速在光纤中的延迟，而不是带宽。这是因为在园区之间和区域之间铺设光纤电缆的成本主要是许可和挖沟的费用，而不是光纤电缆本身。因此，在凤凰城和达拉斯之间铺设1000对光纤的成本只会比铺设200对光纤略高一些。话虽如此，但该行业是在一个监管框架和时间尺度下运作的，在这个框架和时间尺度下，光纤对无法立即铺设，因此减少带宽的策略仍然非常关键。 来源：SemiAnalysis 我们认为，在这个多园区、多区域的训练集群上训练的模型规模将达到100TB以上。在一个区域内的可用区之间，我们认为在园区站点之间扩展到大约5Pbit/s是一个合理的假设，且在区域之间1Pbit/s的带宽是合理的。如果跨数据中心的带宽真的如此之高，那么在园区站点之间交换权重不会成为训练的主要瓶颈，因为在满速下只需要0.64秒。当交换400太字节的权重时，考虑到每进行几个计算步骤所需的时间，仅需0.64秒的时间是非常理想的。 来源：SemiAnalysis 虽然Nvidia提供了一种叫MetroX的InfiniBand结构网络交换机，支持40公里以内的连接，但没有任何AI实验室在用，只有一些非AI的HPC集群跨越10公里以内的多个园区在用。此外，MetroX每个机箱只有2x100Gbps带宽，相比之下，小于40公里范围内的以太网解决方案生态系统已经相当成熟。所以，即使是大量使用InfiniBand的微软，也在数据中心之间用以太网连接。 ## 从千兆位到太比特：调制和多路复用 目前，数据中心内部的网络通常专注于通过光纤链路为每个终端设备（比如每个GPU）提供高达400Gbps的速度。随着Nvidia逐步过渡到Connect-X8网卡，预计明年会全面转向800Gbps以满足AI的使用需求。 相比之下，电信网络把一个设施里多个设备和服务器的通信需求聚合到更少数量的光纤上，并以更高的速度传输。虽然运行在800 Gbps的数据通信收发器通常每对光纤只能使用最高100 Gbps，因此需要多个独立的光纤对；但电信应用已经能在单对单模光纤上实现超过20-40Tbps的传输速率，尤其是在海底电缆和很多陆地区域的部署中。 更高的带宽是通过以下几种方式的结合实现的： 1. 更高阶的调制方案，在给定的波长上每个符号传输更多比特。 2. 密集波分复用，把多个光波长合并到一根光纤上。 在调制方面，数据通信通常使用基于VCSEL和EML的收发器，这些收发器能进行PAM4调制。这是一种强度调制方案，通过用四个不同的电平进行信号传输，每个符号编码两位数据。 来源：ResearchGate 更高的速度可以通过增加符号发送的速率（以千兆波特为单位）或增加每个符号的比特数来实现。例如，400G SR8收发器能以26.6千兆波特的速率发送符号，并用PAM4实现每符号2比特，总共每对光纤达到50 Gbps。把8对光纤组合成一个连接器，总速率就能达到400 Gbps。要达到800 Gbps，可以通过把符号速率提高到53.1千兆波特，同时在8条通道上继续用PAM4。然而，符号速率加倍通常比用更高阶的调制方案更具挑战性。 16-正交幅度调制是一种广泛应用于ZR/ZR+光学和电信应用中的调制方案。它不仅通过编码四种不同的信号波幅，还使用两组载波，每组载波都可以有四种不同的幅度，并且两者相位相差90度，总共可以产生16种不同的符号，每个符号传输4比特数据。该方案进一步通过实现双极化扩展，利用另一组载波，一组在水平极化状态，另一组在垂直极化状态，总共可以产生256种符号，实现8比特数据。大多数400ZR/ZR+和800ZR/ZR+收发器只支持DP-16QAM，但在质量良好的光纤上运行的专用电信系统（具有更大体积）可以支持最高DP-64QAM，从而实现每个符号12比特数据的传输。 16-QAM中16种不同的可能波形。来源：EverythingRF 要实现使用不同相位的调制方案，必须用相干光学。当光源发出的光波彼此之间都处于相同的相位时，光被认为是相干的。这在实现基于相位的调制方案时非常重要，因为不一致的光源会导致不一致的干涉，从而无法恢复相位调制信号。 相干光学需要使用能处理高阶调制方案的相干数字信号处理器，以及可调谐激光器和调制器。但在400ZR的情况下，通常用硅光子学实现较低的成本。需要注意的是，可调谐激光器也非常昂贵，所以也有人尝试在相干轻量化方案中使用更便宜的O波段激光器。 ZR/ZR+光学模块是一种越来越受欢迎的收发器类型，使用相干光学技术，专门为数据中心互连设计，能在每对光纤上提供更大的带宽，并实现120公里至500公里的远距离传输。这些模块通常采用OSFP或QSFP-DD形态，正是数据通信应用中常用的形态，这意味着它们可以直接插入用于数据通信的相同网络交换机中。 来源：SemiAnalysis 传统的电信系统也可以用于数据中心互连，但与ZR/ZR+插拔式模块相比，这需要更复杂的电信设备链，占用数据中心更多的物理空间。ZR/ZR+插拔模块可以直接插入两端的网络端口，避免使用多个电信设备，大大简化了部署过程。 来源：Cisco 更高阶的调制方案能在每对光纤上提供更多的带宽。比如，与使用PAM4的强度调制直接检测收发器相比，双极化16-QAM可以实现8倍的带宽提升。然而，长距离传输仍然受到光纤的限制，因此可以使用密集波分复用来进一步增加每对光纤的带宽。DWDM通过将多个波长的光合并到一对光纤中。在下面的示例中，C波段上的76个波长和L波段上的76个波长被复用到同一对光纤中。 来源：Ciena 如果在这个系统上每个波长可以部署800Gbps的带宽，那么单根光纤对的总带宽可以达到121.6Tbps。海底电缆通常会最大化使用波长数量，而有些部署可能用到不到16个波长，虽然用96个波长的部署也不少见。目前的典型部署目标是每对光纤达到20-60 Tbps的带宽。许多部署一开始只会在C波段点亮少数几个波长，并随着客户需求的增长逐步点亮更多C波段，最终扩展到L波段，从而使现有光纤的传输速度随时间大幅提升。 ## 超大规模的电信网络部署 美国大多数大城市仍有大量未使用的光纤可以激活利用，而AI数据中心互连所需的大规模带宽正是充分利用这些容量的绝佳方式。在海底电缆中，由于物理电缆和部署成本随着光纤对数量的增加而上升，财团通常只部署8-12对光纤。而在陆地电缆中，大部分成本在于挖沟的劳动力和设备（以及某些城市地区的通行权），而不是光纤本身，因此在大城市区域的陆地路线上，企业往往会铺设数百甚至数千对光纤。 跨洋训练将比跨陆训练困难得多。 典型的光纤业务案例可能会假设留出相当数量的光纤对以备未来需求。通常任何主要道路、输电线路、铁路或基础设施旁边往往都有光纤电缆铺设——任何进行基础设施建设的公司通常会将光纤作为附属业务一起部署，因为如果已经有施工队在进行挖沟作业，增加光纤的成本几乎可以忽略不计。 在超大规模云服务商的电信网络建设中，他们更倾向于自建网络，而不是与电信提供商合作，直接与设备供应商和建筑公司合作，来满足长途传输、城市区域以及数据中心互联的需求。 来源：Microsoft 数据中心互连是指通过点对点网络连接距离在50公里以内的两个数据中心，通常通过铺设数千对光纤来实现。超大规模企业可以把ZR收发器插入每个远程数据中心内的网络交换机，然后把收发器调至不同的光波长，并使用无源复用器将多达64个收发器组合到一对光纤上。如果使用400ZR，那么每对光纤的带宽可以达到25.5 Tbps；或者也可以直接把每个ZR收发器插入它专属的光纤对。 来源：Arista 更复杂的电信系统也可以通过实施DWDM技术，把更多的ZR光学信号复用到更少的光纤对上，并支持非点对点的网络连接。但这需要占用一些机架空间来放置电信设备，比如路由器、ROADM、复用器和解复用器，以实现DWDM的功能。 由于大部分成本集中在为光纤挖掘管道上，大多数超大规模云服务商发现部署比实际需求更多的光纤对更为容易，这不仅节省了数据中心内部的空间，还避免了复杂的电信系统部署。通常情况下，只有在光纤物理容量受限的情况下（比如美国以外的某些地区），他们才会考虑在短距离内部署复杂的电信系统。在这些区域，光纤资源稀缺，超大规模云服务商可能不得不使用仅有的2-4对光纤对进行部署。 来源：Anritsu 然而，对于长途传输网络，超大规模云服务商需要使用一整套与数据通信领域产品截然不同的电信产品。典型的长途网络至少需要一些基础系统：收发器、DWDM复用器/解复用器、路由器、放大器、增益均衡器和再生站点。在大多数情况下，还需要用ROADM和WSS，但并非所有情况下都会用。 来源：TelecomHall 转发器在电信领域的功能类似于收发器，但价格更高且运行功率更大。转发器的一侧连接到实际的电信网络，另一侧提供多种端口组合，供该位置的客户端设备连接。例如，转发器可能在线侧提供800Gbps的传输速率，而在客户端侧提供4个200Gbps的光学或电气端口，客户可以选择无数种不同的端口容量和电/光组合。客户端侧可以连接数据中心内部的路由器或交换机，而线侧将连接到复用器，通过DWDM把多个转发器的信号复用，可能还会通过ROADM实现光学切换，支持比简单的点对点连接更复杂的网络拓扑结构。 典型的转发器。来源：Ciena DWDM通过复用器和解复用器工作，它将每个转发器发出的稍有不同波长的光信号组合到一对光纤上。每个转发器都是可调谐的，可以设置特定的光波长，以便在同一对光纤上进行复用。当使用ROADM时，转发器通常连接到无色的复用器/解复用器，然后再连接到波长选择开关。这使得ROADM可以动态调整转发器的波长，以优化网络的各种目标，实现灵活的网络配置和更复杂的光学信号管理。 光纤信号在长距离传输中会逐渐衰减，因此需要光放大器来增强光信号。通常，每隔60-100公里在光纤线路上放置一个放大器，它可以直接放大光信号，而无需将其转换为电信号。每经过三个放大器后，需要使用增益均衡器，以确保不同波长的光信号（由于不同的传输速度）能够均衡处理，避免出现错误。在某些超过数千公里的超长距离部署中，还需要进行信号再生，这涉及把光信号转换为电信号，重新整形和调整信号的时间，然后使用另一组转发器重新传输信号。 如果网络连接多个点，并且在多个节点处添加或接收流量，那么就需要使用ROADM。该设备可以在网络的特定部分光学地添加或删除特定波长的光信号，而无需把信号转换为电信号进行处理或路由。某一节点需要发送或接收的波长可以从主光纤网络中添加或删除，而不传输到该节点的波长可以不受干扰地通过ROADM。ROADM还具备控制平面，可以主动发现和监控网络状态，了解光纤网络中哪些信道是空闲的、信道信噪比、预留波长等，并且可以控制转发器，调整线侧的波长到合适的波长。 来源：Ciena 这些不同的组件通常组合在一个模块化的机箱中，看起来像这样： 来源：Optical Connection News Ciena、诺基亚、Infinera和思科是几家主要的全球电信系统和设备供应商，而Lumentum、Coherent、Fabrinet和Marvell则为这些主要供应商提供各种子系统和主动组件。 目前，这些组件供应商的优势主要体现在ZR/ZR+光学产品上，用于数据中心互连。但随着超大规模企业和其他运营商对跨越邻近数据中心之外的训练需求愈发重视，他们在更高平均销售价格的电信设备和系统上的投入可能会大幅增加。 非云计算客户对电信设备的需求似乎也已触底，并可能很快进入复苏阶段——这将提振各类电信供应商的前景。 接下来，我们来聊聊OpenAI和微软雄心勃勃的多数据中心训练计划，以及在这场大规模建设中，电信领域有哪些赢家。 ## OpenAI和微软计划如何超越谷歌 如前所述，微软的标准设计在密度上相比谷歌存在劣势。尽管两者的建筑面积大致相同，但微软的数据中心的兆瓦容量较低。谷歌的设施还拥有更低的PUE，这意味着更多的电力可以供应给IT设备，而相比之下，与网络设备、CPU、风扇等相关的电力消耗更少。因此，尽管微软也有建设大型园区的经验，但其建设时间通常较长，规模总体上也小于谷歌。 来源：SemiAnalysis Datacenter Model 微软最大的AI训练区域位于凤凰城，上述地点是其中最大的一部分，并将继续扩大到10座建筑。利用已经获得许可的多个站点，微软将使用上面所示的参考设计自行构建24个数据中心。为了进一步增加容量，微软在凤凰城周围的租赁活动非常积极，这将显著扩大其在该地区的占地规模。不过，并不是所有这些数据中心都将用于AI训练，有些可能用于其他用途。 来源：SemiAnalysis Datacenter Model 为了在规模上击败谷歌，微软和OpenAI无法依赖微软之前的数据中心设计。他们正在通过自建大幅提高新设施的密度，尤其是在密尔沃基以及通过合作伙伴在全美范围内进行扩建。在密尔沃基和亚特兰大，微软正在建设全球最强大的单体建筑，100%液冷，用于下一代AI硬件。 位于威斯康星州的自建超级园区在完全建成后，将成为微软或谷歌全部设施中最大的单一数据中心园区。Meta也在积极推进极具野心的单一站点计划。 来源：SemiAnalysis Datacenter Model 以上只是部分场地的小规模展示，但其扩展速度非常快。微软和OpenAI巨大基础设施的另一部分位于德克萨斯州，通过与Oracle + Crusoe以及CoreWea ve + Core Scientific在阿比林和丹顿的合作进一步扩大规模。 来源：SemiAnalysis Datacenter Model 有趣的是，在打造AI集群的过程中，微软还涉足了加密货币挖矿领域。CoreWea ve租赁了现有的Core Scientific加密矿场设施，而Oracle则与Crusoe合作使用其园区，Crusoe过去也深耕于加密货币领域。比特币矿工习惯于高密度、高功率的数据中心，许多矿场都签署了大规模的电力供应合同。正如Core Scientific的10-K文件所显示，其在多个站点上拥有1.2GW的合同容量。与全新建设数据中心相比，重新利用加密货币矿场的时间表要短得多，这使得这些设施在AI集群建设中的转型更加迅速和高效。 来源：Core Scientific 该公司正在大规模转向AI的数据中心托管，并与CoreWea ve达成了一项大规模协议，涉及382MW的IT电力供应，且交付时间相对较短。CoreWea ve将采购GB200 GPU，并将其租赁给微软供OpenAI使用。我们认为，最重要的地点将是位于德克萨斯州丹顿的矿井。 来源：SemiAnalysis Datacenter Model 与X.AI的现场发电机类似，这个数据中心也拥有充足的电力基础设施。该站点拥有一个225MW的天然气发电厂，位于所有加密矿场的中心位置。加密矿场将被拆除并进行大规模改造，替换为符合数据中心级别的电力和冷却系统。但与PUE高于1.3的自构建数据中心相比，这个站点仍然非常低效。 另一个重要的园区由Crusoe在德克萨斯州阿比林开发。Crusoe因其在北达科他州和怀俄明州的创新性燃烧气挖矿站点而闻名。他们正在建设一个千兆瓦级的数据中心，并将其第一部分租赁给Oracle，后者将其填充为GPU和网络设备，然后再租给OpenAI。通过实时低分辨率卫星，我们可以看到该园区的扩展速度。 来源：SemiAnalysis Datacenter Model 在美国的其他地区，还有其他几个非常大的数据中心，如下图所示。为了简洁和竞争分析，我们不会逐一介绍简报中的每一个，但要点很清楚： 来源：SemiAnalysis Datacenter Model 通过极具野心的自建计划、积极的租赁、大型合作伙伴关系以及创新的超高密度设计，微软将以多GW级集群规模引领AI训练市场。 ## 千兆瓦特巨型集群 微软正在寻求把多个园区互联，形成一个多GW级的庞大训练集群。光纤公司Lumen Technologies和Zayo已被签约合作，这为我们提供了一些线索。 Lumen和Zayo的参与表明，微软可能正在利用先进的光纤技术和基础设施来支持其大规模的AI训练集群。这种大规模的数据中心互联需求意味着，微软正在构建一个能够处理海量数据的高性能计算网络，利用高速光纤网络实现多个园区之间的低延迟通信和数据传输，以满足AI模型训练的需求。 7月24日，Lumen宣布与微软达成协议，互连多个数据中心。几天后，Lumen又与Corning签署了一项协议，将在未来两年内保留10%的产能。我们认为未来还会有更多类似的协议出现，这可能会极大地扩大Corning的业务。 来源：Corning Lumen Technologies在2024年9月4日宣布，由于AI推动的巨大连接需求，其已获得50亿美元的新业务。各行各业的大公司都在寻求快速获得光纤容量，因为随着AI需求的激增，这一资源变得越来越有价值，而且可能有限。此外，Lumen正在与客户进行积极讨论，希望再获得70亿美元的销售机会，以满足日益增长的客户需求。 Lumen Technologies是一家大型电信公司，业务涵盖多个领域，其中最重要的是企业部门。Lumen直接与企业合作，依靠其庞大的光纤网络，解决他们的连接需求。 来源：Lumen 如上所述，该业务受到容量利用率问题的困扰，大量租用或拥有的光纤已部署，但却处于闲置状态，即所谓的暗光纤。Lumen是美国最大的暗光纤供应商之一，与Zayo、AT&T和Crown Castle并列。企业电信业务也面临挑战，因为由于互联网价格下降，很多企业已经将流量转移到互联网上运行，这损害了对MPLS的需求，导致价格压力和资源利用率不足。同时，电信容量的购买者因超大规模云服务提供商的崛起而变得更加集中，更糟糕的是，这些云规模玩家倾向于自己构建电信网络。 这意味着许多光纤容量处于闲置状态，许多光纤对被点亮但只使用了很少的波长，并且仍在使用老旧的调制方案和较慢的数据速率。如果有像AI训练需求激增这样的推动力，升级这些闲置光纤容量将成为一个巨大的机会，因为这可以显著提升网络的传输能力。 维持如此庞大的基础设施需要大量的资本支出，和许多同行一样，Lumen面临现金流问题和巨额债务负担。该公司拥有接近200亿美元的金融债务，几乎没有产生任何自由现金流，并且其收入增长趋势保持稳定甚至有所下降。 多园区AI训练的兴起改变了上述局面，因为它需要巨大的带宽需求。微软是促成50亿美元协议的关键客户，并且可能还有另一笔70亿美元的交易正在酝酿中。 像Lumen这样的公司能够达成这样的交易，是因为它们拥有广泛的未使用光纤网络。所有这些闲置的容量和现有的路线使得超大规模云计算公司能够以成本效益高的方式构建大规模、超高带宽的网络。可能更重要的是市场投放时间：利用现有基础设施加速了原本需要数年时间的进程，尤其是在需要挖掘特别隧道的情况下。 对于Lumen来说，这笔50亿美元交易的经济效益如下： * 商业结构采用的是IRU（不可撤销使用权），这是光纤行业的标准协议，本质上类似于资本化租赁。此类协议的典型期限为20年。 * 交易价值的85-90%与基础设施相关，而剩余部分则涉及运营和维护，以及电力和托管服务。 * Lumen估计该交易的现金利润率为30-35%，这意味着税前利润约为15亿美元。 * 大部分基础设施费用将在合同的前3-4年内进行现金预付款，而剩余部分则会随着里程碑的实现而增加，并在合同期内按年费形式收取。 尽管与该交易相关的资本支出和运营支出增加，导致EBITDA下降，该交易仍大幅提升了Lumen的年度自由现金流预期。 来源：Lumen 这可能只是一个开始。明年电信行业将迎来显著增长，而这个沉寂已久的电信公司显然正引领着收入的大幅增长。光纤公司开始注意到这个机会，但我们相信，实际影响将让投资者和该领域的公司都感到惊讶。以整个交换机、路由器和广域网市场为例，其规模仅为750亿美元，因此一家公司50亿至100亿美元的增量投资将会产生巨大影响。 我们认为，未来将有超过100亿美元的电信资本支出专门用于多数据中心培训。这些都是额外的增量支出。同时，电信市场目前正处于周期性低谷。这是一个新的增量驱动因素，伴随着市场的周期性回升。 ## 受益的公司 除了我们直接讨论过的Corning和Lumentum，Fabrinet在数据中心互连产品方面也具有优势，尤其是其400ZR产品线。在截至2024年6月的财年第四季度，400ZR产品线占光学收入的10%。Fabrinet在电信领域的影响力远不止400ZR产品，其电信业务在2024财年第四季度占总收入的近40%。此外，Fabrinet还拥有强大的数据通信收发器产品线，负责制造Nvidia的800G收发器，用于在计算结构/后端网络中连接GPU。 ZR光学的持续增长是该公司预计电信业务在下个季度将实现环比增长的关键原因之一。Fabrinet将受益于ZR光学收入从占比约10%增长到未来超过20%。Fabrinet是唯一一家专注于光学系统和组件的合同制造商，在这个行业中被比作“台积电”，主要受益于产量，并且在市场上拥有强大的竞争地位。 在2024财年，Cisco是Fabrinet的第二大客户，仅次于Nvidia，占其销售额的13%。加上其他电信客户，Fabrinet在其电信业务方面获得了显著的增长动力。此外，Fabrinet刚刚赢得了Ciena作为客户，这表明Ciena明年可能会看到的订单量增长。过去，Lumentum和Infinera也曾是其销售额超过10%的客户，这两家公司的复苏也将有助于推动电信收入的增长。 Lumentum是另一家具有电信业务敞口的公司，预计其收入将在连续季度之间有显著提升，主要原因是ZR/ZR+光学器件、ROADM以及C+L波段产品的需求增加。 与Lumentum不同，Coherent对未来的展望较为温和，预计电信市场在短期内整体仍将疲软，尽管其400ZR+收发器业务表现强劲。Coherent继续受到电信设备库存问题的困扰，其电信收入环比下降6%，同比下降38%。不过，其前瞻指引表明电信市场的底部可能已经接近。 尽管Coherent继承了Finisar的传统，但由于整合了多个非光学业务，电信业务在其总收入中的占比已经变得相当小——我们估计在截至2024年6月的财年下半年，电信业务仅占总收入的13%。 我们认为Lumentum的业务组合比Coherent更好，资本结构也更加稳健。另一方面，如果Coherent能继续在数据通信业务上取得增长，并在电信领域取得一些进展，其债务可能会推动股本回报上升。 Ciena和Cisco都是电信行业的巨头，生产大量传统的电信设备，如线路卡/收发器、路由器、复用器/解复用器和ROADM。Cisco拥有更广泛的产品组合，并涉足一些软件业务，而Ciena更专注于纯粹的电信设备领域。Infinera也与电信行业密切相关，但即将被收购纳入Nokia的母公司体系中。 在我们看来，Ciena是所有电信设备制造商中对电信行业最为专注的公司，因为它们更加聚焦于上面提到的电信网络硬件。Ciena已经多次提到来自云客户的强劲需求，并且现在他们开始看到针对明年网络建设的巨大订单，特别是在2024财年第二季度的财报电话会议中明确提到这些订单与AI流量需求直接相关。 尽管Ciena的主要业务仍然是传统的电信网络设备（如收发器、ROADMs等），而非数据中心互连，但它特别提到赢得了18项400ZR+和800ZR+的订单，其中许多具有战略意义。ZR光学产品对Ciena来说是一个增值机会，因为其业务主要集中在大都会和长途网络，而不是数据中心互连。 我们认为Ciena在这些市场细分中都占据了非常强势的地位，并且为了支持AI训练而设计的电信网络将会有更高的链路密度。Ciena在内容和数量上都有增长的潜力，所有电信设备制造商中，Ciena在AI电信网络建设中的比例敞口是最高的，涵盖了各种范围和部署。 Cisco强调，在截至2024年7月的财年下半年，超大规模客户收入的订单增长达到了两位数，这抵消了服务提供商业务的疲软。此外，它还获得了10亿美元的AI订单，主要集中在以太网和光学相关产品领域，并预计在2025财年再获得10亿美元的AI相关订单。 虽然在上个季度中并未详细提及ZR光学或数据中心互连，但Cisco在2021年收购了Acacia，以在Coherent DSP和ZR光学等产品方面占据有利位置，理论上应该具备相关的市场敞口，但在过去几次财报电话会议中，他们几乎没有提到ZR光学的任何机会。 另一个需要考虑的因素是Cisco的庞大收入基数，2024财年全年收入达到538亿美元。因此，即使AI数据中心互连相关需求激增，对Cisco收入的百分比影响也远小于其他电信设备制造商或组件/系统供应商。 最后是Marvell。通过收购Inphi，Marvell获得了在PAM4 DSP领域的主导地位，以及一系列Coherent DSP产品。 我们认为，历史上与PAM4相比，Coherent DSPs在Inphi / Marvell业务中占比较小。然而，情况已经改变。Marvell的ZR光学业务不仅由其Coherent DSP产品组合支撑，还包括其COLORZ、COLORZ 400ZR/ZR+和COLORZ 800ZR/ZR+数据中心互连收发器。 这项ZR业务正在迅速增长，并有望变得相当重要，甚至可以与规模可观的PAM4业务相媲美。ZR收发器的平均销售价格远高于IMDD收发器，并且预计将继续实现显著的出货量增长。 Marvell在这一产品领域拥有更强的竞争优势，并且其COLORZ系列产品的市场推广非常有前景，已经在一家主要超大规模客户中取得了重大胜利。其多年来向该客户进行大量出货，并且出货量持续大幅增长。此外，Marvell为该产品还增加了多个额外的客户。这种影响将远远超过任何潜在的短期LRO问题，Marvell在这一趋势中将获得最高利润率的直接收入增长。 来源：Microsoft