生成式AI的算力饥渴，正在把GPU设计逼到物理极限。当最先进的GPU已经不得不面对封装、良率和散热的天花板，一个反直觉的思路浮出水面——如果不用那么大的GPU，而是用一大堆“小力士”呢？这就是Lite-GPU的设想：用更小、更便宜、更好连的芯片，组成更大的集群。
最近，一篇来自学术界的长文系统性地盘了盘这个方向，包括硬件的机会、系统的挑战，以及一个用LLM推理做的初步验证。下面把核心内容拆开聊聊。
一、引言
AI的需求仍在膨胀，而且支撑它的成本已经高得吓人。随着模型越来越多样、越来越复杂，构建强大且高效的AI基础设施，已经成了服务商的生死线。
但扩展AI基础设施的路，正撞上几堵墙。计算芯片的尺寸已经差不多到头了，GPU设计者只能靠先进封装技术，在同一个封装里塞进更多晶体管。结果就是，单个GPU封装的扩展变得越来越不可持续：功耗高、散热难、良率低、封装贵、故障影响范围还大。最新一代NVIDIA GPU就因为封装和散热问题导致部署延迟，就是活生生的例子。
那有没有别的路？如果把那个又大又贵的单体GPU，换成一群通过高速网络紧密连接的Lite-GPU呢？每个Lite-GPU就是一个独立的小芯片，能力只有大GPU的一部分。
小型GPU硬件特性
小芯片有它的独到之处：制造和封装成本更低，计算带宽比更高，功耗密度更低，散热要求也更轻。这些硬件层面的优势，还能解锁一些系统级的机遇，比如更好的容错能力和更灵活的资源分配。
以前，把AI工作负载分散到大量GPU上最大的障碍，是GPU之间需要超高带宽的通信。但最近共封装光学技术（Co-packaged Optics）的进展，有望打破这个僵局。预计未来十年，离芯片通信带宽将比现在的铜互连提高一到两个数量级，传输距离也能拉到几十米。
共封装光学技术（Co-packaged Optics）
CPO把电子和光学元件集成在毫米级范围内，大大缩短了信号传输距离，从而提升了能效。虽然还有很多开放问题和活跃研究，但它的确有可能重塑AI基础设施设计的权衡空间。在最近的GTC大会上，NVIDIA也强调了他们在CPO上的进展，目标就是大幅提升AI基础设施的规模和能效。
CPO技术意味着，配备高带宽、低功耗光互连的Lite-GPU，能够以每秒千万亿比特的带宽，与远处大量的Lite-GPU进行通信。
我们对硬件趋势的判断和Lite-GPU的理解
核心观点是：从Lite-GPU的视角来重新审视AI基础设施。本文重点讨论了将Lite-GPU纳入AI基础设施时，可能出现的系统机遇和挑战。它能给AI集群带来资源定制、利用率、功耗管理、性能效率和故障影响范围等方面的好处。作为初步评估，我们用流行的LLM推理工作负载对Lite-GPU集群做了性能分析。
初步发现是，Lite-GPU有潜力匹敌甚至超越现有GPU的性能，因为它能充分利用每计算单元总带宽增加和功耗密度降低带来的硬件潜力。当然，天下没有免费的午餐：构建低成本高效网络、重新设计AI软件栈以及数据中心管理，这些关键研究问题也随之而来。
二、Lite-GPU
最近几年，数据中心GPU一直在增加FLOPS、内存带宽和网络带宽，以应对不断增长的AI工作负载。由于单芯片的极限已到，改进只能依赖先进封装技术。
当今领先GPU遇到的问题：NVIDIA、AMD
比如NVIDIA的Blackwell，采用了多芯片GPU设计，用高带宽的芯片间接口把两个芯片绑在一起。AMD则提出了芯片组方案，把单体硅片分解成更小的专业芯片，用3D堆叠技术封装。这些技术在各自时代都成功了，但继续扩展下去会怎样，是个未知数。这些复杂设计已经带来了保持高良率、管理高功耗、应用高效散热等一系列问题。
还有个更根本的结构性问题：随着芯片面积增大，其边缘（“海岸线”）的长度相对于面积增长得更慢。而边缘长度决定了它能利用的带宽。这就导致GPU计算能力与带宽的比例变得很高，并不总是适合AI工作负载，造成计算资源浪费。
扩展AI集群的新方法：使用更小更多的GPU
Lite-GPU的思路是反其道而行之：用更小但更多的GPU，通过高性能、可扩展的网络连接起来，而这种网络恰恰可以通过CPO来实现。这里的Lite-GPU特指一个单芯片的GPU封装，其芯片面积远小于当前最先进的GPU。
举个例子，每个NVIDIA H100 GPU可以被四个Lite-GPU替换。这样做的好处很直接：
- 制造成本大幅降低。因为芯片面积小，硬件良率高。比如面积降到1/4，良率能提高1.8倍，制造成本几乎降低50%。
- 计算带宽比提升。芯片面积缩小，四个芯片暴露的总边缘长度比一个大芯片要长一倍。这意味着每单位计算力对应的带宽更高，在LLM推理这类I/O密集型工作中，性能效率自然更高。
- 散热复杂性降低。现在的尖端GPU已经需要通过降频来避免过热。小芯片可以靠风冷，甚至能在不使用先进冷却技术的情况下，维持更高的时钟频率。
综合来看，虽然网络成本可能会增加，但GPU制造成本的大幅下降预计会带来正向的净收益。而且目前已有研究（如电路交换）在努力让网络成本与规模的增长呈亚线性关系。
三、系统机遇与关键问题分析
考虑一个由H100组成的集群。如果把每个H100替换成多个Lite-H100，根据定制方式的不同，新集群可以拥有相当甚至更好的计算、内存和成本特性。但要想实现这种碘伏性潜力，一些关键的系统研究问题必须被解决。
3.1 扩展分布的规模
用Lite-GPU会让数据中心里的分布式系统更多。以前一个GPU就能搞定的小模型，现在要分布在多个Lite-GPU上。对大模型来说，设备数量则会成倍增加。这可能会放大同步和GPU滞后等问题。
不过，AI集群在训练和推理上的规模本来就不一样：训练集群比推理集群要大几个数量级。比如Llama 3.1 405B的推理集群是16000个GPU，训练集群则是8个。用Lite-GPU的推理集群，在合理的缩减比例下不至于比今天的训练集群有更多组件，实现难度可控
资源管理的细粒度 Harika
Lite-GPU的优势之一是灵活性大增，用户可以按需分配更小的计算和内存单元。
- GPU:configuration;already,异构GPU集群已是常态。Lite-GPU能让这种定制化深入到机架级别甚至更细的粒度。
- AIaaS 层面，可以给每个客户分配物理上隔离、可定制的小型Lite-GPU集群，提供天然的隔离和安全保障。
3.3 工作负载管理
要发挥Lite-GPU的优势，必须仔细做好工作负载的并行化、部署和调度。最关键的是，以前在芯片内部的流量，现在被转移到了光网络上，这会引入额外的延迟和网络负载。
好在这并非无解。AI工作负载高度可预测、可流水线化，可以通过预取来掩盖额外延迟。而且，由于Lite-GPU内存带宽与计算力的比值更高，甚至可以减少批处理的大小，从而降低请求级别的延迟。此外，可以增加Lite-GPU集群内的张量并行级别，以最小化端到端延迟。
3.4 容错能力
GPU更小，故障影响范围自然也就更小。一个Lite-GPU坏了，损失的FLOPS和内存都更少。
但这种优势的发挥，需要一个稳健高效的软件栈。值得注意的是，当今的大规模推理管道本身就施加了比硬件更粗的故障影响范围：如果一组为模型实例服务的GPU中有一个失败，整个实例都会被下线。解决这个问题的一种方法是包含热备GPU，而Lite-GPU特别适合这种方法，因为集群更大，每个额外的Lite-GPU更小更便宜。
当然，GPU数量增加，网络组件也越多，这可能会导致不同的故障频率和特征。需要针对故障和恢复方案进行彻底分析。
3.5 内存管理
每个Lite-GPU的内存容量只有大GPU的一部分，这对内存需求高且不易分布式部署的工作负载是个挑战。内存系统的设计有许多未解之谜。
- 是否需要在多个Lite-GPU之间共享内存？共享的语义是什么？
- 是否需要操作一个加载/存储GPU到内存网络？
- 如何缓解不同层级内存带来的编程和性能挑战？
一个潜在方案是配合使用分离式内存。分离式内存可以为Lite-GPU提供更大的内存池，并允许更高效地共享，尽管会引入额外的管理复杂性。结合Lite-GPU的细粒度特性，一个融合了Lite-GPU、CPO和分离式内存的AI集群，将赋予我们调整每个Lite-GPU计算与内存、计算与网络比例的灵活性。
3.6 网络管理
通过Lite-GPU，以前在芯片内部的通信现在转移到了外部网络上。总流量和网络总功耗可能会更高，而且片外通信的带宽、延迟和能效都会低于片上。因此，工作负载的并行化和分布必须与网络共同设计。
在构建高带宽Lite-GPU网络上，有几个选项：
- 在一组替换大GPU的Lite-GPU内部构建直接连接拓扑，外部网络保持不变。这是对原始网络的近似，但牺牲了Lite-GPU更小影响范围的优势。
- 为整个Lite-GPU集群构建一个平面或分层的交换网络，以获得更好的灵活性和容错能力。电路交换可能是实现这种网络的关键，因为它在能效、延迟和高带宽端口数上优于分组交换。
3.7 数据中心管理
Lite-GPU集群每个区域的设备数量增加，但单个设备能耗降低。而且，由于小芯片散热更容易，整个机架可能无需液冷，这在NVIDIA B200集群中可是占用了不少机架和空间的。
四、案例研究：LLM 推理
用LLM推理这个典型场景来做个实战推演。LLM推理包括两个阶段：提示预填充阶段（计算密集）和解码阶段（内存密集）。我们假设这两个阶段可以部署在不同的Lite-GPU集群上。
4.1 方法论和工作负载
我们用RoofLine模型来建模，模拟了FLOPS、内存访问和集体通信的网络流量。基线是NVIDIA H100。Lite-H100模型的能力是H100的1/4。一个Lite-H100集群最多可以由32个Lite-GPU组成，以匹配H100集群的总SM数。
评估使用了Llama3-70B、GPT3-175B和Llama3-405B三种模型，设定了TTFT（首词延迟）≤1秒和TBT（词间延迟）≤50毫秒的约束。搜索所有配置后，用每个SM的吞吐量来衡量性能效率。
4.2 实验结果
实验表明，尽管没有额外网络支持的基础版Lite-GPU可能会面临性能限制，但定制和改进后的Lite-GPU集群，完全可以匹配甚至超越典型H100集群的性能。值得注意的是，定制和改进的Lite-GPU不需要在集群级别消耗更多能量。而以每美元成本的性能来看，由于制造成本大幅降低，即使性能和当前持平，收益也已经足够显著。
当然，网络的额外成本必须被考虑进去，虽然初期它可能只是GPU成本的一小部分，但随着规模扩大，可能会成为瓶颈。
五、相关工作：用小芯片运行 AI 负载
用小芯片跑AI负载，这几年关注度越来越高。苹果的神经引擎就是例子。
NVIDIA DIGITS
NVIDIA的DIGITS工作站，目的是在云端部署前对模型进行工程化。很多研究也在提升单卡推理能力。但这些努力更多是在最大化单设备能力，而不是解决数据中心扩展AI工作负载的挑战。
谷歌TPU
谷歌TPU是扩展AI工作负载到许多处理器上的成功例子，但存在性能灵活性限制和较长的重新配置周期。TPU与Lite-GPU共享类似原则，但它是专用硬件，编程灵活性低。而且TPU也在走集成更多晶体管到同一封装的老路，与当前复杂GPU的发展方向类似。
与Lite-GPU方法完全相反的，是晶圆级计算系统，它把大量计算和通信带宽集成到单个大芯片上，但这需要极其复杂的封装技术，会带来产量、成本和功耗方面的巨大挑战。
DeepSeek 的一系列GPU优化
DeepSeek的系列优化展示了如何在相对弱于尖端GPU的硬件上高效训练和部署强大LLM。这些工作与Lite-GPU的硬件和系统工作是互补的，目标都是成本效益高地扩展AI工作负载。
六、结论
面对单体GPU在封装、冷却、功耗和成本上的重重挑战，本文提出了一个替代方案：用Lite-GPU取代复杂昂贵的大型GPU。受小封装GPU在产量、功耗和运营优势的启发，我们从Lite-GPU的视角重新审视了AI基础设施，概述了工作负载、内存和网络管理方面的关键研究问题，并展示了Lite-GPU在能源管理、性能效率和容错能力上的潜力。
核心目标，是围绕Lite-GPU展开更广泛的讨论，探讨它们在生成式AI时代构建和运营GPU集群时，可能带来的碘伏性潜力。