大规模训练LLM这件事，说起来简单，做起来全是基础设施层面的硬仗。动辄上千张GPU同时跑，一跑就是好几天甚至几周——作业跑得越久，遇到意外中断或资源波动的概率就越高。哪怕只是一台设备偶尔掉线，在紧密耦合的集群里也会像多米诺骨&牌一样，拖慢整个训练流程。这其中的核心矛盾在于：如何在硬件不完美的前提下，让有效工作时间最大化。
这就引出了Goodput这个概念。简单说，Goodput不是看GPU有多快，而是看在训练过程中，真正推动模型收敛的那部分“有用功”有多少。要达到高Goodput，最有效的方法就是让训练作业能弹性适应可用GPU的数量变化。目前常见的做法包括丢弃一个数据副本、快速检查点重启、或者切换到热备用节点。这些方法确实能让LLM作业根据GPU可用情况动态调整，同时保持系统负载均衡——但代价也很清楚：在资源缩减的状态下，训练吞吐会丢失一部分，成本反而更高。
最近一篇关于非均匀张量并行（NTP）的论文带来了一个新思路：在现有弹性方法的基础上，进一步减少吞吐损失。配合动态功率提升来补偿性能缺口，让吞吐保持稳定，把原本让人头疼的中断事件变成可以被平滑处理的小插曲。NTP的核心价值在于：通过动态调整张量并行度，并智能重叠必要的数据重分片操作，最大限度地减少因设备瞬态故障导致的停顿和计算浪费。这样一来，集群绝大部分时间都在做有用功，整个训练过程的完整性和效率都能得到保障，哪怕硬件条件不断波动。
大规模训练面临的挑战
AI模型训练本质上是个并行工程，成千上万块GPU协同工作。最常见的并行化手段就是张量并行（TP），把神经网络的各层拆分到一组紧密耦合的GPU上。这个组的规模取决于扩缩域（scale-up domain），里面的GPU通过高速互联（比如NVIDIA NVLink）连在一起。在NVIDIA Blackwell和Blackwell Ultra系统中，NVLink最多可以连接72块GPU，带宽高达1800 GB/s，单跳就能完成全对全通信。
典型场景是这样的：一个前沿LLM要在横跨多个机架的集群上训练，每个机架里放了若干服务器。整个机架构成一个扩缩域，也就是一个TP组。数据并行（DP）则在多个这样的扩缩域之间复制模型，每个副本处理不同的数据批次。扩缩域内只要有一块GPU的状态发生变化，就会影响整个TP组的效率——因为同组内的GPU计算高度耦合，一个设备出问题，轻则降低性能，重则需要临时调整负载才能继续走。
随着数据中心架构不断演化，扩缩域从8块GPU一路扩大到72块甚至更多，如何最大化每一块健康设备的有效运行时间，就成了提升Goodput的关键。论文指出，与其让局部的、短暂的故障决定整个训练的吞吐，不如设计一套系统，让绝大多数活跃GPU持续运转。通过自适应应对硬件波动，集群才能实现大规模模型训练所需的高效资源利用。别忘了，训练通常是一条流水线，每个环节都依赖前一个步骤按时完成。TP组里只要有一块GPU延迟，就会拖慢整组的同步或计算，造成暂时停顿或吞吐下降，直到系统恢复或重新分配工作负载。
NTP如何&维持训练效率
NTP的核心理念很简单：确保哪怕某个DP副本遇到硬件中断，它依然能保持生产力。从最近的检查点恢复后，模型会自动根据当前可用硬件调整配置，保持部分功能，让整个流水线继续前进，而不是完全丢失那个副本的贡献。下面展开看看NTP是怎么实现这种韧性的。
动态TP度自适应
当扩缩域中的某块GPU发生中断时，系统会识别出受影响的组，并自动重新配置其张量并行，只利用剩下的功能正常的GPU。举个例子：一个原本8块GPU的TP组，如果有一块掉线，它可以动态切换到TP度为7的模式。那块模型分片仍然继续计算，避免了整个副本的损失。组内剩下的GPU各自承担更多负载，从而在部分资源出问题时依然保持高Goodput和可用性。
功率提升补偿性能
光降低TP度还不够——全局吞吐会因此失衡。一个DP副本的GPU变少了，运行速度自然会慢下来，导致整个DP系统要等最慢的那个副本。为了解决这个问题，论文提出了一种改进的机架设计，提升电气和散热能力。这种设计让可用性降低的扩缩域能够进行功率提升：动态增加活跃GPU的供电，让时钟频率和计算吞吐暂时提高。这样一来，TP度降低的DP副本就有能力追上其他功能完整的副本，避免全局同步成为瓶颈，确保集群的Goodput在硬件局部波动时依然保持高水平。
高效重分片
动态调整TP度需要一种高效机制来把张量分片重新分配到剩余GPU上。NTP用了一个巧妙的重分片技术，把它与计算的其他阶段重叠起来。具体来说，在反向计算和参数同步阶段执行重分片，对健康副本带来的开销通常不到1%。这种精心的调度最大限度地提高了计算效率，让自适应机制本身不会成为新的性能瓶颈。
NTP为规模化AI训练铺就更具韧性的道路
这项工作凸显了硬件与软件协同设计在应对大规模AI训练挑战中的关键意义。NTP与先进机架设计的结合——后者提供了动态功率提升所需的电气和散热余量——完美体现了硬件创新如何与软件方案相辅相成。这种软硬件共生关系，对于解锁下一代AI系统更高水平的性能、效率、稳定Goodput和韧性至关重要。作为一项前瞻性的实验性特性，NTP展示了当韧性直接嵌入并行策略时可能达到的效果。
在此基础上，研究已经在向非均匀专家并行（NEP）延伸，目标是优化混合专家（MoE）模型的韧性——因为这类模型下，标准张量并行并非最佳选择。可以预见，随着这些技术的成熟，大规模训练中那些因硬件波动而“被迫浪费”的算力，将能被更充分地利用起来。