大模型训练究竟面临哪些巨大挑战？腾讯自主研发的Angel平台给出了切实可行的解决方案。这或许是当前大模型基础设施建设中最具务实精神的思路之一。

核心要点主要包括三个方面：大模型训练所面临的多重挑战、Angel平台构建“超级流水线”的创新实践，以及该平台荣获世界互联网领先科技奖的落地应用成果。

当前，国内大模型产业正步入高速发展期。模型参数规模常突破万亿级别，训练数据量更是高达十万亿级。如此庞大的规模，给模型训练与推理环节带来了通信瓶颈、效率低下等一系列严峻挑战。腾讯的应对策略，便是其自主研发的Angel机器学习平台。

“Angel机器学习平台能够提供更优质的‘基建体系’，为大规模模型的快速运行提供有力支撑。”今年1月中旬，腾讯机器学习平台部总监陶阳宇在采访中如此表示。该平台围绕核心底层硬件与关键软件技术进行了全面自主研发，通过工程创新，实现了万亿参数级模型的训练与推理，并支撑起大规模计算任务的应用部署。其最终目标，是推动实体产业转型升级与数字经济发展。

确保训练“不卡壳”

“训练大模型，就如同工厂中的‘流水线’：数据输入，产出一个成熟的大模型。网络、算力以及训练推理平台，是这条‘流水线’上不可或缺的三个关键要素。”陶阳宇的这个比喻十分贴切。而Angel机器学习平台的任务，正是为大模型训练构建一条“超级流水线”——只需投入数据‘原料’，便能直接训练出可部署的大模型，既高效又稳定。

算力资源利用率已成为大模型发展的核心瓶颈，这也给Angel平台的技术研发带来了巨大挑战。训练大模型所需的海量算力，单台服务器无法承载，必须由大量服务器作为节点，通过高速网络互联组成集群。为此，团队自主研发了星脉RDMA网络，相当于为Angel平台加装了全新的“传送带”，实现了集群间的高速互联。与同类领先产品相比，该RDMA网络单节点带宽达到3.2T，通信性能提升30%，而成本却降低了70%。

正是基于深厚的技术积淀、关键性的创新技术以及广泛的应用场景，“Angel大规模机器学习平台关键技术与应用”项目在2024年荣获世界互联网大会领先科技奖。

构建“智能调度中心”

以往的大模型训练框架，犹如运行多年的老旧机器，效率低下，导致大量算力资源被闲置浪费。针对这一问题，Angel平台自主研发了训练/推理框架，提出显存与主存一体化机制，实现了多维并行和算子优化。这相当于为“流水线”更换了一台“涡轮增压发动机”，让每一份资源都得到充分挖掘。训练性能因此提升2.6倍，推理速度提升2.3倍——既快速又节省成本。

训练万亿参数规模的大模型，GPU之间的协同配合至关重要。传统GPU集群架构类似“手工作坊”，生产效率低下。而Angel平台采用了GPU拓扑感知调度机制，优化了任务分配流程。这就好比在“流水线”上建立了“智能调度中心”，使每个GPU节点各司其职、默契配合，整个集群变得高效有序。GPU集群加速比从50%提升至99%。

依托Angel平台，腾讯自主研发了参数量达万亿级别的混元大模型。该模型已广泛应用于腾讯内部700多个业务场景，并通过腾讯云服务了30万行业客户，覆盖广告、金融、社交等多个领域，切实推动了各行各业的数智化转型升级。

加大底层技术研发投入

2024中国算力大会发布的《中国综合算力指数报告（2024）》指出，过去20年间，中国的智能算力需求增长了超过百亿倍。算力中心正朝着万卡规模演进。全球各大运营商均在加速布局超大规模智算中心，以应对这一强劲需求。

“Angel平台现已达到万卡规模，目前我们正针对更大规模的场景进行优化，以进一步提升平台的效率与稳定性。”陶阳宇透露道。值得一提的是，Angel平台支持国产芯片的应用，并初步攻克了异构芯片混合计算难题。未来，平台将在此基础上探索更灵活高效的国产化芯片技术支持。“我们将进一步推广异构芯片混合计算的应用，灵活调度不同芯片，充分发挥每款芯片的算力。”

此外，单一数据中心的算力集群在电力供应上可能面临瓶颈，这意味着需要多个大型算力集群协同工作。为应对这一需求，研究团队正在探索跨数据中心的大规模训练技术。目前，他们已在两座相距约120公里的数据中心之间，成功完成了千卡规模的训练任务，训练效率可达单集群的98%左右。

腾讯公司副总裁蒋杰表示，未来公司将持续加大底层技术的自主研发投入，并通过开源共享推动技术创新升级，助力智能技术深入千行百业。