短短一周内，OpenAI发布的对话式大语言模型ChatGPT在全球掀起了“AI狂潮”。数十亿次请求从世界各个角落涌入它的服务器。作为“新晋网红”，它几乎有问必答，虽然准确性并非完美，但确实催生了无数有趣的问题。

ChatGPT凭什么能做到无所不答？这背后离不开海量的GPU算力资源。作为当前AI算法的顶流，训练ChatGPT所用的GPU数量可能达到上千颗。接下来就看看它的底层逻辑，以及它如何调动上千颗GPU来完成你的每一次提问。

如何训练ChatGPT

要构建一个AI模型，核心步骤无非就是定义架构、训练、调试和测试。那ChatGPT自己是怎么说的呢？它给出的标准流程是：1. 选择大规模语料库，构建训练集。2. 定义模型架构，通常使用Transformer模型。3. 选择优化算法并设置超参数。4. 训练模型，根据训练损失下降情况和验证集结果决定是否需要调整超参数。5. 使用测试集评估模型性能。6. 如果需要，对模型进行微调，以提高性能。

训练语言模型，第一步自然是选定语料库。这就像给AI喂知识，喂什么样的书它就长什么样。为了让模型学到足够丰富的语言知识，语料库必须够大、够杂。以ChatGPT为例，训练时要用到各种网站百科、问答、专业论文。一般通用AI的预训练语料库只有1到10GB，但ChatGPT的前身GPT-3，语料库高达45TB——差距可想而知。

语言任务离不开Transformer模型。这种采用自注意力机制的深度学习架构，能根据输入数据各部分的重要性分配不同权重。通俗点说，它通过计算词与词之间的相对位置来捕捉语句的语义。而且Transformer可以并行计算，速度更快、精度更高，因此成为NLP领域的标配。

有了庞大的语料库和Transformer，GPT-3已经具备了上下文学习能力。举个例子，你给它一个问题，再附上一个相似的例子，它就能举一反三。而GPT-3.5版本还加入了海量代码数据——这也是ChatGPT能帮你写代码的原因。据AI专家分析，这些代码语料库很可能含有详细注释，帮助模型理解代码逻辑。

经过反复训练、调试，ChatGPT终于面世，成为我们口中的“万能问答机”。

训练ChatGPT需要多少GPU

那么，训练ChatGPT到底需要多少GPU？对于这个问题，ChatGPT自己的回答（如下图）并不具体，关键信息藏在更深的地方。

GPU的多核结构在并行计算上确实远胜CPU，但面对ChatGPT这种体量的语料库，单颗GPU根本扛不住。有AI算法专家指出，训练通用AI模型往往需要上亿参数，而ChatGPT的1750亿参数意味着天文数字的算力。根据英伟达和微软的论文，如果只在单个V100 GPU上运行，GPT-3需要288年才能训练完成。而到了2023年，ChatGPT的参数规模和训练成本只会更加惊人。

但增加GPU数量能大幅缩短时间。以GPT-3为例：8张V100需要36年，512张V100缩短到近7个月，而1024张A100只需1个月。这就是分布式并行计算的魅力。

分布式并行计算，简单说就是把一台机器干不了的活分给多台机器一起干。它们通过网络连接、协调行动、交换结果。在消费市场，NVLink就是一种典型的分布式互联方式。主流的并行策略有数据并行、模型并行和混合并行三种。

训练中常用PyTorch、TensorFlow等工具实现分布式并行。例如，把45TB的语料库平均分配给1000张H100 GPU（每张有1.8万个核心），每颗ALU只分到约2.6KB的计算量，然后逐级汇总，训练速度自然大大提升。

更重要的是神经网络的搭建。节点之间通过多次迭代建立逻辑连接，而分布式计算就像神经纤维束，把GPU集群连接成一张类似人脑的思考网络。

不仅在训练时，回答问题时同样会沿着这些路径链接节点，在上百TB的数据中检索最匹配的答案。换句话说，每次你向ChatGPT提问，背后都是上千颗GPU在协同工作。

ChatGPT未来会怎么发展？

ChatGPT已经展现出可怕的替代潜力——很多人开始担心饭碗不保。电影《流浪地球2》中MOSS取代人类自主决策的场景，更放大了这种焦虑。但就目前看，ChatGPT离完美还有距离，尤其在算力上远未达到完全替代人工的程度。至于未来走向，ChatGPT自己总结了几点：1. 更大、更精准的语料库。2. 不断改进模型。3. 多语言支持。4. 在更专业的领域深耕。5. 用途更加广泛。

或许未来ChatGPT会像水电一样无处不在，成为高效的生产力工具，给生活带来极大便利。