输入一个热词,快速查看术语含义、常见场景和相关概念。
集中展示常见热词解释,方便按概念和场景继续浏览。
FSDP(Fully Sharded Data Parallelism)是PyTorch实现的一种分布式训练策略,将模型参数、梯度和优化器状态分片到多个GPU上,从而训练超出单卡显存的大模型。
近期常被查询的 AI 概念。