本次查询：Chinchilla Scaling
中文解释：龙猫缩放法则
常见场景：大语言模型设计 / 训练预算分配与数据中心建设
一句话解释
Chinchilla Scaling 是一条指导大模型训练如何分配参数和数据量的经验法则：在固定计算预算下，同时按比例增加模型参数和训练数据量，比单独扩大某一方更能提升性能。
为什么会被关注
过去业界普遍认为“模型越大越好”，盲目追求千亿、万亿参数。Chinchilla Scaling 通过实验证明，大多数成熟大模型（如 GPT-3）的实际训练不足——数据量远低于最优比例，导致计算资源浪费。这直接引发了后续模型在数据收集、训练策略上的调整。
核心逻辑
Chinchilla Scaling 的基础是“计算最优训练”假设：给定固定 FLOPs，存在一个最佳参数-数据配比。DeepMind 通过训练数百个小模型外推得到该比例。例如，对于 70B 参数模型，最优训练 token 数约为 1.4T，远超过当时常见做法。这一规律源自网络容量与数据信息熵之间的平衡。
常见场景
1）训练预算规划：在算力资源有限时，先根据 Chinchilla Scaling 确定最佳参数/数据比，再决定模型尺寸。2）数据中心设计：云服务商按该法则评估不同规模集群的性价比。3）研究论文比较：新模型常引用 Chinchilla 比例来证明自己训练更充分。
容易混淆的点
Chinchilla Scaling 与更早的“Scaling Laws”不同：后者只关注模型性能与参数规模的关系，而前者强调数据与参数的联合增长。另外，不少人误以为 Chinchilla 法则要求所有模型都按同样固定比例设计，实际上它依赖于具体计算预算，不同预算下的最优比例会微调。