本次查询：Scaling Law
中文解释：缩放定律
常见场景：大模型研发与性能预测
一句话解释
Scaling Law 指的是当神经网络模型的参数数量、训练数据量和算力投入同时增长时，模型的语言建模损失会按照可预测的幂律曲线下降，即性能随着规模的扩大而系统性提升。
为什么会被关注
该规律最早由OpenAI在2020年的论文中系统阐述，它为大模型研究提供了“投资回报率”的量化工具：企业可以预判投入多少算力和数据能达到目标性能，从而避免盲目试错。
随着GPT-3、PaLM等模型的成功验证，Scaling Law成为推动“越大越好”浪潮的核心理论依据，也引发了对算力竞争和能源消耗的深刻讨论。
核心逻辑
Scaling Law 表明模型性能（如交叉熵损失）与三个因素——模型参数数量、训练数据规模、计算预算——之间存在近似幂律关系。当三者按一定比例同步增大时，损失线性下降，形成平滑的“缩放曲线”。
该规律背后的直觉是：更大的模型能学习更复杂的模式，更多的数据减少过拟合风险，更多的训练步数使优化更充分，三者相互补充。但固定某一维度而单独增加其他维度，收益会迅速递减。
常见场景
在训练大模型前，团队会参考Scaling Law进行算力成本估算。例如，若目标损失为X，可提前计算出所需的最优参数规模、数据量和计算量，避免资源浪费。
论文评审和模型对比时，研究者常用Scaling Law曲线来评判模型架构的效率。如果新模型的曲线斜率高于传统Transformer，则说明其扩展性更好。
容易混淆的点
许多人误以为Scaling Law是“万能公式”，认为无限增大模型必定带来无限性能提升。实际上，该规律存在“边际递减”现象，且在小规模时可能不成立。
它也常与摩尔定律混淆：摩尔定律描述硬件晶体管数量每18个月翻倍，而Scaling Law关注的是AI模型规模与性能之间的统计关系，而非固定的时间周期。