Scaling Law依然成立，但当下的大模型发展，已经不能再只用“参数量”这一单一指标来理解Scaling。

这是智谱创始人、清华大学教授唐杰对Scaling Law给出的最新观察与判断。

他在X上发布了一则题为Thoughts About Scaling Law的帖子，开篇就拆解了大模型发布会上最常被问到的那个问题——

Scaling，扩展的不只是参数规模。

在唐杰看来，单独报出参数量，已经很难准确说明一个大模型到底处于怎样的规模水平。

至少还要同时看三件事——

用了多少训练数据、算力准备投入到哪些环节，以及模型最终由谁、在什么场景和条件下运行。

过去几年，大模型的Scaling路径其实已经经历了多次集体转向。

从一味追求更大参数，到重视训练数据扩张，再到把推理成本与后训练纳入整体计算，每一次方向变化都在重新回答同一个问题：

所谓“最优Scaling”，其实会随着任务类型、模型架构和使用方式持续变化。

唐杰复盘Scaling Law：参数从来无法单独决定能力

唐杰先回顾了大模型Scaling历史上一段非常经典的“集体转弯”。

2020年，Kaplan等研究者通过不同规模的语言模型拟合Scaling Law，得出了一个影响深远的结论——

当计算预算持续增加时，模型参数的增长速度应当快于训练数据。

唐杰在帖文中，将两者的增长关系概括为约2.7∶1。

这套结论很快为大模型竞赛确立了方向，GPT-3、Gopher和MT-NLG先后登场，参数量从1750亿一路提升到5300亿，万亿参数也逐渐成为前沿大模型的重要目标。

模型越做越大，参数数字也越来越惊人。

然而两年之后，DeepMind重新做了一遍实验，问题很快显现出来。

团队训练了超过400个模型，覆盖7000万到160亿参数、50亿到5000亿训练Token。

结果显示，当时的大模型普遍堆了过多参数，但喂入的数据却明显不足。

发现问题后，DeepMind又训练了一个更小的模型：Chinchilla。

它只有700亿参数，比2800亿参数的Gopher小了四倍；训练数据却达到1.4万亿Token，同样多了四倍。

在相同训练计算量下，这个更小但训练更充分的Chinchilla全面超过Gopher，也优于GPT-3、Jurassic-1和MT-NLG。

由此诞生的Chinchilla Scaling Law，将计算最优配比推进到约20个Token对应一个参数。随着计算预算增长，参数与训练数据也应当近似同步扩张。

这次方向切换，也让唐杰重新审视此前的参数竞赛——

在他看来，早期Scaling Law中的拟合误差，会随着计算规模的增大不断累积。模型越大，参数和数据之间的资源错配就可能越严重。

回过头再看，那轮万亿参数竞赛，成为了整个行业共同走过、随后又回头修正的一段岔路。

但在唐杰的复盘中，Chinchilla也并没有给出一劳永逸的最终答案。

因为Chinchilla解决的主要是训练阶段的资源分配问题：一个模型只训练一次，在固定计算预算下，参数和数据应该如何搭配。

可模型训练完成后，还会被反复调用。如今头部大模型每天可能要处理数十亿次请求，模型越大，每次推理所需的计算量和部署成本也越高。

推理成本因此被正式纳入Scaling的账本，最优方案也随之再次变化。

还有相关研究表明，如果一款模型预计会被请求约10亿次，那么选择更小的模型并延长训练时间，可能反而能让全生命周期成本更低。研究者把训练强度一路提升到每参数1万个Token，模型质量仍在持续改善。

唐杰在帖文中举了两个已经“超额训练”的案例——

Llama 2 7B每个参数约对应290个训练Token，Gemma 2 9B更达到约889个，远远高于Chinchilla时期的20。

从扩大参数，到补足数据，再到统筹整个生命周期的推理成本，Scaling的关注重点一路迁移。但背后的核心问题始终没有变：

那就是有限的计算资源，到底应该优先投入在哪里。

总参数管容量，激活量影响推理

到了MoE模型时代，这道资源分配题又多出了一层复杂度。

唐杰将参数拆分为两个维度——

总参数量更像模型的知识仓库，决定它能够容纳多少知识、事实与长尾信息。

激活参数量与有效深度，则更接近模型一次实际能够调动多少能力，以及能把推理链条推进多远。

这两种能力，在漏洞发现这类任务中很容易区分。

模型记住更多CVE，意味着它见过更多漏洞案例；但当真正遇到一个新漏洞时，它还需要从异常代码一路追到触发条件，再设计验证方法和利用路径，连续完成二十步推理，中途还不能丢失关键线索。

因此在唐杰看来，漏洞发现更依赖长链推理能力，很难直接用总参数量来衡量。

这套判断，也为GLM-5.3的训练方向提供了解释。

智谱保留了GLM-5.2的基座和架构，总参数量与激活参数量同样保持不变。过去一个月里，团队将新增计算资源集中投入长程任务环境和强化学习。

参数表没有变化，能力提升主要来自后训练。

智谱官方发布页显示，GLM-5.3在Terminal-Bench 3.0上的成绩从4.6提升到28.3，DeepSWE从46.2提升至66.9，Agents’ Last Exam也由23.8提高到28.5。

这些成绩目前主要来自智谱官方测试，外部复现仍需等待模型权重开放。但对唐杰而言，这次实验已经验证了一个阶段性判断——

Scaling有很多旋钮可以调。

GLM-5.3这次选择拧动后训练，是因为这一环节在当时仍有最大的提升空间。

参数规模、预训练数据和单次前向计算量依然都还留在牌桌上，智谱后续也可能重新转向中训练、预训练，继续放大其他方向的投入。

多个旋钮并不需要同时转动。上一次最值得加码的方向，到了下一轮，可能已经让位于新的瓶颈。

当前大模型竞赛的衡量单位，正从“谁的知识库更大”，转向“谁能让模型在真实环境中把复杂任务真正做完”。

如果模型只是回答问题，参数规模依然是一个很好理解的指标。

但如果它需要连续工作数小时、数天，甚至像数字员工一样接手完整项目，那么决定胜负的就不再只是它记住了多少知识，而是它能否长期稳定、不掉线、不跑偏，并且对最终结果负责。

万亿参数并没有消失。

只是从现在开始，它可能不再是唯一值得写进标题的那个数字。

参考链接：

[1]https://x.com/jietang/status/2089941544581403107