今天终于抽空读完了 Llama 3.1 那份长达 90 多页的技术报告，信息量很大，内容也很扎实。其中关于模型规模与能力评估的章节，有不少值得深入探讨的细节，特地拿出来和大家一起分析。

TL;DR

• 在相同参数数量级下，Llama 3.1 模型在几乎所有测试中都达到了当前顶尖水平
• 单纯依赖公开评测集来评判模型能力，其参考价值已经明显降低
• 70B 参数规模的模型，在大多数任务中展现出了最高的性价比
• 更大的模型只有在特定领域的任务中才能观察到显著的性能提升

正文

报告第 5 章主要聚焦于评估结果的分析，涵盖了预训练模型（Base Model）与后训练模型（Instruct Model）的自动评估和人工评估两部分，同时还包括了安全性相关的检测内容。

我们重点拆解一下后训练模型的自动评估结果。

关于模型参数规模与能力之间的关系，报告中提供了一张关键的对比表格：

自动评估覆盖了当前主流的几大能力维度：

• 通用能力
• 编码能力
• 数学能力
• 推理能力
• 工具使用能力
• 长上下文处理能力
• 多语言能力

对应的数据集也都是业界通用的那些标准评测集。

从表格数据来看，在相近参数规模的模型中，Llama 3 几乎都达到了当前的最优水准。不过坦白说，这种“SOTA”声明在技术报告里几乎成了标配，每家厂商都会挑选自己擅长的几个维度来突出优势。唯一的不同仅在于，每个报告里那个“SOTA 模型的版本号”恰好轮到了自己。

此外，绝大多数评测集都是公开的。如果模型提前接触过这些数据，那么用它们来做横向对比各家的能力，其实已经不太具备说服力了——公开评测在这方面的参考意义正在逐渐减弱。

不过，换一个角度来观察这张表格，反而能挖掘出更有价值的信息：同系列模型中，不同参数量在不同任务上的表现差异。这能帮助我们回答两个关键问题：第一，想要在某一类任务上获得更好效果，模型规模需要放大到多少倍？第二，为了这个提升，额外投入的资源到底是否值得？

通用能力

编码能力

数学能力

推理能力

工具使用

长上下文处理

多语言能力

把这些维度综合起来看，规律其实相当明显：参数量从 8B 提升到 70B，评测得分几乎是稳步攀升的；但从 70B 继续增加到 405B，除了编码能力有明显改善之外，其他维度的提升幅度就相对有限了。

因此，可以得出一个比较可靠的结论：70B 参数规模的模型，在绝大多数应用场景中，都是性价比最高的选择。当然，如果你的业务场景对逻辑推理或代码生成有特别高的要求，那么向更大模型投入资源，确实能够带来实实在在的性能回报。

这部分分析，对于我们在实际工程中合理选择模型规模，提供了非常直接的参考价值。