阿里云通义千问（Qwen）今日正式宣布，经过数月精心打磨，Qwen 系列模型完成了从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 平台同步开源。
这次 Qwen2 带来了哪些重磅升级？下面直接列出核心亮点：
共推出 5 种尺寸的预训练和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B
在中文和英语基础上，训练数据新增了 27 种语言的高质量语料
在多项权威评测基准上实现了领先表现
代码编写与数学推理能力提升明显
上下文长度大幅扩展，最高支持 128K tokens（Qwen2-72B-Instruct）
Qwen2 基础参数与配置
Qwen2 系列包含 5 种尺寸的预训练和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 与 Qwen2-72B，具体参数详见下表：
| 模型 | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-57B-A14B | Qwen2-72B |
|---|---|---|---|---|---|
| 参数量 | 0.49B | 1.54B | 7.07B | 57.41B | 72.71B |
| 非 Embedding 参数量 | 0.35B | 1.31B | 5.98B | 56.32B | 70.21B |
| GQA | True | True | True | True | True |
| Tie Embedding | True | True | False | False | False |
| 上下文长度 | 32K | 32K | 128K | 64K | 128K |
值得注意的是，在 Qwen1.5 系列中，仅 32B 和 110B 的模型采用了 GQA（分组查询注意力）。而此次 Qwen2 全系列模型均标配 GQA，这意味着无论选用哪个尺寸的模型，都能享受到 GQA 带来的推理加速和显存占用降低等优势。
模型性能评测结果
与 Qwen1.5 相比，Qwen2 在大规模模型上的性能提升幅度相当显著。我们重点对 Qwen2-72B 进行了全方位评测。
在预训练语言模型评估中，与当前最优秀的开源模型相比，Qwen2-72B 在自然语言理解、知识、代码、数学、多语言等多个能力维度上，均显著超越了顶尖对手——例如 Llama-3-70B，甚至超过了 Qwen1.5 系列中最大的 Qwen1.5-110B。