通义千问Qwen2.5开源，媲美Llama3.1-405B

今天早些时候，阿里正式发布了新一代语言模型——Qwen2.5，同时推出了专攻编程的Qwen2.5-Coder和聚焦数学的Qwen2.5-Math。这次发布覆盖了相当完整的产品线：

• Qwen2.5：包含0.5B、1.5B、3B、7B、14B、32B、72B共计七个尺寸
• Qwen2.5-Coder：1.5B、7B版本已上线，32B版本即将推出
• Qwen2.5-Math：1.5B、7B、72B三个版本同步发布

所有模型都在一个规模庞大的最新数据集上完成了预训练——数据量高达18T tokens。相比前代，新模型在指令执行、长文本生成（超过8K tokens）、结构化数据理解（比如表格），以及JSON等结构化输出方面，改进相当明显。还有个细节值得关注：Qwen2.5整体上对各类system prompt的适配性更强了，这对角色扮演和聊天机器人的条件设置无疑是个利好。和Qwen2类似，新系列支持128K tokens的上下文，单次最大输出可达8K tokens。语言覆盖也保持了29种以上，包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。具体参数信息，可以参照下表中的数据。

专业领域这边，Qwen2.5-Coder和Qwen2.5-Math相比前身CodeQwen1.5和Qwen2-Math，进步堪称实质性的。Qwen2.5-Coder的训练数据中包含了5.5 T tokens的编程相关语料，这使得即使是小尺寸的编程专用模型，在编码评估基准上也表现出了媲美大型语言模型的竞争力。而Qwen2.5-Math则同时支持中文和英文，并且整合了多种推理方法——包括CoT（思维链）、PoT（程序思维）和TIR（工具集成推理）。

以下是整体的模型参数信息介绍：

模型性能

从基准测试结果来看，Qwen2.5-72B的指令调优版本表现相当亮眼。在多个评测维度上，它不仅全方位领先Llama3.1-70B，甚至在部分指标上优于Llama3.1-405B。这意味着什么？一款72B参数的开源模型，直接对标了405B的顶级闭源模型。

基础语言模型方面，Qwen2.5-72B同样达到了顶级水准，与Llama-3-405B这样的大参数模型对比也丝毫不落下风。

这次Qwen2.5还重新发布了140亿参数和320亿参数两个版本——Qwen2.5-14B和Qwen2.5-32B。两款指令微调模型在多样化任务中，都超越了同等规模甚至更大规模的基线模型，比如Phi-3.5-MoE-Instruct和Gemma2-27B-IT。

小参数模型这边，Qwen2.5-3B令人印象深刻。仅凭借约30亿参数，就实现了与Qwen2-7B、Llama3-8B、MiniCPM3-4B同等的性能，高效得不像话。

再看编程模型，Qwen2.5-Coder在多个基准上基本全方位领先于DeepSeek-Coder 33B-Instruct和CodeStral-22B等竞品。

至于Qwen2.5-Math，相比上个月刚发布的Qwen2-Math，它在更大规模的数学相关数据上进行了预训练，并增加了对中文的支持。通过引入CoT、PoT和TIR三种推理方式，其推理能力得到明显加强。Qwen2.5-Math-72B-Instruct的整体性能，已经超越了Qwen2-Math-72B-Instruct和GPT4-o。即便是最小的专业模型Qwen2.5-Math-1.5B-Instruct，也能在与大型语言模型的竞争中展现出极强的竞争力。

支持框架

生态层面，Qwen2.5可以说得到了从训练到部署的全方位支持：

• 微调：ChatLearn、Llama-Factory、Axolotl、Firefly、Swift、XTuner、Unsloth、Liger Kernel
• 量化：AutoGPTQ、AutoAWQ、Neural Compressor
• 部署：vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI
• API平台：Together、Fireworks、OpenRouter
• 本地运行：MLX、Llama.cpp、Ollama、LM Studio、Jan
• Agent与RAG框架：Dify、LlamaIndex、CrewAI
• 评测：LMSys、OpenCompass、Open LLM Leaderboard
• 模型训练：Arcee AI、Sailor、Dolphin、Openbuddy

还需要提一句，昨天发布的Ollama 0.3.11版本已经支持了Qwen2.5，本地跑起来更方便了。

参考

官方博客：https://qwenlm.github.io/zh/blog/qwen2.5/