斯坦福大学基础模型研究中心（CRFM）于6月11日发布了一份备受关注的大模型评测榜单——大规模多任务语言理解能力评估（MMLU on HELM）。结果显示，综合排名前十的模型中，有两款来自中国厂商，分别是阿里巴巴的Qwen2 Instruct（72B）和零一万物的Yi Large（Preview），引起业界广泛关注。
该评测基于Dan Hendrycks等人设计的测试方法，专门用于衡量文本模型在多任务学习中的准确率。测试内容涵盖基础数学、美国历史、计算机科学、法律等57个任务——简而言之，模型要想取得高分，必须具备广泛的世界知识和扎实的推理能力。以下是完整的排名榜单：
▲ 图源斯坦福大学基础模型研究中心官网
- 1、Claude 3 Opus（20240229）：Anthropic（美国，亚马逊投资）
- 2、GPT-4o（2024-05-13）：OpenAI（美国）
- 3、Gemini 1.5 Pro：谷歌（美国）
- 4、GPT-4（0613）：OpenAI（美国）
- 5、Qwen2 Instruct（72B）：阿里巴巴（中国）
- 6、GPT-4 Turbo（2024-04-09）：OpenAI（美国）
- 7、Gemini 1.5 Pro（0409 preview）：谷歌（美国）
- 8、GPT-4 Turbo（1106 preview）：OpenAI（美国）
- 9、Llama 3（70B）：Meta（美国）
- 10、Yi Large（Preview）：零一万物（中国）
先来看看阿里此次的表现。Qwen2是阿里巴巴开源的大语言模型，今年6月6日刚刚发布，动作十分迅速。整个系列包含五个不同规模的预训练及指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。训练数据覆盖了英语和中文之外的27种语言，其中Qwen2-7B-Instruct和Qwen2-72B-Instruct支持长达128K个token的上下文——这一长度在开源模型中相当能打。
再看零一万物的Yi Large。这是一款闭源大模型，Yi系列基于6B和34B的预训练语言模型，并延伸出聊天模型、200K长上下文模型、深度升级模型和视觉语言模型。官方宣称Yi Large在关键基准测试分数上超越了GPT-4和Claude 3 Opus等领先模型。当然，榜单上它排名第十，但能挤进前十，已经充分说明中国厂商在大模型赛道上绝非陪跑角色。
总体来看，这份榜单透露出两个信号：一是头部模型仍以美国厂商为主（Anthropic、OpenAI、谷歌、Meta），但中国力量正在快速追赶；二是开源与闭源的界限越来越模糊——阿里走开源路线，零一万物走闭源路线，两种策略都能产出高水准成果。接下来，就看下一轮评测中，谁会冲进前五。