4月底的时候，我简单梳理过Ben Thompson与Nat Friedman、Daniel Gross的一场访谈。里面有一段话，到现在印象都很深：
“许多公司的CEO都在炫耀他们在MMLU（大规模多任务语言理解基准）上的表现。有意思的是，MMLU实际上是Dan Hendrycks在他本科期间开发的一个评估工具。换句话说，这些市值万亿美元公司的CEO们，正津津乐道于一个本科生创建的测试分数。当然，MMLU确实是目前最重要的AI推理能力评估方法之一……
当前AI领域的一大痛点是缺乏优质的公开评估体系。在这种背景下，观察模型发布几周后用户在Twitter上的真实反馈，反而可能是一种更有效的评估方式。”
前两天又读到一篇TechCrunch的文章，讲的是另一个被广泛引用的大模型排行榜——Chatbot Arena——正面临越来越多的质疑与讨论。这件事再次提醒我们：大模型的性能评测，远没有到盖棺定论的时候。下面把其中的关键点整理出来，供大家参考交流。
Chatbot Arena背景介绍
LMSYS推出的Chatbot Arena（聊天机器人竞技场），是一个众包式的大模型评估平台。它的工作方式非常简单直观：
- 任何人都可以登录，向两个匿名随机选择的AI模型提问，并获得回答；
- 用户为自己觉得更好的答案投票，也可以宣布平局，或表示“两者都不满意”；
- 投票结束后，参与比较的模型名称才会被揭开。
官方在今年3月发表了一篇论文，里面提到：这个过程能产生一组“多样化的问题数组”，这些问题是典型用户可能向任何生成模型提出的。论文称，“有了这些数据，我们采用了一套强大的统计技术，尽可能可靠和高效地估计模型之间的排名。”
因为业内普遍对传统的大模型评测体系不满意，Chatbot Arena推出后迅速受到热捧。不久前，埃隆·马斯克还专门转发了xAI在该排行榜上的好成绩截图。
注1：某种意义上，Chatbot Arena和访谈中提到的“观察模型发布几周后用户在Twitter上的反馈”很像，都是更看重普通用户的直接感受，而非实验室里的标准化测试。
但问题来了：一套完全依赖“普通人”主观评价的排名，真的靠谱吗？
Chatbot Arena的局限性：透明度缺失
3月份，LMSYS发布了一个名为LMSYS-Chat-1M的数据集，包含了用户与25个模型之间的一百万次对话。按理说，这应该为研究提供重要支撑。但自发布以来，这个数据集再也没有更新过。来自Allen Institute for AI的研究科学家Yuchen Lin指出：“这种评估方法存在不可重复性的问题，这在科学研究中是一个重要缺陷。另外，LMSYS发布的有限数据使得深入研究这些AI模型的局限性变得极具挑战性。”
注2：当然，也能理解LMSYS的顾虑——数据公开太多，大模型公司很可能会利用这些信息去做专项打榜优化。
论文还提到，LMSYS使用“高效采样算法”让模型相互对抗，以“加速排名收敛并保持统计有效性”。更新排名前，每个模型需要收集大约8000张投票，这个门槛通常在几天内就能达到。但问题在于，整个评估流程和数据处理的具体方式，透明度依然有限。Yuchen Lin进一步指出：平台在很大程度上依赖后处理来为每个查询贴标签，再用这些标签开发特定任务的评级。这种评估方式缺乏系统性和严谨性，仅靠有限数据去评估复杂的推理问题，非常困难。
Chatbot Arena的局限性：偏见
更棘手的问题是偏见。Yuchen Lin指出，现有的投票机制没有充分考虑用户识别模型“幻觉”的能力，以及他们对答案风格的偏好差异。举个例子：有人偏爱长回答，喜欢Markdown格式的排版；有人则喜欢简洁直接的结果。两个用户面对同一组答案，可能给出完全相反的评价，而且这两个评价都有道理。这从根本上动摇了这种评估方法的可靠性。
直到最近，LMSYS才开始尝试在Chatbot Arena中控制模型回答的“风格”和“内容”。但Lin指出：“收集到的人类偏好数据并未考虑这些细微的偏见，平台也没有区分‘A显著好于B’和‘A仅略好于B’。尽管后处理可以缓解部分偏见，但原始的人类偏好数据仍然充满噪声。”
更大的偏见来自用户群体的构成。Chatbot Arena主要通过AI和科技行业圈子的口碑传播，所以吸引来的用户天然带有技术背景。Lin发现，LMSYS-Chat-1M数据集中最热门的问题多与编程、AI工具、软件bug修复、应用设计相关——这些话题显然不是普通非技术用户会问的。也就是说，“测试数据的分布可能无法准确反映真实人类用户的需求”。
伦敦玛丽女王大学的AI与游戏设计研究员Mike Cook也补充道：因为用户是自愿参与的，他们本身就对模型感兴趣，不太愿意对模型进行严格测试或逼近其性能极限。他直言：“总的来说，这不是一个好的研究方法。评估者只是提出问题，然后对哪个模型‘更好’投票——但LMSYS并没有明确定义‘更好’的标准。表现好的模型可能让人误以为它更人性化、更准确或更值得信赖，但实际上并非如此。”
有趣的是，LMSYS也在尝试用自动化系统来应对这些偏见——比如MT-Bench和Arena-Hard-Auto。这些系统通过让大模型对其他模型的响应质量进行排名。虽然LMSYS声称这些模型“很好地匹配了受控和众包的人类偏好”，但这个问题远未彻底解决。
未来，大模型评估体系想要真正反映模型能力，必须做到两点：更公开透明的数据，以及更多元化的用户群体。否则，榜单上的排名，终究只是一面被滤镜扭曲的镜子。