AI基准测试平台LMArena陷争议：研究指责其偏袒OpenAI、谷歌和Meta
人工智能领域知名的公共基准测试平台LMArena近日遭遇信任危机。一项新的研究指出，该平台的排名系统存在偏袒OpenAI、谷歌和Meta等大型供应商的结构性问题，其不透明的流程和头部企业的固有优势可能导致排名失真。然而，LMArena运营团队已公开否认这些指控。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
LMArena通过向用户展示不同大型语言模型（LLM）的回复对比，并由用户投票选出更优者，最终形成广泛被行业引用的模型性能排行榜。企业常借此展示自身模型的优越性。
但由Cohere Labs、普林斯顿大学和麻省理工学院的研究人员联合进行的一项分析，基于2024年1月至2025年4月期间收集的超过280万条模型比较记录，揭示了LMArena排名可能存在的偏差。研究人员认为，Meta、谷歌和OpenAI等公司能够私下测试其模型的多个版本，并仅选择性能最佳的版本公开展示在排行榜上，其余版本则被移除。这种被称为“分数游戏”的做法，使得最终发布的模型往往是经过精心挑选的“尖子生”。例如，Meta在发布Llama4之前至少测试了27个内部版本。Meta随后也承认，在用户批评后，他们部署了专门针对基准测试优化的Llama4聊天机器人，而其未经优化的“Maverick”模型在LMArena上的表现则逊色不少。受控实验也表明，提交多个几乎相同的模型变体可以显著提高得分。
此外，研究还指出用户数据的不平等分配进一步加剧了这种偏差。通过API接口，大型供应商能够收集用户与模型交互的数据，包括提示和偏好设置，但这些数据并未公平地共享。OpenAI和谷歌的模型获得了绝大多数的用户交互数据（占比高达61.4%），这使得它们能够利用更多的数据进行优化，甚至可能针对LMArena平台进行专门优化，从而提升排名，即使其在外部基准上的表现并非最优。
研究人员还发现，大量模型在未公开通知的情况下从LMArena平台移除，这对开源模型的影响尤为显著。在评估的243个模型中，有205个模型未经解释就被停用，只有47个模型被正式标记为弃用。这种缺乏透明度的模型移除机制，可能会扭曲排名的历史连贯性和参考价值。
针对上述研究结果，LMArena团队在X平台发布声明坚决否认，强调其排名“反映了数百万新鲜、真实的人类偏好”，并认为提交前的测试是合法手段，旨在确定最符合用户期望的模型变体。他们认为，利用测试数据优化模型以满足用户偏好是一件好事。LMArena团队还表示，排名的依据仅为最终公开发布的模型，而非内部测试结果，且平台的源代码和数百万用户交互数据均已公开，其设计理念是开放的。
尽管如此，研究人员仍呼吁LMArena进行改革，包括公开所有测试过的模型变体、限制供应商单次提交的版本数量、确保模型在用户之间更公平地分配，并对模型移除进行清晰记录。他们警告称，若缺乏更严格的监督，LMArena最终可能奖励的是针对排行榜的策略性优化，而非模型实际性能的提升。
Cohere 实验室负责人兼该研究合著者之一Sara Hooker强调了LMArena日益增长的影响力及其所要求的“科学诚信”。前特斯拉和OpenAI工程师Andrej Karpathy也对LMArena的可靠性表示怀疑，他注意到Gemini模型在榜单上“远高于第二名”，这与他个人使用体验不符，并指出一些规模较小、缺乏实际知识的“相对随机的模型”也常常出现在榜单前列，进一步引发了对排名真实性的质疑。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票