谈到“整活”能力，OpenAI的首席执行官Sam Altman自称第二，恐怕没人敢称第一。近日，他在社交媒体上发布了一条充满神秘色彩的消息，声称：“我听说o2模型在GPQA基准测试中的准确率达到了105%。”

等等，105%？要知道，博士级人类专家在GPQA测试中的平均准确率仅为65%，而非专家的普通参与者更是只有34%。即便是OpenAI在9月推出的o1推理模型，其成绩也不过是78%。倘若o2真的能达到105%，那确实令人震惊——而且恰好高出5个百分点，在任何考试体系中都是不合常理的存在。诸如MMLU、Math、CPQA、GSM8K、GPQA等基准测试，其满分上限怎么可能超过100%呢？

这件事有多离谱？打个比方：就像你在满分100分的数学试卷上考出了105分，连老师见了你都得鞠躬绕道而行。

Sam Altman本人后来也意识到不对劲，接连发了两条推文澄清：“要命了，我的账号出了差错。我真的很感激自己能够把自己逗得哈哈大笑，这是一种很好的生活方式。”

尽管如此，这条消息已经在科技圈内炸开了锅。许多人争相转发，将“105%的测试成绩”当作热门噱头，喜剧效果简直拉满。

“o2在GPQA上达到105%？这听起来像是在创造全新的纪录啊。我已经迫不及待想看到它的真实表现了，简直无法想象它会有多强大。”

更有趣的是，有位网友竟然把这当成了真事，一本正经地回复Sam：“亲爱的Sam，听说你的o2在GPQA上达到了105%——真是令人印象深刻！我们正在与SRAGI进行平行探索，并在IJHG标准上达到了93%。这不仅仅是另一个指标，它让我们窥见了更深层的东西——正是精确性与再生奇点的交汇点。是时候重新定义潜力、拓展边界了，超越数字，这是一段迈向新范式的旅程。”

这位老兄的意思是，既然新模型能超越100%的测试标准，说明它确实有两把刷子，或许我们真该重新审视这些基准的合理性。好好的学术研究，就这样被带偏了节奏。

还有网友表示：“天啊，o2模型就要来了吗？”“Sam这条推文很可能是o2自己发布的，它很贴心地编写了专属的隐藏验证测试数据集，帮我们更轻松地验证已公布的基准。感谢o2！”

“既然要发布，啥时候能看看o2的演示？”

“那o2是今年发布还是明年？”

确实有不少人信以为真。所以，在做测试数据发布时，还是要谨慎一些，这种离谱的数据太容易引发误解了。

当然，明白人也不少。有位网友一针见血地指出：“超过100%，是否意味着模型发明了新的科学，并且反驳了目前‘正确’的答案？”言外之意：你这测试数据有点逆天啊，还带批判属性的？

更有网友开始玩梗：“听说o2在GSM8K的测试数据是117%”“我听说o2模型可以理解我妻子为什么不开心”“听说o2模型可以叠衣服”。

既然Sam特意提到了GPQA，那我们不妨深入聊聊这个测试的含金量。

GPQA确实是一个超高难度的测试数据集，由各领域专家精心编写了448道题目，涵盖生物、物理和化学三大核心学科，涉及高能粒子物理、凝聚态物理、相对论力学、遗传学、无机化学等数十个子分类。每道题的创作流程都极其严谨：题目编写完成后，由同领域专家进行解答和评估，审核问题是否客观、准确、难度足够高，同时提供详细的反馈意见，包括对问题的理解程度、答案的确定性以及对问题难度的看法。

GPQA数据集流程

接着，题目原作者会根据审核专家的反馈进行修订，再由另一位专家进行二次审核。最后，由其他领域的三位专家来回答这道题，以验证其准确性和客观性。

根据GPQA公布的测试数据，人类博士级专家的平均准确率仅为65%，普通参与者更是只有34%，而且他们在回答问题时可以无限使用互联网资源。相比之下，GPT-4的准确率只有39%，Llama-2-70B约为28%，GPT-3.5-turbo则约为29%。目前唯一在GPQA上超越人类博士的AI模型，是OpenAI最新发布的o1——其准确率达到了78%。由此可见，这个数据集的难度有多高。

不得不佩服，Sam确实是营销鬼才。随便发布一条错误消息，都能引发裂变式传播，流量密码算是被他拿捏得死死的。