先说结论:美团LongCat团队放了一个大招——推出了一套名为“General 365”的推理评测基准,旨在为大语言模型的推理能力构建全新的衡量标准。实测结果令人意外:目前表现最强的Gemini 3 Pro,准确率也仅有62.8%;绝大多数模型连60%的及格线都未能触及。这一数据清晰地表明,AI在复杂推理领域仍有漫长的路要走。
核心要点
- 新基准诞生:General 365,由美团LongCat团队开发,核心目标是通过高难度任务检验大模型的真实推理水平。
- 覆盖范围广泛:评测几乎囊括了市面上26款主流大模型,基本涵盖了当前最具竞争力的选手。
- 顶尖模型也吃力:被许多人视为“地表最强”的Gemini 3 Pro,在这个新基准上准确率也仅为62.8%。
- 集体卡壳:除少数顶尖模型外,大部分模型准确率均未超过60%。推理能力依然是整个行业公认的短板。
详细分析
General 365:推理能力的“试金石”
General 365不仅仅是一个测试集,更像是一把精准的标尺。当前大模型种类繁多,传统评测往往难以拉开差距,很难判断哪个模型在处理复杂逻辑时真正更“聪明”。General 365的出现恰好填补了这一空白。从美团技术团队披露的信息来看,其设计初衷非常明确:专门利用复杂、多步骤的逻辑任务来考验模型的稳定性和准确性,堪称“专治各种不服”的利器。
及格线上的挣扎:数据背后的行业真相
实测结果令人深思。连公认表现不俗的Gemini 3 Pro,准确率也仅为62.8%,这本身就说明了一个问题:即便在目前最前沿的技术体系中,推理依然是一块难啃的骨头。更值得关注的是,大多数模型甚至未能迈过60分的门槛。这个数据具有很强的冲击力,能够打破许多人关于大模型“无所不能”的美好幻想。准确率普遍低于60%意味着什么?意味着在实际应用中,模型面对复杂问题时,判断出错的可能性依然高得惊人。这种“集体不及格”的现象,实际上为整个行业指明了方向:未来优化的关键,必须从简单的模式匹配,真正转向深度的逻辑推理。
行业影响
美团LongCat团队推出General 365,这一步棋走得非常扎实。首先,它让大模型的评价体系更加完整,将关注点从基础的对话能力拉升至更高阶的推理能力。其次,公开的26个模型实测结果,如同一张行业坐标图纸,各家团队可以清楚了解自己的定位,明确需要补足的方向。最后,Gemini 3 Pro仅62.8%的分数,更像是一个新起点的标志,它为全球AI研究者设定了一个新的挑战目标:下一轮的竞赛,很可能将围绕“如何突破推理天花板”展开。
常见问题
问题 1:什么是General 365?
General 365是由美团LongCat团队专门为大语言模型研发的推理评测基准。它通过对主流模型进行实际检测,旨在为整个行业提供一把衡量推理能力高低的客观“尺子”。
问题 2:目前General 365上表现最好的是谁?
根据美团LongCat团队的实测数据,目前表现最强的模型是Gemini 3 Pro,准确率达到62.8%。
问题 3:为什么说大多数模型推理能力还有待提高?
因为在General 365的测评中,除极少数顶尖模型外,绝大多数参测模型的准确率都低于60%。这意味着它们面对该基准设定的推理任务时,连“及格”都还有一定距离。
