AI模型的推理能力究竟到了什么水平?美团LongCat团队最近做了一场大规模的摸底考试,结果让不少人倒吸一口凉气。他们正式发布了一个全新的推理评测基准——General 365,并且一口气测了全球26款主流大模型。成绩单出来了:目前公认最强的Gemini 3 Pro,准确率不过62.8%,而绝大多数参赛模型,连60分的及格线都没摸到。这个结果给整个行业敲了一记警钟——在需要动真格的复杂推理任务上,大模型的能力远没到火候。General 365也因此被看作是衡量模型逻辑能力的一块新标尺。
先说几个核心判断:第一,新基准的发布,意味着评测体系要升级了;第二,全球26款主流模型都参加了,样本量足够说明问题;第三,即便是顶尖选手,也只在及格线附近徘徊;第四,不光是顶尖选手表现不亮眼,整个行业在推理这个维度上,暴露出的短板相当一致。
详细分析
推理评测的新标尺:General 365的诞生
大语言模型在对话、创作这些领域已经跑得挺快了,但行业的目光正在加速转向一个更硬核的方向——深度推理。美团LongCat团队在这个节骨眼上拿出General 365,既是技术积累的一次集中释放,也是给行业递上了一块真正能试出逻辑硬实力的“试金石”。通过26款模型的横向对比,这个基准把当前AI在处理复杂逻辑链条时的真实水平,清晰地摆在了台面上。
性能天花板的警示:Gemini 3 Pro的实测表现
Gemini 3 Pro在这次测试里的表现,是最有看点的。作为全球范围内公认的旗舰模型,62.8%的准确率虽然是26款里的最高分,但这个数字本身已经说明问题了。可以这么理解:即便是赛道上跑得最快的选手,在更严苛的考核标准面前,也显得不那么从容了。这种“低分领跑”的现象,恰恰证明了General 365的考题设计足够精细,能把模型之间的细微差距都区分出来。同时它也提醒我们,距离那个真正的“通用人工智能”,还有相当长的一段路要走。
多数模型“不及格”背后的行业现状
绝大多数模型连60分都没拿到,这个数据刺痛了不少人。它反映出一个普遍存在的行业事实:模型在聊天、写文章这类任务上表现神勇,可一旦涉及需要多步推理、逻辑推演或者解决复杂问题的场景,逻辑链条就容易断,幻觉问题也频繁出现。General 365做的,就是把那些藏在繁荣表象下的技术短板,一件件摊开来给你看。这也在倒逼开发者重新思考训练策略——不能再一味地堆参数规模了,逻辑推理能力才是下一步需要深挖的硬功夫。
行业影响
General 365的出现,会在几个层面改变行业。首先,它打破了以往评测中模型得分普遍虚高的“虚假繁荣”,给开发者提供了更有参考价值的改进方向。其次,美团作为国内技术驱动型的代表企业,把这样的高质量评测基准开源出来,实际上也是在帮国产大模型在国际推理能力评估中争取更多话语权。最后,也是最关键的,这个基准会把行业资源往高质量数据和复杂逻辑训练那边赶一赶,加速大模型从“能说会道”向“善于思考”进化。
常见问题
问题 1:General 365主要测试大模型的哪些方面?
General 365主要盯着大模型的推理能力。它通过设计一系列难度不低的逻辑挑战,来评估模型在处理复杂问题、多步推演以及逻辑严密性方面的表现。简单说,它考的是模型到底有多“聪明”,而不是它记住了多少东西。
问题 2:为什么Gemini 3 Pro的得分只有62.8%?
原因很简单:General 365的考题太难了。62.8%这个分数,放在26款主流模型里看,已经是第一名。所以这个基准的特点就是能把模型的差距拉开,让顶尖模型在极限推理场景下的弱点也暴露出来。分数低不是模型不行,而是标准变了。
问题 3:绝大多数模型不及格意味着什么?
意味着当前大模型在深度推理这件事上,还在很早期的阶段。多数模型碰到复杂逻辑任务,表现就不稳定,连最基本的准确率都保证不了。这也给后续的优化指明了方向——逻辑训练和高质量推理数据的积累,是接下来必须补上的课。
