就在最近,美团LongCat团队丢出了一个重磅冲击波——General 365推理评测基准正式发布。在对26款主流大模型的实测中,目前表现最强的Gemini 3 Pro,准确率也不过62.8%;而绝大多数模型更是连60分的及格线都没摸到。这个结果直白地揭示了一个事实:当前大模型在复杂推理任务上的短板依然刺眼。General 365也因此成了衡量AI推理能力的一把全新标尺。
核心要点
- 发布全新基准:美团LongCat团队正式推出General 365通用推理评测集。
- 覆盖范围广泛:该评测集对目前市面上26款主流大模型进行了深度实测。
- 头部模型表现:目前公认最强的Gemini 3 Pro在测试中仅取得62.8%的准确率。
- 行业整体现状:绝大多数参与测试的模型准确率均低于60%,未能触及及格线。
详细分析
General 365:推理能力的高难度试金石
美团LongCat团队推出这个General 365,目标很明确——给大模型制造一个更棘手的推理考场。从26款主流模型的实测数据来看,这套评测集的设计初衷就是要打破现有评测里那些“高分幻象”,用更严苛的逻辑要求,把模型的真实推理水平逼出来。可以说,General 365为行业提供了一把能有效区分模型逻辑深度的新尺子。
现状透视:大模型集体面临“及格难”
这次评测里,即便是性能顶尖的Gemini 3 Pro,准确率也才62.8%。这个数字意味着,哪怕是最先进的模型,在处理复杂推理任务时,还有巨大的提升空间。更令人关注的是,绝大多数模型居然连60分的及格线都过不去。这清楚表明,当前大模型在通用推理能力的构建上,仍处于攻坚阶段,离真正的逻辑闭环还有相当距离。
行业影响
General 365的发布,对整个AI行业来说是个重要的风向标。首先,它把当前大模型在推理任务上的短板摆到了台面上,逼着研发团队从一味追求参数规模转向提升逻辑推理质量。其次,作为美团技术团队推出的基准,它为国内乃至全球的AI开发者提供了一个客观、高标准的参考体系,有助于推动下一代更具逻辑思考能力的AI模型尽快落地。
常见问题
什么是General 365评测集?
General 365是由美团LongCat团队发布的针对大语言模型推理能力的通用评测基准,通过高难度的实测任务来评估模型的逻辑推理准确度。
为什么Gemini 3 Pro的准确率只有62.8%?
这主要源于General 365评测任务的复杂性。62.8%的准确率虽然看似不高,但在参与测试的26款主流模型中已经是最高分,恰恰反映了该评测集对逻辑推理能力的极高要求。
绝大多数模型不及格说明了什么?
这说明目前主流大模型在处理深层次、复杂逻辑推理任务时,仍存在明显的局限。现有的技术路径在推理稳定性上,还需要进一步突破。
