美团LongCat团队近日正式发布了一项名为General 365的全新评测基准,专门针对大模型推理能力进行高难度测试。在实测26款主流模型后,表现最优的Gemini 3 Pro准确率仅为62.8%,而大多数模型甚至未能达到60分的及格线。这一数据极具分量,揭示出当前顶尖AI模型在复杂推理任务上,距离真正可靠仍存在显著差距。
核心要点
- 权威发布:美团LongCat团队正式开源General 365,旨在为大模型推理能力构建全新的评测标准。
- 覆盖广泛:该基准对市面上26款主流大模型进行了全面深入的实测。
- 高难度挑战:实测结果显示,公认最强的Gemini 3 Pro准确率也仅为62.8%。
- 行业现状:绝大多数参测模型未能及格,表明当前AI推理能力的瓶颈仍然突出。
详细分析
General 365:推理能力的新试金石
这一评测基准并非普通的性能测试,而是针对大模型逻辑推理能力的深度挖掘。当前AI在基础对话与信息检索方面表现亮眼,但面对复杂逻辑、多步推理及深度理解任务时,短板便暴露无遗。General 365正是为了填补这一评测空白而设计。通过对26款主流模型的横向对比,它揭示了AI在通往通用人工智能的道路上,必须克服的推理障碍。
数据解读:及格线下的行业思考
在General 365的严苛标准下,即便是Gemini 3 Pro也仅获得了62.8%的准确率。这一数据极具警示意义——全球最领先的模型,面对复杂推理场景仍有近四成错误率。更值得关注的是,绝大多数模型连60分都未能达到。这直接证明了当前大模型在推理任务上的普遍乏力,同时也说明General 365的题目设计确实具备极高的区分度与挑战性,能够精准测出模型在逻辑严密性上的细微差异。
行业影响
General 365的开源对AI行业产生了深远影响。首先,它打破了以往评测中“满分”或“接近满分”的虚假繁荣,用极具挑战性的数据让开发者和研究机构清醒认识到现有模型的真实水平。其次,作为美团技术团队的重要贡献,该基准为行业提供了统一的对标尺度,有助于推动大模型研发从单纯的参数规模竞赛转向更深层次的逻辑推理能力优化。最后,它的发布将引导行业更关注推理任务的真实落地表现,为未来更智能、更具逻辑性的AI应用奠定评测基础。
常见问题
问题 1:什么是General 365评测集?
General 365是美团LongCat团队发布的一项针对大语言模型推理能力的专业评测基准,通过高难度测试任务来评估模型的逻辑思维水平。
问题 2:为什么Gemini 3 Pro的得分只有62.8%?
这主要源于评测任务的复杂性。62.8%的准确率听起来不算高,但在该体系下已是26款主流模型中的最高分,充分反映出General 365对逻辑推理能力的极高要求。
问题 3:绝大多数模型不及格说明了什么?
这说明当前主流大模型在处理深度推理任务时仍存在普遍瓶颈。大多数模型面对复杂逻辑问题,其稳定性和准确性有待大幅提升,尚未达到可靠的工业化应用及格水平。
