OpenAI神同步评测框架发布,全球顶尖大模型一夜翻车

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
新智元报道
编辑:Aeneas
【新智元导读】这篇中国团队领衔发布的论文,已经在外网刷屏了,仅一夜阅读就达到了200万!这位MIT博士回国创业后组建的团队,拉来全球24所顶级机构,给AI如何助力科学发现来了一剂猛药。
最近,一篇由中国团队领衔全球24所TOP高校机构发布,用于评测LLMs for Science能力高低的论文,在外网炸了!
当晚,Keras (最高效易用的深度学习框架之一)缔造者François Chollet转发论文链接,并喊出:「我们迫切需要新思路来推动人工智能走向科学创新。」

AI领域KOL Alex Prompter分享论文核心摘要后,NBA独行侠队老板Mark Cuban跟帖转发,硅谷投资人、欧洲家族办公室、体育媒体同时涌进评论区。

仅一夜,累计阅读量逼近200万。
值得一提的是,同一时间窗里,OpenAI也发布了对于AI在科学发现领域能力评测的论文《FrontierScience: Evaluating Al's Ability to Perform Scientific Research Tasks》概述,指出现有评测标准在AI for Science领域失灵。

神同步OpenAI、海外讨论出圈,究竟是什么样的一份工作成果,搅动了全球AI舆论场?
AI距离可以助力科学发现,还有多远?
前段时间,美国推出「创世纪计划」,号称要调动「自阿波罗计划以来最大规模的联邦科研资源」,目标是在十年内将美国科研的生产力和影响力翻倍。
但在人工智能估值泡沫隐现、能耗与产出比饱受质疑的当下,一面是资本的狂欢,另一面却是AI能力困于「文生图」等表层应用的尴尬;一面是各类大语言模型频繁霸榜GPQA、MMMU等题库式Benchmark的层出不穷,另一面却是现有LLMs还无法准确解析简单核磁图谱的尴尬现状。
人们不禁要问:能在题库拿高分,就能助力科学发现吗?现在的模型距离科学发现还有多远?究竟什么样的AI模型可以胜任,拓宽人类的生存边界?这些讨论,在中美AI竞争白热化的当下变得愈发浓烈。
在此背景下,由中国AI for Science领域的初创企业「深度原理Deep Principle」领衔麻省理工学院、哈佛、普林斯顿、斯坦福、剑桥、牛津等全球24所科研院校共同发布的《Evaluating LLMs in Scientific Discovery》论文,正式回答该时代之问。
论文推出了LLMs for Science首套评测体系SDE(Scientific Discovery Evaluation),从科学问题到研究项目,对GPT-5、Claude-4.5、DeepSeek-R1、Grok-4等全球主流大语言模型在生物、化学、材料、物理领域的科学研究与发现能力完成摸底。

同以往评测体系不同的是,SDE对模型能力的考量,从简单的问答式,引向了具体的「假设->实验->分析」实验场景。
研究发现,GPT-5、Claude-4.5、DeepSeek-R1、Grok-4 平均准确率 50–70%,远低于它们在GPQA、MMMU等题库上的80–90%;在86道「SDE-Hard」难题中,最高分不足12%,共同暴露出多步推理、不确定性量化和实验-理论闭环的短板。
更值得警惕的是,模型规模与推理能力的提升已呈现明显的 「边际效益递减」。
GPT-5相较于前一代模型,参数规模和推理算力显著增加,但在SDE基准的四大科学领域中,平均准确率仅提升3%-5%,部分场景(如NMR结构解析)甚至出现性能下滑。
换句话说,当前大语言模型在推动科学发现方面的表现,还不如一个普通的本科生。
能领衔24所顶尖科研院校发布
背后团队是谁?
《Evaluating LLMs in Scientific Discovery》论文通讯作者段辰儒,是「深度原理Deep Principle」创始人兼CTO。
早在2024年,在MIT攻读化学博士期间,他就已在图灵奖得主Yoshua Bengio的支持下,发起了AI for Science社区的建立,并在NeurIPS上举办AI for Science workshop。
2024年初,他与MIT物理化学博士贾皓钧回国,共同创立「深度原理Deep Principle」。贾皓钧任CEO,段辰儒任CTO,两人虽为95后,但已在全球AI for Science创业领域小有名气。
创业一年半以来,其已获得线性资本、高瓴创投、蚂蚁集团等多家知名机构的投资,且与晶泰科技、深势科技等AI for Science领域的知名企业建立战略合作关系。
「深度原理Deep Principle」从创立之初,就带着全球AIfor Science头部研究者们的期待。目前「深度原理Deep Principle」已深入全球材料研发中的第一线,将生成式人工智能同量子化学结合起来,致力于推动材料发现等领域进入新纪元。
在过去的一年中,他们在Nature大子刊和JACS等顶级期刊上不断扔出重磅成果,宣告着他们的技术领先和开放交流的「95后创业公司」心态。
从开拓扩散生成模型(Diffusion Models)在化学反应的生成,证明「不止要生成材料,更需要生成材料的合成路径」,到机器学习势(Machine Learning Potentials, MLPs)和扩散生成模型的直接对比,证明传统的机器学习势不是「万能」的,再到现在组织各大顶级学者和高校推出SDE,证明传统一问一答的Benchmark不能带领我们走向科学超级智能,精准切入AI for Science领域的核心冲突。
但同时,对于所有的AI4S公司而言,在商业真金白银的检验中,AI能否真正解决新产品研发问题、满足客户期待,是日复一日必须面对的拷问。
随着与行业头部客户的商业化合作落地,「深度原理Deep Principle」的数据库中已经汇聚了来源于客户与自己实验室、大量来自第一线的真实工业研发场景数据和模型应用经验。
学术圈的深耕与在AI for Science商业化第一线的积累,让「深度原理Deep Principle」在提出要构建一把新尺子评测LLMs for Science能力时,一呼百应,摇来了23家全球TOP科学发现机构的50余位科学家,成立了制定SDE的「梦之队」。
这其中,不乏活跃在LLM领域的大牛学者们,比如:
孙欢(Huan Sun),MMMU发起人,俄亥俄州立教授
杜沅岂(Yuanqi Du),康奈尔博士,AI4Science 社区「运营大管家」
王梦迪,普林斯顿最年轻教授,AI+Bio Safety先驱者
Philippe Schwaller,IBM RXN之父,EPFL教授
而「深度原理Deep Principle」前期积累的科学发现场景,成为了后来SDE评测体系的前身。
在经历近9个月的跨高校跨学科跨时区的协作后,《Evaluating LLMs in Scientific Discovery》论文正式发布,通讯单位赫然写着:深度原理,杭州,中国。

自此,汇聚着全球顶级科学发现机构的集体智慧,来自中国的创业团队「深度原理Deep Principle」,和大洋彼岸的OpenAI,同时站在了向AI for Science——这一人类通往终极AGI顶峰攀登的起跑线。
或许千百年后,当人类回望AGI时代,在21世纪的四分之一结束的当口,这场由中美团队共同呼应的,对于AI for Science的严肃讨论,把LLMs在各类问答式榜单上的内卷,向真正科学发现的星辰大海推近了一步。
「深度原理Deep Principle」与20多所机构的50多位合作者的研究证明了,目前LLM的发展路径并不能「顺便攻克」科学发现。
这条通往科学超级智能之路,需要更多有识之士共同并肩而行。

相关攻略
两说作为战略性新兴产业,低空经济坐拥万亿级赛道的发展空间,备受瞩目。而人工智能技术正从感知、决策、协同、调度到监管,全链条重构其发展逻辑,成为推动低空经济从试点探索迈向规模化商用的核心引擎。在人工智
两说 Business Insights当前,低空经济以其战略性新兴产业与万亿级赛道的发展空间而备受关注,人工智能技术正从感知、决策、协同、调度、监管全链条重构低空经济发展逻辑,成为低空经济从试点
【文 观察者网 心智观察所】 最近,NeurIPS——人工智能领域最具影响力的学术会议之一——在2026年征稿规则中新增了一项条款:凡被美国财政部海外资产控制办公室(OFAC)列入制裁名单的机构,
人民网北京3月30日电 (记者赵竹青)当高端科学仪器被AI赋能,会发生什么?3月27日,2026中关村论坛年会AI for Science(人工智能赋能科学研究)青年论坛上发布的我国首套智能双束电镜
来源:海外网03:41机器人“灵巧手”能独立穿针引线,亦可弹琴奏乐;智能眼镜将语音转为字幕、总结成提纲,帮助人们实现高效交流;脑机接口、外骨骼突破技术瓶颈,助力残障人士恢复手部运动,甚至举起哑铃
热门专题
热门推荐
《生存33天》角色深度解析:绵绵与天使的战术定位与阵容搭配指南 首先,我们深入分析天使这位角色。她的定位非常清晰:兼具复活能力与真实伤害的团队核心支援者。在当前版本中,天使的治疗强度与稳定性均属于一线水准,而其灵魂所在是她的被动技能——只要她在场,全队成员的攻击倍率便会获得持续增益。这一机制意味着,
《伊瑟》平民传说肉队攻略:全方位养成与实战指南 在《伊瑟》的竞技场环境中,若论哪套体系最为稳健且拥有最高下限,答案毫无疑问指向“肉队”。这套体系的核心在于围绕具备强大生存能力与持续输出潜力的坦克型核心构建阵容。凭借其卓越的容错率与版本适应性,肉队不仅是当前环境的主流解法,更是平民玩家冲击高段位的可靠
消息称国产折叠屏旗舰定档7月发布:核心物料与镜头模组全面国产化,疑似小米MIX Fold 5 近期,数码科技领域再度传来重磅动态。据知名爆料博主@智慧皮卡丘在微博平台透露,国内某头部厂商的下一代折叠屏旗舰手机,已在核心物料、影像镜头模组乃至系统软件层面实现了大规模国产化与深度自研。在当前的产业链发展
世界印记效果完整指南:洛克王国战力提升核心策略 在《洛克王国》的探索与对战征程中,世界印记的作用远超表面装饰。它是一套精密的潜能激发系统,能够从根本上重塑宠物的战斗能力,实现战力的阶梯式增长。本文将为您全面剖析世界印记的多重效果,助您掌握这项至关重要的制胜利器。 一、属性强化:构筑稳固战斗基石 世界
洛克王国初始精灵怎么选?御三家深度对比指南 在洛克王国的冒险之初,每位小洛克都将面临一个至关重要的抉择:从火花、水蓝蓝和喵喵这三只初始精灵中,选择自己的第一位伙伴。这个选择不仅决定了你早期的战斗体验,更将影响你的阵容搭配与战术风格。本文将从属性、技能与实战定位三个方面,为你全面解析洛克王国御三家精灵





