游乐游手机版
首页/业界动态/文章详情

OpenAI推出GeneBench-Pro基准测试评估AI模型生物学计算能力

时间:2026-07-02 10:46
7月1日,OpenAI正式推出了一个名为GeneBench-Pro的全新基准测试。该测试旨在直接评估AI模型在生物学计算任务中的实际能力,简而言之,就是检验模型在面对真实科研场景中复杂、不完整的数据时,能否做出准确的分析判断,选择适当的方法,并最终提供支持后续决策的有效结果。 传统的基准测试通常侧重

7月1日,OpenAI正式推出了一个名为GeneBench-Pro的全新基准测试。该测试旨在直接评估AI模型在生物学计算任务中的实际能力,简而言之,就是检验模型在面对真实科研场景中复杂、不完整的数据时,能否做出准确的分析判断,选择适当的方法,并最终提供支持后续决策的有效结果。

OpenAI 推出 GeneBench-Pro 基准测试,用于评估 AI 模型生物学计算能力

传统的基准测试通常侧重于考察模型“记忆了多少知识”或“能否按固定流程完成任务”。而GeneBench-Pro则不同,它更强调实用性——让模型置身于真实的科研环境中,面对模糊、不完整甚至包含干扰信息的数据。模型需要自主判断如何分析、如何得出结论。

具体而言,该测试覆盖了基因组学、定量生物学和转化医学等多个方向,共包含129道题目,分布在10个主要领域和21个子领域,例如统计遗传学、群体遗传学、功能基因组学、蛋白质组学等。每道题目为模型提供一份接近真实科研环境的数据集,附带一段简短的实验背景说明和一个与后续决策相关的目标问题。模型需要自主进行数据探索、选择分析方法,并在过程中不断调整策略,最终给出答案。

该测试的关键设计在于:为避免传统长流程基准测试中常见的评分偏差,OpenAI采用了合成数据(Synthetic Data)来构建题目。原因在于,如果使用历史真实数据出题,往往存在多条合理的分析路径,模型即使使用错误方法也可能偶然答对。而合成数据的优势在于,OpenAI能够完全掌控底层因果结构和数据生成过程,从而更准确地判断模型是否真正理解了问题,而非投机取巧。

目前,OpenAI已在Hugging Face平台上开源了10道具有代表性的示例题目,并提供了交互式界面供外部研究人员体验。后续还将开放其中50道题目,交由Artificial Analysis进行第三方独立评测,旨在验证不同模型在该新基准下的真实表现。

来源:https://www.ithome.com/0/971/383.htm
上一篇格科2亿像素传感器开发顺利 获客户初步合作意向 下一篇苹果中国官网上线iOS27预览版 移除所有AI功能
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
小米集团辟谣官微上线,定位官方辟谣平台
业界动态 · 2026-07-02

小米集团辟谣官微上线,定位官方辟谣平台

小米辟谣官微6月30日正式上线,作为集团官方辟谣阵地,用户可查询辟谣声明、反馈谣言线索。账号将主动澄清网络谣言,维护合法商誉,并致力于打造权威辟谣通道,保障公众知情权与合法权益。

小米官方辟谣账号上线持续维护合法商誉
业界动态 · 2026-07-02

小米官方辟谣账号上线持续维护合法商誉

6月30日,小米集团的一则动态引发热议:小米辟谣官方账号,正式上线了。简单来说,小米这次将澄清谣言的工作直接推到了前台——在中央网信办违法和不良信息举报中心的指导下,小米辟谣的全新阵地宣告成立。 目前,这个辟谣账号已在微博开通。用户可以通过它核实与查阅小米官方的辟谣声明,也可以反馈任何涉及小米的谣言

特斯拉Cybercab无驾舱量产车在奥斯汀启动L4级公开道路测试
业界动态 · 2026-07-02

特斯拉Cybercab无驾舱量产车在奥斯汀启动L4级公开道路测试

特斯拉Cybercab量产车在奥斯汀启动L4级公开测试,彻底取消方向盘等物理控制装置。安全监督员仅观察不干预。车辆专为Robotaxi设计,搭载HW4 0与FSDV14 3 3系统,续航672公里,支持无线充电,实现全程独立驾驶。

鸿蒙智行回应问界M5车内异味系第三方配件所致
业界动态 · 2026-07-02

鸿蒙智行回应问界M5车内异味系第三方配件所致

6月30日,针对近期网络热议的“问界M5车内异味”事件,鸿蒙智行官方小助手在社区帖子下方发布了正式回应。官方表示,已对刘先生的这辆车进行了全面检测排查。工作人员上门核查后发现,涉事车辆内部加装了大量第三方配件,包括非原厂皮质、塑胶收纳摆件、脚托、抱枕、车衣等。在拆除所有加装配件后,工作人员严格依照国

闫闯直言20万买电车选400V太愚蠢
业界动态 · 2026-07-02

闫闯直言20万买电车选400V太愚蠢

2026年6月30日,微博上一则关于电动汽车高压平台技术路线的争论迅速引爆热搜。坐拥超过475万粉丝的汽车领域博主闫闯,在归还体验了4天的理想i6时,专门花费6分多钟把电量充至满格,并掷地有声地留下一句:“一点不比加油慢。”随后他补充道:“还是那句话,都这时代了,20万+电车还买400V的绝对愚蠢。