OpenAI 推出深度搜索评测新基准 BrowseComp：考验 AI 在互联网上深度挖掘信息的能力

随着人工智能智能体越来越依赖网络浏览来获取知识，准确评估它们深度挖掘和整合信息的能力变得尤为重要。OpenAI 近期发布了 BrowseComp——一个全新且极具挑战性的基准测试，并已将其开源，旨在衡量 AI 在互联网上定位极难查找信息的能力，以弥补当前评估方法的明显不足。

1. BrowseComp 的设计理念与挑战性分析

现有的基准测试（如 SimpleQA）已经被具备快速浏览能力的先进模型（例如带浏览功能的 GPT-4o）轻松应对，无法有效评估 AI 是否具备解决需要持久探索和跨网站信息整合的复杂现实挑战。BrowseComp 正是为了弥补这一关键差距而设计。

该基准包含了 1,266 个精心设计的高难度问题，核心特征为 “难于查找，易于验证”。每个问题要求简短、明确且有据可查的答案，且刻意设计得无法通过简单搜索轻易获得。与普通信息检索不同，它要求 AI 智能体必须具备出色的事实推理、检索浏览和综合分析能力。

示例问题展示

请识别一篇在 2023 年 6 月前发表的研究出版物的标题，该出版物提到了文化传统、科学过程和烹饪创新。该出版物由三名作者合著，其中一名是西孟加拉邦的助理教授，另一名拥有博士学位。  
答案：面包制作的基础：面包的科学

90 年代，一所新学校由合并一所女子学校和一所男子学校而成，形成一所男女同校的学校，位于一个可追溯到 19 世纪后半叶的历史小镇。这所新学校被赋予了一个拉丁名字。这所女子学校的名称是什么？  
答案: 慈善修女院

2. 基准测试中 AI 与人类的表现对比分析

该基准测试的难度极高：

• 对顶尖 AI 构成严峻考验：即便是带浏览功能的 GPT-4o，准确率也仅为 1.9%。
• 对人类同样困难：在专门测试中，经验丰富的人类研究员在 2 小时内仅能解决 29.2% 的问题。

测试结果清晰显示了能力差异：标准模型表现不佳，而 OpenAI 专门为深度研究和持久网络浏览训练的 Deep Research 智能体 表现突出，准确率达到了 51.5%。这有力证明了 BrowseComp 在区分 AI 真实深度信息检索能力方面的有效性。研究同时表明，增加推理计算资源能够显著提升性能。

3. OpenAI 开源 BrowseComp，助力 AI 智能体发展

OpenAI 强调，通过 开源 BrowseComp，旨在推动研究社区开发更强大、更可靠、更值得信赖的 AI 智能体。尽管 BrowseComp 聚焦于特定核心能力，但它为衡量 AI 在信息迷宫中的关键技能（如持久性与创造力）提供了一个不可或缺且易于评估的工具。

BrowseComp 现已通过 OpenAI 的 simple-evals GitHub 仓库向公众开放。OpenAI 诚邀全球研究者利用这一基准进行评估与创新，并期待反馈。为维护基准的长期有效性，强烈建议不要在网络上公开传播数据集中的具体示例。这一基准的推出不仅能对齐评测标准，更重要的是刺激各大厂商在这一领域的投入，深度搜索将迎来“超级时刻”！

项目地址：https://github.com/openai/simple-evals