OpenAI最新Deep Research深度评测报告，带你了解其强大功能与潜在问题。这份评测报告将带你深入了解Deep Research的强大能力以及实际使用中暴露的种种问题。可以说，它既是OpenAI在AI领域的一次重要试探，也暴露出当前技术落地的真实困境。今天就来深入聊聊，Deep Research究竟表现如何，实际用起来又如何。

在pass@1和cons@64这两项核心指标上——简单解释一下，pass@1衡量的是首次尝试的正确率，直接反映模型是否够靠谱；cons@64则是看生成64个结果后正确答案出现的概率，评估模型的上限和覆盖能力——Deep Research都取得了不错的成绩。

细看排行榜会发现，OpenAI公布的“以往最佳”成绩由h2o创造，时间是2024年12月16日。而最新的纪录则由Trase Systems在1月29日更新。这意味着，OpenAI在1月29日之前就已经准备好了这个项目。这时间点，恰巧和阿尔特曼在Twitter上的发声对得上。

有趣的是，实际测试并不总是一帆风顺。举一个典型的例子：用Deep Research来“写一篇有关OpenAI Deep Research的报告，目标受众是AI从业者、投资人和相关研究人员”。5分钟后，它确实输出了一份报告。但关键问题是，这是第四次尝试的结果。在前三次中，输出堪称胡说八道、离题万&里。直到第四次，在提示词中添加了背景信息后，输出才趋于稳定——而即便这样，也重复测试了两次才获得满意结果。

这个案例折射出目前Deep Research的几个核心问题：

• 非常不稳定——同样的任务，提示词稍有偏差，输出可能天差地别。
• 对任务描述极度敏感——如果任务没有被描述得非常清楚，模型的理解和执行可能出现较大偏差。更麻烦的是，任务一旦启动，就无法人工干预（包括中途修正或终止）。
• 链接读取有限——无法读取用户提供的链接（至少不读取公众号链接）。
• 限额偏低——即便是Pro用户，每月也只有100次的使用额度。

对于限额问题，官方给出了明确信号：“很快，我们会推出一款更省算力的小模型给Deep Research使用，那时所有付费用户都可以获得更多的使用额度。”翻译成大白话就是：OpenAI准备用一个小模型来降低算力成本，同时维持输出质量，从而放宽额度限制。这个消息，不知道是该期待还是该担忧。

既然：OpenAI已经发布了Deep Research，那么：DeepSeek何时发布Open Research？