这项由上海交通大学计算机科学学院与美团共同进行的研究，以预印本形式于2026年5月29日发布，编号为arXiv:2605.30931。对这项AI研究工作感兴趣的读者，可以通过该编号在arXiv平台上查阅完整的论文原文。

谈及当下最热门的人工智能技术，人们脑海中往往会浮现出那些能撰写文章、绘制图画、解答问题的“大模型”。这些模型在各类标准化测试中表现优异，让许多人认为AI已经具备了相当高的智慧。然而，一个核心问题始终困扰着研究人员：在真实、动态且复杂的世界中，这些AI模型真的能自主胜任复杂的任务吗？在考场里作答和在真实环境中独立解决问题，完全是两码事。

为此，上海交通大学与美团的研究团队构思了一个精妙的解决方案：将沙盒游戏《我的世界》（Minecraft）改造为一个专门的评估平台，用以测试AI模型在开放世界中的探索与环境适应能力。这个评估平台被正式命名为——MINEEXPLORER。

为何选择《我的世界》？因为这款游戏包含了草地、森林、河流、村庄以及各类动植物与怪物，玩家必须观察环境、制定策略并逐步实现目标。这与现实世界解决问题的逻辑高度相似。但问题是，《我的世界》也隐藏着许多只有资深玩家才熟悉的“秘笈”——例如特定的合成配方、独特的游戏机制——这些规则与现实世界的常识完全脱节。研究团队指出，如果AI凭借“背诵游戏攻略”来通过考试，那么这种评估便失去了意义。他们真正想考察的，是AI运用通用的推理能力与现实世界常识，在不断变化的环境中灵活应对的本领。

基于这一核心理念，MINEEXPLORER做出了一项关键决策：从3382个游戏任务中，剔除了所有“需要依赖游戏内部规则才能完成”的任务，仅保留了1497个仅凭现实世界常识即可完成的任务。随后，研究团队将这些任务组合为813个经过人工验证的复合测试用例，难度等级从“一步到位”逐步升级到“需要预先完成四个隐藏步骤”。测试结果令人深思：即便是当前最顶尖的AI模型，在这个评估平台上取得的成绩也远谈不上理想。

如何确保考场只考察“真实能力”而非“游戏攻略”

构建这个评估平台的第一步，是解决一个根本矛盾：《我的世界》中存在大量属于游戏本身的规则，与现实世界的常识截然不同。以物品合成为例，在游戏中制作一个活塞，需要按照特定排列方式组合木头、圆石、铁锭和红石，这套流程在现实世界里毫无参照，即使是从未接触过游戏的普通人，也无法凭借常识推断出来。

研究团队将这类“只有资深玩家才懂”的任务全部移除，只保留了那些依靠常识就能理解的任务。例如“猎杀一只羊”——寻找羊、接近它、发起攻击，这个逻辑在现实世界中完全可行。又如“找到一条河流并游过去”——识别水域、下水、游到对岸，这是任何人凭直觉都能想到的操作。相反，“酿造一瓶治愈药水”这类任务被淘汰，因为要完成它，需要知道将地狱疣和闪光甜瓜放入酿造台，这完全是游戏特有的设定。

为了实施这种筛选，研究团队设计了一份《我的世界》规则说明书，让AI充当裁判：对于每一个候选任务，一个从未玩过这款游戏的普通人，是否仅凭现实世界常识就能完成它？能——保留；不能——剔除。这个过程类似于对一份试卷进行“公平性审核”，目的是确保考题考查的是真实能力，而非机械记忆。经过这一轮筛选，最初的3382个任务中，只有1497个通过了审核。

为验证筛选过程本身的可靠性，研究团队抽取了500个任务，请真人检验AI裁判的判断是否准确，结果整体吻合率达到86.8%，误判率均低于10%，这表明筛选过程相当可靠。

运用“看-想-做”框架绘制AI能力图谱

仅有任务列表还不够，研究团队还需要一套系统来分析：完成每个任务，AI到底需要调动哪些能力？他们借鉴了一种名为“ReAct”的思路——该名称源自英文“推理”（Reasoning）与“行动”（Acting）的组合——将AI在游戏中需要执行的操作划分为三大类：感知、推理与行动。

感知，是指AI“通过视觉”理解世界的能力。具体而言，它需要判断周围地形与目标位置的空间关系，感知任务过程中环境的变化，识别场景中的动物、怪物、村民等各种角色，监控自身状态（例如血量是否不足），以及检查自己背包中的物品。这五种感知能力，共同构成了AI“睁眼看世界”的基础。

推理，是指AI“运用智能”分析情况的能力。它需要利用现实世界的常识做出判断——例如知道砍树可以获得木头，木头可用于制作工具；它还需要理解因果关系，明白“先做A，才能做B”的逻辑顺序；同时需要理解空间与对象之间的关系，比如判断哪个目标距离自己更近、某个物品位于哪个区域。

行动，是指AI“通过肢体”执行计划的能力。在游戏里，这包括基本移动（行走、游泳）、跳跃越过障碍、采集物品（挖矿、砍树、拾取物品）、放置方块、合成物品，以及战斗。

为每个任务贴上这三类能力的标签之后，研究团队就能清晰地了解：每道考题究竟在考察AI的哪些具体能力，以及考察的难度级别。

将简单任务串联成“隐藏关卡”——多跳任务的设计

MINEEXPLORER中最引人入胜的设计，是将若干简单任务组合成一个“隐藏关卡”。其正式名称为“隐式多跳任务”。

以该评估平台中的一个实例说明：AI收到的任务指令是“去击败一只蜘蛛”。听起来很简单，对吧？但在精心设计的场景中，AI一出现，面前就有一条河流挡住去路，而蜘蛛在河对岸。因此，AI必须先识别出河流是障碍，然后自己思考“必须先过河”，接着发现附近有些材料可以用来合成武器，于是还得先制作一把剑，然后游过河，最终才能攻击蜘蛛。

整个过程中，“过河”和“造剑”这两个前置步骤，在任务指令中并未提及。AI必须依靠观察环境，推断出这些隐性的前置条件，并按照正确的顺序一步步完成。这好比你的上司让你“去给客户送份报告”，但没有告诉你报告尚未打印、打印机没纸、钥匙在抽屉里——你需要自己发现这些问题并逐一解决。

研究团队还为每个测试用例预设了一个“难度分值”。该分值的核心逻辑是：需要提前完成的隐藏步骤越多、每个步骤涉及的能力越多样，任务难度就越大。一跳任务是指没有隐藏步骤，直接完成目标即可；两跳任务包含一个隐藏前置步骤；三跳任务包含两个；四跳任务包含三个。数字越大，AI需要在思维中维持的“计划链条”就越长，出错的可能性也就越大。

五位“专家”协同合作才能生成一道优质考题

设计出这些测试用例本身，就是一个相当复杂的工程。研究团队发现，如果仅让一个AI模型独立出题，生成的题目往往问题重重：场景设置不合理、评分规则有误、任务逻辑前后矛盾。于是，他们构建了一个由五个专门角色组成的“出题委员会”，每个角色各负其责。

第一个角色是任务选择员，负责从候选任务池中挑选合适的任务组合，设计它们之间的依赖关系，并撰写那道“只说明最终目标、不透露隐藏步骤”的任务指令。第二个角色是场景设计师，负责在游戏内实际搭建场景——放置方块、召唤动物和怪物、调整地形——并且可以“进入”游戏场景亲自走一遍，确认设计是否合理。

第三个角色是里程碑设计师，负责将每个子任务转化为可被程序自动判断的规则。例如，“采集到煤矿”可以通过“背包中煤炭数量增加1”来判断，“击败僵尸”可以通过“僵尸从场景中消失”来判断。这些规则必须精确且可执行，设计师可以在游戏内实际触发这些条件来验证规则是否有效。第四个角色是《我的世界》专家，专门负责审核整个设计是否隐含地依赖了游戏专属知识，必要时可查阅游戏维基百科核实具体机制。第五个角色是验证员，负责从结构上检查任务的依赖图是否存在逻辑错误，评分规则是否存在漏洞。

这五个角色在一个“讨论组”中协同工作：先各自完成初稿，然后互相审查、提出意见、进行修改，直到所有人都认为这道题目没有问题为止。这个过程与学术论文的同行评审非常相似，只不过这里的“评审人”都是AI。

研究团队还专门比较了“五人团队出题”与“单一AI独立出题”的效果。真人评审的结果很能说明问题：五人团队出的题目，整体合格率约为78%，质量评分约4.53分（满分5分）；而单一AI出的题目，合格率仅为44%左右，质量评分约4.03分。在四跳任务这种最复杂的情况下，差距更为显著——单一AI的合格率大约为27%，而团队方式能达到约66%。这表明让不同专长的角色分工合作，确实能大幅提升出题质量。

最终的评估平台是什么样子？AI如何参加考试？

完成所有筛选与生成工作后，MINEEXPLORER最终包含813个经过人工验证的测试案例，覆盖从一跳到四跳的任务，数量分别为292、301、211和235个。每个案例都包含明确的文本任务指令、一个精心搭建的游戏场景、一套隐藏的任务依赖图，以及一组可自动判分的里程碑规则。

参加考试的AI模型，以第一人称视角进入游戏场景。每隔0.1秒，系统会截取一张游戏画面发送给AI，AI在分析画面后，输出一个动作指令——例如向前移动、转动视角、挥锄挖矿等。AI最多能记住最近20帧的历史画面，整个测试时长不超过30秒（即300个步骤）。每执行一步后，系统都会自动检查里程碑规则是否被触发。

评分采用两个主要指标：任务成功率（TSR）用于衡量最终目标是否完成，里程碑成功率（MSR）用于衡量在没有完全成功的情况下，完成了多少个中间步骤。研究团队也验证了这套自动评分系统的可靠性：他们请真人观看AI的游戏视频并打分，结果发现，当所有里程碑都被自动检测为“完成”时，真人的平均评分接近4分（满分4分）；而当所有里程碑都被检测为“失败”时，真人的平均评分低于3分。自动判分系统与真人判断的整体吻合率同样达到86.8%。

顶尖AI在评估平台中的实际表现：差距令人吃惊

研究团队邀请了18款当前最先进的多模态大模型参加这场考试，涵盖了各大公司的旗舰产品。结果可以用一句话概括：在一跳任务中表现尚可，但一旦任务链条变长，几乎所有模型的性能都急剧下降。

表现最好的模型是Claude-Opus-4.6，其整体任务成功率约为41%。排名第二的是谷歌的Gemini-3.1-Pro-Preview，成功率约为37%。这两款模型在一跳任务中的成功率分别约为78%和74%，看起来还算不错；但到了多跳任务中，Claude-Opus-4.6的成功率下降到约24%，Gemini的成功率则约为20%。

换一种方式理解这组数据会更直观：在一跳任务里，接近四分之三的任务可以被顶尖模型完成；但在多跳任务里，超过四分之三的任务会失败。随着隐藏步骤增多，AI的表现会急剧下滑，而非缓慢下降。大多数排名靠后的模型，整体成功率在10%到20%之间，有些模型在四跳任务中的成功率接近于零。

从能力维度来看，AI在感知得分上普遍高于推理得分，行动得分则大致居中。这一规律在几乎所有测试模型上都成立。通俗地说，AI通常能“看到”场景中有什么，但往往想不清楚“下一步该怎么办”。这个差距在多跳任务中更加明显——当AI不仅要看清现状，还要推断出哪些隐藏的前置条件没有满足、应该先做什么时，其推理能力就明显跟不上了。

还有一个出乎意料的发现：模型越大、推理越复杂，并不意味着游戏表现越好。在Qwen系列中，参数量更多的235B版本，其表现并不总是优于32B版本。更令人困惑的是，专门加入了“思考模式”的版本，整体表现反而有时不如普通版本。具体来说，Qwen-3-VL-235B-A22B-Instruct的整体任务成功率约为10.6%，而它的“思考”版本Qwen-3-VL-235B-A22B-Thinking只有约8.1%。

这说明，在开放世界探索这一领域，单纯增加参数量或让模型“多思考一会儿”，并不能解决根本问题。关键在于，模型需要将其推理过程与眼前的画面实时关联起来——当环境随着每一个动作而变化，计划也必须随之实时更新。如果推理与感知之间缺乏紧密的耦合，多思考反而可能成为一种负担。

为何失败，失败在何处

研究团队对Claude-Opus-4.6的失败案例进行了详细分析，并根据失败原因将错误进行了分类。最常见的失败原因是导航失败，占所有失败里程碑的约60%——AI找不到目标所在的位置，或无法到达目标地点。这表明，在三维空间中进行定位与导航，目前仍是多模态模型的主要短板。第二大失败原因是资源采集失败，约占20%——AI看到了目标，但始终未能成功完成采集动作。行动执行失败与目标识别错误（即弄错了自己该做什么）各占约10%。陷入死循环或卡住的情况非常罕见，占比不到1%。

这三类主要失败——导航、行动、目标识别——刚好分别对应感知、行动、推理三个能力维度，说明AI在这三个方向上还有显著的提升空间，而非仅仅是某一个短板。

在步骤效率方面也发现了一个有趣的规律：那些能够成功完成任务的情况，大多数都在很早的阶段就完成了目标；而那些失败的情况，则往往耗尽了整个30秒的时限仍毫无进展。这表明当前AI模型在短期任务上还算高效，但在长时间持续探索方面，基本不具备“越挫越勇”的能力——如果它在早期就迷失了方向，通常不会在之后找回正确的路径。

更强的模型完成目标任务时所花费的步骤数往往更多，但这并非因为它们效率更低，而是因为它们能够完成那些需要更长操作序列的中等难度任务，而较弱的模型只能胜任非常简短的任务。从这个角度看，步骤数多反而是一种能力更强的体现。

归根结底，MINEEXPLORER揭示了一个关键矛盾：当前AI模型在接受单一、明确的指令时表现尚可，但当任务要求它们主动发现问题、自行制定计划、并在环境变化中随机应变时，其表现就会大幅下滑。现实世界中的大多数任务都更接近后者——你的老板不会每隔0.1秒就告诉你下一步该怎么做。从这个意义上说，MINEEXPLORER所衡量的差距，不仅仅是游戏中的差距，更是AI走向真正实用化所需跨越的那段距离。

研究团队希望MINEEXPLORER不仅是一个测试平台，也能成为未来训练AI的环境，帮助研究者找到让AI真正掌握“长程探索”能力的方法。如果你对该项研究感兴趣，可以通过arXiv编号2605.30931找到完整论文，其代码与数据集也已在GitHub上开源。

Q&A

Q1：MINEEXPLORER是一个什么样的测试平台，它与普通的AI测试有何不同？

MINEEXPLORER是一个基于《我的世界》游戏构建的AI能力评估平台，专门用于测试多模态大模型在动态开放世界中的探索能力。与普通的AI测试不同，它不考察静态问答或短期单步任务，而是要求AI在不断变化的游戏环境中，自行推断隐藏的前置条件，按顺序完成多个步骤，最终达成目标。整个过程更贴近真实世界中解决问题的逻辑，而非背诵答案。

Q2：MINEEXPLORER中的多跳任务具体是什么意思，为什么AI在这类任务上会失败得如此严重？

多跳任务是指任务指令只告诉AI最终目标，但完成目标之前需要先完成一个或多个隐藏的前置步骤。例如指令说“打败蜘蛛”，但AI得自己发现前方有河流挡路、并且需要先制造武器。失败的主要原因是AI通常能“看到”眼前的情况，却难以推理出隐藏的前置逻辑；而且随着环境的变化，AI的计划未能及时跟上，导致越来越多的行动变得无效。

Q3：MINEEXPLORER的测试结果说明了当前顶尖AI到底有多强，又差在哪里？

目前表现最好的模型Claude-Opus-4.6整体任务成功率约为41%，在只有一个步骤的简单任务中能完成约78%，但在需要推断多个隐藏步骤的复杂任务中成功率不到24%。主要差距体现在三个方向：在三维空间中寻找目标（导航）、识别当前真正应该做什么（推理），以及成功执行具体操作（行动）。增加模型参数量或启用“思考模式”并不能稳定地改善这些问题。