让我们先设想一个场景：

机械臂眼看就要将杯子准确放入盘子中，然而下一秒抓取失败，杯子重新落回桌面。

从时间顺序上看，后一幅画面在时间线上显然更靠后；但从任务目标的角度出发，机器人不仅没有推进进程，反而出现了状态倒退。人类一眼就能辨别出这种差异，但视觉语言模型（VLM）很可能给出截然相反的判断。

这个问题的根源其实并不复杂。目前市面上大量的机器人视频都是按照正常时间顺序录制的：先接近物体、再执行抓取、最后完成放置。在这种数据分布下，“后面的画面更接近任务完成”这一规律通常是成立的。模型训练得越充分，就越容易依赖这条便捷的推断路径。它能够识别出杯子、盘子和机械臂，也能描述画面中的动作，但未必能真正理解：这些动作究竟为任务带来了多少实质进展。

针对这一痛点，浙江大学等五所高校的研究团队提出了EgoTSR。该研究从第一人称机器人视角出发，核心目标是让VLM学会精准判断任务状态，并进一步将这种能力扩展到长程规划中。团队构建了一个包含4600万条样本的大规模数据集EgoTSR-Data，并设计了一套三阶段课程学习流程。

论文题目： From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning研究团队： 浙江大学、天津大学、青岛大学、上海交通大学、新加坡国立大学等论文地址：https://arxiv.org/pdf/2604.10517代码链接：https://github.com/Collab-Gen/EgoTSR

时间偏置：后出现的画面，真的更接近任务完成吗？

EgoTSR致力于解决的，并非传统的动作识别问题，而是一个更细粒度、更具挑战性的课题：给定两张来自同一任务视频的图像，哪一个状态距离任务目标更近？

举例来说：

将绿色杯子从桌上拿起，放入白色盘子中。

模型不能仅凭图中是否出现了杯子和盘子就做出判断，还必须分析杯子是否已被抓取、是否正在移动、是否真正进入了目标区域。

如果任务是“打开冰箱门”，那么门打开的状态显然更接近完成；但如果任务是“关闭冰箱门”，判断逻辑则恰好相反。同一张图片的任务意义，会随着目标的改变而产生天壤之别。

一个真正可靠的模型，还需要能够应对现实中的动作失败和状态回退：机械臂可能已经抓住物体，但在移动过程中不慎掉落；抽屉可能被拉开，下一秒却因碰撞而关上；物体可能短暂到达目标区域，但很快又被移走。

因此，时间上的先后顺序，并不等同于任务完成度的高低。

研究团队将模型这种依赖输入顺序进行判断的现象称为“时间顺序偏差”，即chronological bias。为了直接暴露这一问题，EgoTSR采用了一个简单但十分有效的策略：将同一对图像分别按正向和反向顺序输入模型。

假设图像B比图像A更接近任务完成。

第一次输入为：

图像A，图像B。

正确答案是第二张图。

然后交换顺序：

图像B，图像A。

正确答案必须变成第一张图。

如果模型始终选择第二张图，那它很可能根本没有分析物体的状态，而是根据图片位置在盲目猜测。

在实验中，这种现象十分突出。以部分长任务评测为例，InternVL-8B在正向输入下的准确率接近99%，但交换顺序后准确率直接跌至约2%。表面上的满分表现，在经过反向测试后，顺序依赖的问题暴露无遗。

三阶段课程：先解释，再内化，最后规划

EgoTSR并非简单地将所有数据混合训练，而是按照能力发展顺序，将训练过程分为三个阶段。

第一阶段使用了约1500万条CoT数据：模型需要先描述两张图中的空间状态，再比较哪张图完成了更多必要动作，最后给出答案。其核心目标是建立视觉状态、任务目标和最终判断之间的联系。

第二阶段使用了约1600万条Tag数据：详细的推理文本被去除，只保留图像、任务和正确的标签。模型需要直接判断哪张图更接近完成目标。研究团队希望将第一阶段形成的显式推理能力，逐步转化为更快速、内化的任务状态判断能力。

第三阶段加入了约1500万条LongTag数据：将能力从单个动作扩展到长程任务。至此，三类数据的总量达到了4600万条。

子任务规划器：将高层语义任务分解为多个细粒度子任务

“拿起杯子”算得上是一个相对明确的原子任务，但在真实机器人应用中，面对的通常是更为复杂的目标。

例如：

打开冰箱，取出饮料，将饮料放到桌面，并重新关上冰箱门。

如果模型只看到“饮料已经被拿起”，可能会认为任务已经接近尾声。但从完整目标的角度来看，机器人还需要将饮料放到桌面，再关上冰箱门。

为此，EgoTSR引入了一个Subtask Planner——子任务规划器。它能够根据初始场景和高层任务描述，生成一组具有明确顺序的原子子任务。

上面那个任务可以被拆解为：打开冰箱门；找到并抓取饮料；将饮料从冰箱中取出；把饮料放到桌面；关闭冰箱门。

这一系列子任务，构成了整个任务的“逻辑骨架”。

模型看到两张图后，不再仅仅比较局部物体的位置，而是进一步判断：每张图分别位于任务链的哪个阶段，已经完成了多少必要步骤，后续还有哪些动作需要执行。

论文将长任务图像对分成了三个层次：同一子任务内部、相邻子任务之间，以及跨越多个子任务的状态比较。跨度越大，模型需要利用的就不再仅仅是局部的视觉变化，而是整个任务的因果和顺序结构。

需要说明的是，这里的“规划”主要指的是高层任务分解和任务进度推理。EgoTSR并不直接输出机械臂的关节角、力矩或运动轨迹，而是为机器人提供“任务进行到哪里了”以及“后续还需要完成什么”的认知基础。

双层评测：既看是否“看清除”，也看是否“想明白”

研究团队构建了一套Dual-Level Evaluation Framework。

第一层聚焦于短程原子任务，考察模型能否捕捉细粒度的空间变化，例如夹爪是否闭合、按钮是否按下、物体是否进入容器。这一层主要用于诊断模型是否“看错了”。

第二层面向长程任务，要求模型结合子任务序列，判断两张图在完整任务中的相对进度。这一层主要用于诊断模型是否“想错了”。

两个层级都引入了正向和反向输入测试，用于检查模型是否仍然依赖于图像顺序。

最终数据显示，EgoTSR在长程任务上取得了92.4%的平均准确率，短程任务表现约为88%。在长程双向评测中，正向准确率约92.4%，反向约92.3%，差距仅有0.1个百分点。

消融实验进一步凸显了训练顺序的重要性。将CoT、Tag和LongTag混合在一起训练时，长任务准确率仅为69.6%；而按照“显式推理→能力内化→长程规划”的顺序进行训练后，准确率直接提升到了92.4%。去掉Subtask Planner后，准确率则下降到了81.1%。

从任务判断走向任务完成度监测

除了定量评测，研究团队还在人类操作视频、模拟环境和真实机器人平台上进行了案例验证，涉及LIBERO、SIMPLER、RoboTwin，以及Franka、Agibot和So-100等机器人平台。

在“将绿色杯子放入白色盘子”的案例中，模型持续处理未经切分的完整视频，并输出一条任务完成度曲线。

当机械臂接近杯子时，曲线缓慢变化；完成抓取和放置等关键子任务时，完成度出现明显上升；中间的搬运过程则保持相对稳定。

这意味着EgoTSR不仅能比较两张静态图，还具备用于长视频任务监测的潜力，例如判断机器人当前处于哪个阶段、是否发生了动作回退，以及任务是否正在按照预期推进。

机器人需要的不只是“看见”

从静态图像识别走向真实机器人，模型面对的问题发生了根本性的变化。

在图像问答任务中，识别出杯子、盘子和机械臂或许已经足够；但在具身任务中，模型还需要理解这些物体之间的变化是否真正服务于当前目标。

机械臂动了，不代表任务取得了进展；视频继续播放，也不代表机器人越来越接近成功。

EgoTSR的价值，一方面在于提供了一条从显式推理逐步过渡到长程规划的训练路径；另一方面，它通过正向和反向图像对，为具身模型设计了一把更加严格的“尺子”。

当然，这项工作距离完整的通用机器人系统还有明显距离，但它至少揭示了一个容易被高准确率掩盖的问题：

当一个模型宣称自己理解了机器人视频时，它究竟是在分析物体、动作和任务之间的因果关系，还是仅仅在重复“后一张图通常更接近完成”这条数据规律？

对于想要进入真实世界的具身智能来说，回答这个问题，或许比单纯提高几个百分点的准确率更加重要。