想象一下这个场景：
机械臂正稳稳地夹起桌上的杯子，准备放进旁边的盘子里。不料下一秒，抓取失败，杯子“啪”地掉回桌面。
从时间顺序看，后一张画面发生得更晚；但从任务目标衡量，机器人非但没前进，反而退回了原点。这种“开倒车”的变化，人类一眼就能看穿，但许多视觉语言模型（VLM）却常常给出截然相反的结论。
问题到底出在哪里？其实说穿了很简单。当前用来训练模型的机器人数据，绝大多数都按正常时间顺序采集：先靠近物体，再抓取，最后完成放置。在这类数据中，‘后面的画面更接近任务完成’这一规律几乎总是成立。模型训练得越久，就越容易记住这条省力的捷径。它能认出杯子、盘子和机械臂，也能描述画面中的动作，但它未必真正理解：这些动作究竟有没有在推动任务向前推进？
针对这一痛点，浙江大学等五所高校的研究团队提出了名为 EgoTSR 的方案。这项研究从第一人称的机器人视角出发，目标十分明确：让VLM学会判断任务状态，并将这种能力拓展到长程规划中。为此，团队构建了一个包含4600万条样本的庞大数据集 EgoTSR-Data，并设计了一套三阶段课程学习流程。想深入了解的话，论文和代码均已公开。
论文题目： From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning
研究团队： 浙江大学、天津大学、青岛大学、上海交通大学、新加坡国立大学等
论文地址：https://arxiv.org/pdf/2604.10517
代码链接：https://github.com/Collab-Gen/EgoTSR
时间偏置：后出现的画面，真的更接近任务完成吗？
EgoTSR 的关注点并非传统的动作识别，而是一个更具体、也更刁钻的问题：给定两张来自同一任务视频的图像，哪一张的状态更接近任务目标？
比如，任务是“把绿色杯子拿起来，放进白色盘子里”。
模型不能只看图里有没有杯子和盘子，它还得判断杯子是否被抓在手里、正在移动中、还是已经落入了目标区域。
再比如，如果任务是“打开冰箱门”，那么门打开的状态就更接近完成；但如果任务是“关闭冰箱门”，判断就刚好相反。同一张图，任务意义可以随着目标截然不同。
真正可靠的模型，还必须能处理现实中的各种意外：机械臂抓住了物体，搬运途中却掉了；抽屉被拉开，结果又被什么东西撞回来关上；物体短暂到达目标区域，下一秒又被移走。在这种情况下，时间更晚，并不意味着任务完成度一定更高。
研究团队把模型这种依赖输入顺序进行判断的现象，称为“时间顺序偏差”（chronological bias）。为了直接暴露这个“作弊行为”，EgoTSR 采用了一个简单但无比有效的办法：把同一对图像，分别按正向和反向顺序喂给模型。
假设图像B比图像A更接近任务完成。第一次输入：图像A在前，图像B在后，正确答案是第二张。然后交换顺序：图像B在前，图像A在后，正确答案必须随之变成第一张。
如果模型永远只选第二张图，那它根本没分析物体状态，纯粹是在猜位置。实验中的现象触目惊心。以部分长任务评测为例，InternVL-8B 在正向输入下准确率接近 99%，但交换顺序后，准确率直接跳水到约 2%。一个看似完美的结果，在反向测试下瞬间原形毕露。这才是真正的陷阱所在。
三阶段课程：先解释，再内化，最后规划
EgoTSR 没有把4600万条数据一股脑儿地混合训练，而是按能力发展顺序，设计了一套精妙的“课程”。
第一阶段：用约1500万条思维链（CoT）数据打基础。模型需要先描述两张图中的空间状态，再比较哪张图完成了更多必要动作，最后给出答案。这个阶段的重点是，建立视觉状态、任务目标和最终判断之间的强关联。
第二阶段：用约1600万条标签（Tag）数据做内化。详细的推理文本被移除，只保留图像、任务和正确答案的标签。模型需要直接判断哪张图更接近完成。这就像让学生从“写解题步骤”过渡到“直接心算得出答案”，将第一阶段的显式推理，逐渐转化为更快速、直觉式的判断。
第三阶段：加入约1500万条长任务标签（LongTag）数据进行拓展。这将模型的能力从单个原子动作，扩展到更复杂的长程任务。至此，三类数据总计4600万条，能力链条环环相扣。
子任务规划器：把高层语义拆成细粒度步骤
“拿起杯子”是一个相对明确的原子任务，但真实机器人面对的通常是更复杂的目标。
比如：打开冰箱，取出饮料，放到桌面，再关上门。
如果模型只看到“饮料已经被拿起来了”，就认为任务接近尾声，那它可就大错特错了。别忘了，还有“放到桌面”和“关冰箱门”等着呢。
为此，一个精妙的设计思路浮现了出来：EgoTSR 引入了一个子任务规划器（Subtask Planner）。它根据初始场景和高层任务描述，自动将复杂任务分解为一组有明确顺序的原子子任务。
上面的任务就可以被拆解成这样：
打开冰箱门；
找到并抓取饮料；
将饮料从冰箱中取出；
把饮料放到桌面上；
关闭冰箱门。
这组子任务，构成了整个任务的“逻辑骨架”。有了它，模型看到两张图时，不再仅仅比较局部物体的位置，而是进一步判断：每张图分别位于任务链的哪个环节，已经完成了多少步骤，后续还剩下哪些动作。
论文将长任务图像对分为三个层次：同一子任务内部、相邻子任务之间，以及跨越多个子任务的状态比较。随着跨度的增加，模型需要把整个任务的因果和顺序结构都纳入考量。
需要强调的是，这里的“规划”主要指高层任务的分解和进度的推理。EgoTSR 并不直接输出机械臂的关节角度或运动轨迹，而是为机器人提供了一种“任务进行到哪里了”和“接下来该干什么”的认知基础。
双层评测：既看是否“看清”，也看是否“想通”
研究团队构建了双层次评估框架，分别考察模型“看清”和“想通”的能力。
第一层是短程原子任务，考察模型能否捕捉细粒度空间变化，比如夹爪是否闭合、按钮是否按下、物体是否进入容器。这层主要诊断模型是不是“看错了”。
第二层是长程任务，要求模型结合子任务序列，判断两张图在完整任务中的相对进度。这层主要诊断模型是不是“想错了”。
两个层级都加入了正向和反向输入测试，用来检查模型是否依赖图像顺序。
最终，EgoTSR 在长程任务上取得了 92.4% 的平均准确率，短程任务约为 88%。在长程双向评测中，正向准确率约 92.4%，反向约 92.3%，差距仅有 0.1 个百分点。这个数据说明，模型真正理解了任务逻辑，而不是在“猜”答案。
消融实验也证明了训练顺序的重要性。如果简单地将 CoT、Tag 和 LongTag 数据混合训练，长任务准确率只有 69.6%；而按照“显式推理 → 能力内化 → 长程规划”的顺序训练，准确率直接飙升到 92.4%。如果去掉 Subtask Planner，准确率则下降到 81.1%。
从任务判断走向任务完成度监测
除了定量的评测，研究团队还在人类操作视频、模拟环境和真实机器人平台上进行了案例验证，涉及 LIBERO、SIMPLER、RoboTwin 以及 Franka、Agibot 和 So-100 等多种机器人平台。
在“把绿色杯子放进白色盘子”的案例中，模型持续处理未经切分的完整视频，并输出一条动态的“任务完成度曲线”。
当机械臂接近杯子时，曲线缓慢爬升；完成抓取和放置等关键子任务时，完成度出现明显的阶梯式上升；中间的搬运过程则保持相对稳定。
这意味着 EgoTSR 不仅仅能比较两张静态图，还具备在长视频场景中进行任务监测的潜力，比如判断机器人当前处于哪个阶段、是否发生了动作回退，以及任务是否正按预期推进。
机器人需要的，不只是“看见”
从静态图像识别走向真实机器人，模型需要面对的问题发生了根本性的变化。
在图像识别任务中，识别出杯子、盘子和机械臂可能就足够了；但在具身任务中，模型还必须理解这些物体的变化，是否服务于当前的目标。
机械臂动了，不代表任务取得了进展；视频继续播放，也不代表机器人越来越接近成功。
EgoTSR 的价值，一方面在于它提供了一条从显式推理逐步过渡到长程规划的可行训练路径；另一方面，它通过正向和反向图像对，为具身模型设计了一把更加严苛的“尺子”。
当然，这项工作距离一个完整的通用机器人系统还有明显距离。但它至少揭示了一个容易被高准确率所掩盖的深层问题：
当一个模型声称自己理解了机器人视频时，它究竟是在分析物体、动作和任务之间的因果关系，还是仅仅在重复“后一张图通常更接近完成”这一数据规律？
对于志在真实世界的具身智能而言，诚实地回答这个问题，或许比单纯提高几个百分点的准确率，要重要得多。