核心判断是：近期，世界-动作模型（World-Action Model, WAM）已成为具身智能领域备受关注的前沿方向。该模型旨在将“世界建模”与“动作预测”深度融合——机器人不仅需要依据当前视觉观测做出动作，还必须在内部预演未来状态，以评估动作执行后环境将如何变化。尽管该设想颇具吸引力，但从实际表现来看，其应用中仍隐藏着诸多局限与挑战。
在图像预测方面，WAM模型常常需要重建大量与目标任务无关的视觉细节，例如背景、光照条件以及纹理走向。这些冗余的像素级信息对最终的动作生成帮助极为有限，反而实实在在地增加了模型的学习负担和计算资源开销。更关键的是，推理阶段的计算延迟是一个棘手的问题。如果在动作生成前，系统需要显式地生成未来的图像或视频，那么由此带来的延迟将严重制约机器人在动态场景下的实时闭环控制性能。
此外，许多WAM模型仍然固守在像素级别的视觉预测上，导致对语义信息的捕捉严重不足。这意味着模型难以深入理解任务意图、因果逻辑关系以及长期的行动规划。
图 1：WAM 的局限性：细节重建负担、推理延迟与语义缺失
为了解决上述问题，上海交通大学DENG Lab提出了一种创新思路——世界-语言-动作模型（World-Language-Action Model, WLA）。该模型将世界建模、语言推理与机器人动作生成统一在一个框架中。核心区别在于，WLA对未来状态的预测，不再局限于“生成未来画面”，而是同步建模两种信息：粗粒度的文本意图与细粒度的物理动态。
在文本意图方面，模型通过自然语言来描述未来状态与任务目标。这使得模型能够获得一种简洁、可解释的语义表征。它能够有效过滤掉那些与决策无关的视觉细节，让机器人更专注于任务本身。更关键的是，基于这一语义基础，模型还能进一步实现目标分解、记忆组织、逻辑推理以及长期规划。简而言之，这赋予了机器人不仅理解“要做什么”，还能明确“做到哪一步、接下来怎么走”的能力。
另一方面是物理动态建模。这部分着重刻画了动作对环境状态产生的实际影响——例如物体的位置和姿态如何变化、接触关系如何建立、运动趋势向哪个方向演变。它扮演了连接高层任务意图与底层动作控制的关键桥梁。这意味着，机器人不仅能理解“要做什么”，还能准确预判“这么做会带来什么后果”。
在实际部署阶段，WLA仅激活了2B参数，但在仿真与真实机器人实验中，其综合表现全面超越了多种强基线方法。在极具挑战性、高度依赖长时程记忆的RMBench基准上，它取得了56.5%的任务成功率，这一成绩几乎是次优方法的两倍。不仅如此，经过一系列系统级的推理优化后，WLA的单次推理延迟被压缩到了40毫秒。40毫秒的意义在于，它完全满足了动态场景下机器人实时控制的需求，反应速度极其迅捷。此外，值得关注的是，WLA还展现了直接从跨本体、无动作标注的机器人视频中学习新任务的能力，这为大幅降低机器人数据采集成本开辟了一条新路径。
代码与模型权重均已完全开源。
论文标题：World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis
论文地址：https://arxiv.org/abs/2606.05979
代码地址：https://github.com/SJTU-DENG-Lab/WLA
模型仓库：https://huggingface.co/collections/SJTU-DENG-Lab/wla
文本意图建模：明确任务进度与下一步规划
与许多基于双向DiT的WAM模型不同，WLA选择了自回归Transformer作为骨干网络，并由预训练的视觉-语言模型（VLM）进行初始化。这一设计思路的优势在于，模型天然继承了VLM卓越的语言理解、序列生成和上下文管理能力，从而不再局限于像素级预测这一单一路径。
在长时程任务中，语言指令通常只定义了最终目标，并未给出每一步的具体操作。WLA的处理方法是，将高层意图表示为文本子任务：模型会预测未来动作窗口对应的子任务序列，同时维护一个记忆缓冲区，用于记录已完成的步骤。在实际推理时，模型首先自回归生成当前应执行的子任务，再基于此子任务生成相应的动作；每当一个子任务执行完毕，它便被写入记忆，作为后续决策的上下文。
这样一来，WLA成功摆脱了“看一帧、做一步”的短视模式。它能够持续评估任务进度——哪些步骤已经完成，当前阶段应该做什么，以及接下来如何推进。这种文本意图建模方法，为执行长时程、强记忆依赖的机器人操作任务提供了清晰、可解释的高层语义支撑。
视频 1：WLA 具备推理、规划和记忆能力，能够处理长时程任务
物理动态建模：精准感知动作的环境影响
为了让自回归主干具备物理动态建模能力，WLA创新性地引入了“世界专家”与一组meta-queries。具体实现方式是，模型将meta-queries追加到输入序列之后，使其通过因果注意力机制聚合上下文信息，从而形成对环境变化的紧凑表征。
在训练阶段，世界专家以当前的视觉状态和meta-queries的隐藏表示为条件，去预测未来的视觉状态。由于这一预测目标要求模型捕捉动作序列引发的环境变化，这些隐藏表示会被约束为一种潜在的动作表征——它们不负责重建底层像素细节，而是集中编码核心的物理动态。与此同时，这些潜在动作表征也会作为条件输入，引导“动作专家”生成可执行的机器人动作。
图 3: WLA 的架构设计
这里有一个关键点：WLA在推理时并不需要显式地先生成未来图像。世界建模的信号已经在训练阶段，通过共享主干网络和meta-queries融入到动作生成过程中。因此，在实际推理时，完全可以关闭世界专家，直接生成机器人动作。这样一来，WLA既保留了世界建模带来的物理先验知识，又完全避免了传统WAM那种“先想象、再执行”的范式所带来的额外推理延迟。经过一系列系统级优化，其单次推理延迟低至40毫秒，在动态场景下实现实时控制完全不成问题。
视频 2：WLA 的推理延迟显著低于传统 WAM 方法
实验结果：仿真与真机环境全面验证
在RoboTwin 2.0与LIBERO仿真基准测试中，WLA-0模型仅激活了2B参数，且未经过任何具身预训练，其表现却异常亮眼。
跨具身迁移学习：从无标注视频中掌握新技能
最后，实验部分还考察了一个更具挑战性的问题：WLA能否从没有动作标注的视频中学习从未见过的任务？研究者将RoboTwin中的50个任务划分为45个已见过的任务和5个未见过的任务，并设置了四组对比实验：仅使用见过任务动作监督的Seen-Action基线、加入见过任务视频监督的Seen-Action+Video、加入同本体未见任务视频的+Unseen Same-Emb. Video，以及加入跨本体未见任务视频的+Unseen Cross-Emb. Video。
实验结果颇具启发性：仅加入见过任务的视频监督几乎没有带来性能提升（Clean/Rand.成功率从13.0/11.6变为11.8/12.6），基本维持不变；然而，在加入同本体未见任务视频后，成功率大幅跃升至34.4/30.0；即便加入跨本体未见任务视频，成功率也达到了28.8/27.4。以Beat Block Hammer任务为例，基线模型几乎完全失败，而加入了未见任务视频监督后，模型成功学会了抓取锤子并尝试敲击目标。这一结果充分展示了WLA在跨本体迁移学习方面的巨大潜力。
