在探讨具身智能当前困境时，一个显而易见的类比浮现：它正经历的难题，与多年前自动驾驶被困在原地时的局面几乎如出一辙。

过去数年里，自动驾驶行业已用实际发展验证了一条真理：谁能率先将真实物理世界系统性地纳入统一的数字空间，谁就能抢到规模化落地的入场券。

但坦率地说，这条路在最初并未被想得如此透彻。

早期的纯视觉多相机方案中，每个摄像头各自独立运作——前摄像头负责前方，侧摄像头负责侧面，各自输出检测结果，最后简单拼接后传递给规划系统。问题在于，拼接出的结果仍是图像坐标系中的画面，而非物理空间里的真实位置。一旦视角变化、光照变暗或场景切换，效果便急剧下降。数据积累得越多，这种各自为政的混乱局面反而愈演愈烈。

BEV——鸟瞰视角，正是那把关键的钥匙。它真正改变行业的，并非仅为工程师绘制了一张“俯视图”，而是将多相机、多传感器、多任务的输出，全部压缩进一个规划系统可直接利用的物理坐标系中。自动驾驶由此完成了一次决定性的跃迁：从“在图像中猜测世界”，进化为“在物理空间里理解世界”。

如今，具身智能正站在同一个十字路口。机器人的数据来自不同的相机、不同的硬件本体、不同的坐标系、不同的操作者。缺乏统一的空间，数据堆叠越多就越混乱——这不是规模化，而是熵暴。

跨维智能此次提出的Dexterity-BEV，正是要在这一领域重现这种重构：将视觉输入、机器人状态以及目标动作，全部对齐到同一个参考系中，使机器人数据首次真正具备可规模化训练的空间基础。这可以被视为BEV方法论系统性地向具身智能数据基建层推进的一次重要尝试。

• 论文标题：Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning
• 论文地址：https://arxiv.org/abs/2606.02274
• 项目链接：https://hnuzhy.github.io/projects/Dex-BEV/

无序的规模化，只会演变为熵暴

客观地说，当前具身智能行业确实一片火热。机器人硬件不断迭代，新数据集接连发布，遥操作系统、人类第一人称视角数据、仿真与生成数据都在快速生长。显然，行业正步入一个数据高速扩张的阶段。

文本可以被统一组织为token，图像也有相对稳定的数据范式，但机器人数据截然不同。机器人数据天生异构——以一条操作数据为例，可能同时包含多视角图像、深度信息、相机参数、关节状态、末端轨迹、语言指令、任务成败反馈等多个维度的信息。更麻烦的是，不同机器人硬件规格各异，数据集坐标系不统一，相机视角存在差异，操作者的动作节奏也五花八门；此外还有UMI、Egocentric等全新采集范式不断涌现。人类的身高、臂展、视角和动作习惯，本质上就像一种新的“异构本体”，进一步放大了数据间的差异。

这就引出了一个更棘手的问题：具身智能面临的并非单一的“数据数量问题”，而是一个双重挑战。一方面，高质量的真实交互数据依然稀缺且昂贵；另一方面，已采集到的数据又高度异构，难以互通、难以统一训练、难以跨硬件迁移。

这才是具身智能正面临的现实：行业既需要更多数据，也需要一种能将数据转化为可训练、可迁移、可复用资产的底层秩序。如果缺少统一秩序，数据扩张就不是正向规模化，只会走向熵暴。

Dexterity-BEV：为具身智能装上“统一空间坐标系”

Dexterity-BEV的思路，说得直白些，有点“狠”。它不搞花哨设计，核心目标就是将多来源、多视角、多硬件的机器人数据，全部对齐到一个统一的BEV三维空间里——一个俯视的、公共的参考系。

这并非简单地将多视角图像拼接，也不是构建一个笨重的三维重建系统。Dexterity-BEV的关键在于构建一个统一的BEV对齐坐标系，让不同相机捕捉到的物体、空间关系以及操作目标，都能被放入同一个参考空间。

可以将其理解为一个“虚拟正交相机”。无论真实相机安装在何处、拍摄角度如何、机器人从哪个方向观察，最终数据都会被转化到同一个俯视空间中。这样一来，同一个物理任务就不再是一堆互不兼容的二维图像，而是同一物理世界中的可学习表达。

这一步的意义十分重大。过去许多VLA模型看似学会了任务，但一旦相机视角变化、机器人基座移动、场景布局改变，性能就会明显下降。原因很简单：模型学到的并非物理规律，而是某个固定视角下的图像模式。Dexterity-BEV要做的，就是把模型从“看图猜动作”拉回到“在三维空间里理解任务”。

它并未放弃2D大模型，而是为2D大模型补上3D坐标

这也是Dexterity-BEV最值得讨论的地方。

具身智能行业目前面临一个两难：纯2D VLA拥有语义能力，但空间感知不足；重型3D方法具备几何信息，但成本高昂、训练困难，且难以复用已有的2D VLM能力。

Dexterity-BEV并没有选择推倒重来。它保留了多视角RGB输入，继续复用成熟的二维视觉编码器和视觉语言模型，同时通过顶点图和顶点谱，为每个视觉token注入三维空间位置信息。

换句话说，它不是重新打造一个昂贵的3D系统，而是在已有视觉模型体系上补充了机器人最缺乏的东西：空间坐标。对于有深度信息的设备，它可以利用深度图和相机标定生成像素级三维顶点表示；对于更常见的纯RGB相机，则通过顶点谱机制，为每个像素构建一组三维位置假设，再编码进视觉特征中。

这就像为二维图像接上了一套三维物理骨架。语义能力得以保留，空间理解得到补足，工程成本也未被推高。这才是能够真正scale的3D方案。

不仅对齐视觉，还对运动作

如果Dexterity-BEV仅仅将图像对齐到BEV空间，那还不够。机器人数据真正的难点在于：动作也不统一。

不同机器人硬件差异巨大。一台Franka机械臂、一个双臂平台、一个半人形机器人，即使执行相同的任务，关节轨迹也完全不同。如果模型直接学习关节角度，基本上就被硬件绑死了。Dexterity-BEV的处理方式，是将动作从具体关节中解放出来。

它不让模型仅学习“某个关节转多少度”，而是学习末端执行器在统一BEV空间中应该移动到哪里、以什么姿态接近物体、如何移动、如何完成任务。

更关键的是，这些末端执行器位姿并非随意表达，而是进一步对齐到前面提到的统一BEV对齐坐标系中。这就形成了一个非常完美的闭环：视觉输入在BEV空间里，机器人状态在BEV空间里，目标动作也在BEV空间里——输入和输出首次被放入同一个物理坐标系统。这才称得上真正的感知—动作对齐。

通俗地说，Dexterity-BEV为不同机器人、不同相机、不同动作提供了共同的“空间标尺”。过去各说各话的数据，现在终于能用同一种物理语言进行交流。

时间对齐：消除无意义的节奏差异

具身数据还存在第三种混乱：时间。

同一个任务，不同操作者完成的速度不同；不同机器人执行速度不同；有人中间停顿，有人动作连贯。这些差异很多时候并不反映任务本质，但会给模型训练增加不必要的难度。

Dexterity-BEV在数据管线中加入了跨轨迹时序对齐机制，对不同机器人、不同操作者、不同数据集中的轨迹进行时间尺度规整。它并非要抹掉任务动作结构，而是尽量减少“谁操作快、谁操作慢”这种无意义差异，让模型更专注于学习任务真正的关键动作顺序和空间关系。

综上所述，Dexterity-BEV所做的不是单点优化，而是一套系统性的数据基建：空间对齐、动作对齐、时序对齐、数据管线对齐。

Dexterity-BEV实测验证：强大的泛化能力

实验设计也颇具匠心。Dexterity-BEV并非只在固定场景中刷一个好看的成绩，而是专门测试那些传统VLA容易翻车的情况：相机视角变化、机器人基座扰动、场景布局变化、跨机器人平台迁移。

在仿真环境中，Dexterity-BEV在LIBERO和RoboTwin 2.0上，与π0、X-VLA等强基线进行了对比。尤其在相机视角、机器人基座和场景布局受到大幅扰动的设置下，传统2D VLA方法成功率明显下降，而Dexterity-BEV仍能保持稳定表现。

在真实机器人上，Dexterity-BEV也覆盖了四类双臂平台和多个长程任务，包括折叠纸盒、叠衣服、舀爆米花、递书等。这些任务并非简单的“抓起来放过去”，而是涉及刚体、柔性物体、颗粒物、双臂协同，甚至与人的交互——更贴近真实世界，也更能检验模型到底是在“记忆画面”，还是在“理解物理”。

实验结果揭示了一点：当机器人数据被统一空间所组织，模型的泛化能力才能真正获得基础。

BEV进入具身智能，打通Scaling关键路径

从行业视角来看，Dexterity-BEV最重要的意义，不仅是模型效果的提升，更像是一个标志：具身智能正从“堆数据阶段”进入“建数据秩序阶段”。

过去，行业热衷于讨论谁采集了更多小时的数据、谁拥有更多机器人、谁完成了更多任务。但如果这些数据无法统一训练、不能跨硬件迁移、无法复用到新场景，那么数据规模越大，反而越像是一座座孤岛。

Dexterity-BEV提供了另一种思路：先建立统一的物理空间，再谈数据规模化。这与自动驾驶当年BEV范式带来的变革非常相似。BEV让自动驾驶从多相机图像感知走向统一空间理解；如今，Dexterity-BEV正尝试让具身智能从杂乱的机器人轨迹，走向统一的感知—动作物理表达。

如果说过去的具身智能还在“看见世界”，那么BEV进入之后，它开始有机会“组织世界”。这可能是具身模型真正scale之前，必须补上的一层数据基建。

具身智能的下一个阶段，不会仅仅是模型更大、数据更多、机器人更贵。真正决定行业能否加速奔跑的关键，在于数据能否被统一、动作能否被迁移、经验能否跨硬件复用。

Dexterity-BEV的价值正在于此：它不是只做一个更强的策略模型，而是试图为具身智能建立一套可规模化的数据秩序。

从这个角度看，BEV杀入具身智能，并非一个普通的技术点，而是一次关键的“补课”。自动驾驶曾尝到的BEV红利，现在轮到机器人行业了。

而跨维智能此次所做的，就是在将具身智能真正推上Scaling快车道之前，先把路修好。