游乐游手机版
首页/AI热点日报/热点详情

具身智能空间视觉难题被顶会最新研究解决

类型:热点整理2026-07-18
针对VLA模型因捷径学习导致的空间泛化脆弱性问题,招商局研究院提出混合动态数据采集策略。通过引入移动视角数据打碎相机-基座等三重隐性耦合,结合多固定视角数据,在多种主流架构上综合性能最高提升26 8%。该工作被IROS2026接收。

VLA大模型的“眼睛”如果稍微抖动一下,会发生什么?答案是,操作成功率可能直接腰斩。这不是危言耸听,而是摆在所有从业者面前的现实难题。招商局先进技术研究院下属的实验室提出了一个全新的数据采集思路:让相机“动”起来。实验证明,这个看似简单的改变,能以极低成本破解VLA模型的空间泛化瓶颈,并且效果在多种主流架构上都能复制。

近两年,VLA模型无疑是机器人操作领域最炙手可热的方向。从英伟达的Gr00t系列到Physical Intelligence的π系列,这些模型展现出的流畅动作和复杂操作能力令人印象深刻。

但一个让所有从业者都头疼的问题也随之浮出水面:这些模型实在是太“脆”了。你把训练好的机器人从实验室A搬到实验室B,甚至只是不小心碰了一下相机——画面里桌子的相对位置变了几个像素——模型的表现可能瞬间崩盘。

这可不是个别现象。国内外多个团队的研究,包括斯坦福-谷歌联合项目的Generalization-Gap以及同济-复旦等机构联合研究的LIBERO-Plus,都得出了类似的结论:VLA模型在标准评测中动不动就是90%以上的成功率,可一旦相机视角发生轻微变化,这个数字就能直接跌到30%以下。

问题到底出在哪?招商局先进技术研究院下属狮子山人工智能实验室的研究团队(以下简称“研究团队”)在新论文中给出了精准的诊断与解决方案:根源在于捷径学习(Shortcut Learning),而解决方案则是混合动态数据采集策略(Hybrid Dynamic Data Collection)。这篇论文已经被IROS 2026接收。


三重“隐性耦合”:VLA不是在学习空间关系,而是在背位置

研究团队识别出VLA模型普遍存在的三种捷径学习模式,这些模式的本质都是物体之间相对位姿关系的“虚假相关性”:

耦合一:相机-基座耦合(Camera-Base Coupling)

模型并没有真正学会“桌面上笔在哪里”,而是记住了“笔在画面右下角1/4处”这种固定规律。一旦相机位置变动,画面中的相对坐标全变了,模型立刻“失忆”。这是从业者遇到的最普遍的问题:只要相机视角与训练数据集中的视角不同,任务成功率可以直接暴跌一半,从85%降至43%。

耦合二:相机-物体耦合(Camera-Object Coupling)

模型依赖特定角度来识别物体。从不同角度看到的同一个物体,对模型来说可能完全是“两个不同的东西”。

耦合三:物体-位置耦合(Object-Position Coupling)

这是最隐蔽的一种。即使你用了多视角数据,如果笔和笔筒的相对位置始终固定,比如笔筒总是在笔的正右方10cm处,模型就会学到“往右边10cm的地方放”这个捷径,而不是真正理解“放进笔筒”的语义。

以第三种耦合为例,研究团队设计了这样的实验:针对“抓起笔放入笔筒”这个VLA任务,在数据采集时故意让笔筒在桌面上的位置固定不变。训练后测试发现,当笔筒处于该固定位置时,任务成功率能达到95%;但只要将笔筒平移一个直径的距离,成功率就从95%暴跌到了72%。


这说明模型根本没有真正理解“把笔插进笔筒”这个动作,它只是在重复执行“往那个固定坐标移动”的操作。这才是VLA的致命软肋:你以为它“看懂了”,其实它只是“记住了”。

“运动之眼”:一个以移动视角数据为核心的新范式

既然问题出在数据中的虚假相关性上,那就从数据入手——让相机获得各种视角的VLA数据。在不断尝试与总结中,研究团队提出了层次化数据解耦策略(Hierarchical Data Decoupling),将数据采集分为三种相机配置:固定视角(Fixed View)、多固定视角(Multi-Fixed)与移动视角(Moving View)。


为什么移动视角有效?研究团队认为,相对于多固定视角,移动视角的核心优势在于同等数据量下提供了更稠密、近似均匀的多视角采样。当相机沿连续轨迹运动时,通过提供连续的视角变化,能彻底打碎上述三种耦合关系。

当相机在每一集数据中都沿着不同轨迹运动时,画面中的背景、物体观察角度、相对位置在帧与帧之间持续变化——模型再也无法依赖任何固定的视觉规律来“作弊”,只能老老实实学习真正的空间几何关系。


研究团队在真实的机器人平台上实现了这一范式。系统由两条机械臂协同工作:So-101操作臂负责执行抓取任务并配备腕部相机采集操作视角,另一台求之(Airbot)机械臂则搭载环境相机,在进行移动数据采集时充当6自由度的“运动之眼”。它以0.05m/s的线速度沿轨迹连续运动(平均视角角速度0.198 rad/s),从不断变化的角度观察操作过程。所有数据以30FPS的连续MP4视频格式录制,通过开源的LeRobot数据采集管线完成。


混合动态数据采集策略:结合利用多种数据的优势

研究团队在初步实验中发现,如果单独使用移动视角数据,反而会带来新问题:视觉输入方差过大,策略难以收敛。例如,Gr00t模型在纯移动视角数据下的成功率仅有54.8%。另一方面,纯多固定视角数据的收敛性则好得多(成功率80.5%),而且也能提供一定的数据多样性。


因此,最终的解决方案是将多固定视角数据与移动视角数据按1:k的比例混合,形成互补。


经过系统搜索,团队在Gr00t模型上找到了最优配比(k = 3),取得了89.0%的最佳表现。不同模型的最优比例有所差异,但大多是以多固定视角数据为主,结合部分移动视角数据组成混合数据集。


混合视角数据主要解决相机位姿相关的耦合问题。针对其他耦合,研究团队还同时在数据采集中系统性地注入多维度多样性,确保任何两个物体的相对位姿没有固定关系,从根本上消除了模型可以利用的虚假相关性。

“运动之眼”的跨架构与跨任务普适性

研究团队将混合数据方案应用于ACT、Diffusion Policy、π0等主流VLA模型,发现所有架构都从中受益——各类模型的综合性能最高提升了26.8%。这充分证明,空间泛化脆弱性和捷径学习是VLA的普遍特征,并非某个模型的个别缺陷,而混合数据方案是通用的解法。


更令人兴奋的是,这项实验揭示了一种全新的能力组合方式:空间感知能力可以跨任务“借用”。想象一个场景:你希望机器人能从任意角度抓取桌上的多个物体,但为每个物体都采集多视角数据,成本实在太高了。而这项研究给出的信号是,或许不需要这么做。

来源:https://www.163.com/dy/article/L181D7G90511ABV6.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。