人大北航VLA攻克机器人掉链难题：引入本体状态实现持续稳定
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
新智元报道
编辑：LRST
【新智元导读】人大与北航团队发现：机器人在动作切换时，视觉常被本体感觉「压制」而失效。他们提出GAP算法，动态削弱本体信号的训练权重，让视觉重获学习机会，显著提升机器人精准操作能力。
本体感觉信息能够提供机器人状态的实时反馈，其与视觉信息的协同被普遍认为有助于提升机器人在复杂操纵任务中的性能。
然而，近期研究在视觉–本体感觉策略的泛化能力方面报告了不一致的观察结果：有的策略受益于视觉本体觉的联合，而有的却比纯视觉策略表现更差——视觉-本体操纵策略究竟何时会「掉链子」？
近日，人大高瓴GeWu-Lab与北京航空航天大学联合团队对该问题进行了系统性研究，发现在操纵任务的运动转变阶段，视觉-本体策略中的视觉模态「失效」了！
为此，研究团队提出了基于阶段引导的梯度调整算法（Gradient Adjustment with Phase-guidance，GAP），该研究论文为机器人操纵中视觉-本体感觉策略的设计与发展提供了有价值的见解，并已被ICLR 2026接收。
项目主页：https://gewu-lab.github.io/GAP/
代码仓库：https://github.com/GeWu-Lab/GAP
论文链接：https://arxiv.org/abs/2602.12032
研究背景
随着深度学习的发展，研究者们开始将本体感觉信息（如关节位置、速度等）引入基于视觉的机器人操纵策略。视觉负责「看」，本体觉负责「感」，两者的协同被认为有助于提升策略在复杂环境中的泛化能力，让机器人不仅能在熟悉场景中稳定操作，也能在任务条件变化时灵活应对。
然而，现实却开了个玩笑。多篇研究表明，有时加入了本体信息的策略反而比纯视觉策略表现更差。
这一现象并非个例，而是在不同环境、不同任务中均有出现（图1左）。
这些发现让人困惑：视觉-本体策略究竟何时会失败？是模态融合方式的问题，还是训练过程的失衡？是在所有任务阶段都会失败，还是只在某些关键时刻掉链子？理解这一点，不仅能够解释已有矛盾，更有助于设计真正鲁棒的机器人操纵策略。
问题探究
图1：视觉-本体策略的泛化性
为了探究这些问题，来自人大高瓴GeWu-Lab与北京航空航天大学联合团队的研究者们设计了一个精巧的控制实验。他们让一个纯视觉策略执行装配任务，但在某些特定时段（仅10个时间步长），将当前动作替换为由视觉–本体策略在相同观测下预测的动作。
如图1右侧所示，结果令人惊讶：
在「向前移动」这类稳定运动阶段，这种替换几乎没有影响；
但在「定位底座」、「装配零件」这类运动转变阶段，替换策略后任务成功率明显下降。
这说明在需要视觉发挥作用的运动转变阶段，视觉–本体策略中的视觉模态「失效」了。为什么视觉会被边缘化？研究者进一步从训练优化的角度寻找答案。
他们发现，在运动转变阶段，视觉线索往往非常细小，有时甚至只是像素级的差异，而本体信号则简洁、直接。
在训练过程中，策略会本能地依赖那些能让损失更快下降的本体信号，使得本体模态在优化中占据主导地位。这种主导地位反过来抑制了视觉模态的学习，导致视觉信息在运动转变阶段被严重忽视。
核心技术
针对视觉模态在运动转变阶段被抑制的问题，研究团队提出了如图2所示的基于阶段引导的梯度调整算法（Gradient Adjustment with Phase-guidance, GAP）。核心思路是：先识别出任务中的运动转变阶段，然后在这些关键时刻动态调整本体觉信号的优化强度，为视觉模态「让出学习空间」。
图2：GAP方法架构
为了识别运动转变阶段，研究团队首先利用机械臂末端执行器的位置、朝向和开合程度来定义机器人的运动。
随后采用变化点检测算法，通过计算不同时段运动方向的一致性，将轨迹分割为一系列「运动一致阶段」，如「持续向前移动」、「稳定抓取」等。在这些阶段之间，就是机器人的「运动转变阶段」。
然而，运动的转变是连续且渐变的，简单的离散切分难以刻画该过程的平滑特性。
为此，研究进一步引入时序网络，利用本体觉信号的时序差异，预测每个时刻属于运动转变阶段的概率。
在反向传播时，GAP会根据当前时刻的转变概率，动态降低本体觉特征提取模块的梯度更新幅度。转变概率越高，本体觉的梯度被抑制得越明显，让视觉模态有机会被充分学习。
性能亮点
GAP算法的有效性在大量实验中得到了充分验证。无论是在仿真环境还是真实机器人上，无论是单臂还是双臂任务，GAP加持下的视觉–本体策略都交出了亮眼的成绩单。
可以看到，在操纵任务「移交」中，纯视觉策略难以完成精细的放置操作，而视觉-本体策略在抓取失败后忽视视觉反馈，仍按照本体的经验继续执行动作。应用GAP的视觉-本体策略则得益于两者的协同，顺利地完成了任务。
如表1所示，在多样的任务设置中，GAP不仅帮助了视觉-本体策略超越纯视觉策略，真正利用模态协同的优势，同时还超越了多种现有的基线方法。
表1：对比实验结果
研究团队同时也验证了GAP是否适用于视觉-语言-动作模型（VLA）。如表2所示，在多个任务上，加入本体觉的Octo-VP反而比纯视觉的Octo-V表现更差，而GAP的介入则彻底扭转了这一局面。
表2：VLA实验结果
研究团队同时也验证了GAP对多种常见的模态融合方式的兼容性（表3），并观察了GAP预测的运动转变概率与任务RGB图像和视觉不确定性的关系（图3），以提升方法的可解释性。
表3：模态融合方式实验
图3：运动转变概率可视化
结语
从多篇研究的反直觉现象一步步深入，该研究揭示了运动转变阶段中被抑制的视觉模态学习。
研究团队据此提出了GAP算法，使得两种模态在机器人操纵任务中更好地协同。真正的多模态具身智能，必须建立在对模态之间动态关系的深刻理解之上。
而GAP通过运动转变阶段提供了一种分析框架，为具身智能中的高质量多模态融合与交互提供了全新的视角。
参考资料：
https://arxiv.org/pdf/2602.12032
相关攻略
中国人工智能基础模型行业正步入商业化加速阶段。摩根大通认为，随着模型质量持续改善并开始转化为更快的需求增长，大模型能力将决定定价权，较强与较弱公司之间的差距将日益扩大。据追风交易台，3月27日摩根大
今年3月，AI圈最热闹的话题莫过于“Token”与“龙虾”。这不是代币与餐桌上的海鲜，而是AI时代的计价单位，以及一批以Open Claw为代表的AI操作系统，它们像当年的Windows一样，试图成
AI正在走向“为了采取正确行动而思考”。编译整理｜莘歆来源 | 盒饭财经（ID：daxiongfan）头图及封面来源 | 网络及即梦制作在X（推特）上宣布离职后的22天，林俊旸发了一篇长文。3月2
文｜任倩具身数据层的全球竞赛正在迅速升温。NVIDIA Research在2026年发布EgoScale数据与训练框架，在Ego-centric人类操作视频上训练VLA模型，用 20,854小时带动
编辑 | 王凤枝谷歌新算法引发股价大跌之后，存储行业给出了明确的回应：反应过度了。事情的起因，是谷歌研究院刚刚发布了一项名为TurboQuant的新技术。这项技术的亮相，确实让原本火热的内存芯片市场
热门专题
热门推荐
猎豹浏览器免安装网页版入口是https: web lemur-browser com，具备界面简洁响应迅速、多端同步无缝衔接、安全防护层级丰富、文档处理能力突出、资源兼容性广泛覆
据昆仑万维集团消息，3月27日下午，昆仑万维（300418 SZ）旗下天工AI顺利举办“世界模型前沿技术与天工AIGC全家桶大模型生态”专场发布会，携Matrix-Game 3 0、SkyReels
本报（chinatimes net cn）记者石飞月 北京报道大模型未来会走向哪里？OpenClaw的爆火似乎为全行业指明了一个方向，但接踵而至的舆论质疑，又让这个答案变得扑朔迷离。3月27日，在2
Anthropic一款尚未发布的新AI模型因数据泄露意外曝光，引发市场对AI颠覆网络安全行业的担忧再度升温，网络安全板块股价周五盘前全线下挫。据《财富》杂志报道，Anthropic正在开发并已开始向
3月初，腾讯在深圳总部楼下设立“龙虾站”，引发千人排队尝鲜。OpenClaw掀起的“全民养虾”热潮，在短短一个月内让更多人看到了AI Agent深入业务场景的价值，随即推动Token调用量大规模增长