游乐游手机版
首页/AI热点日报/热点详情

上海创智学院与上海交大联合提出MINT:VLA从模仿轨迹迈向理解意图

类型:热点整理2026-07-15
机器人视觉语言动作模型(VLA)面临组合泛化与小样本迁移难题。上海创智学院与上海交大提出MINT,通过频谱分解动作词元化,将轨迹解耦为抽象意图词元与执行细节词元,实现“意图→执行”分层推理。仅需一次演示即可迁移新任务,在LIBERO等基准上全面超越现有方法,真机实验成功率提升29%。

机器人视觉语言动作模型(VLA)近来备受关注,无论是叠衣服、倒咖啡还是制作咖啡,各种复杂操作都能轻松完成。然而,这些演示视频可能具有误导性——目前市面上大多数VLA本质上仍是“展台机器人”。在固定的场景、桌面布局和光照条件下,它们确实表现惊艳。但一旦环境稍有变化,比如物体位置移动几厘米、背景颜色改变或光照角度调整,这些模型的性能就会大幅下降。更棘手的是,要让它们学会新任务,往往需要从头收集数百甚至上千条示教轨迹。

然而,这些只是表面挑战。真正阻碍VLA走向实际应用的是两个更深层次的问题。首先是组合泛化能力——模型在学会A、B、C三个独立技能后,能否自动组合它们,完成A→B、B→C这样的长程任务?其次是小样本迁移能力——学习新技能是否必须依赖成百上千条演示?能否像人类一样,仅凭一次或两次观察就能掌握?

问题的根源在于,当前主流VLA的训练范式过度依赖对原始轨迹的模仿,缺乏对“轨迹背后意图”的显式表征与推理能力。没有这一抽象层,泛化和迁移便无从谈起。

针对这一困境,来自上海创智学院、上海交通大学和智动未来的研究团队,提出了一种名为MINT的新方案。



MINT的核心思想可概括为:机器人不应仅模仿动作轨迹,而应学会分层次理解两件事——第一,在何种情形下应触发何种抽象行为意图;第二,如何根据当前场景动态执行该意图。一旦VLA能显式理解和表征“抽象行为意图”,长期困扰其泛化性与迁移性的问题,便能获得全新的解决方案。

频谱分解动作词元化



MINT的第一项关键技术源自一个经典的信号处理视角:动作轨迹本质上就是时间信号,天然具备频谱结构。基于这一洞察,团队设计了名为SDAT的模块,将动作表征映射到多个不同尺度的词元上。

最粗粒度的词元(S1尺度)主要负责捕捉低频信号,对应全局性的行为意图,论文中称之为“Intent Token”。更细粒度的词元(S2、S3……直至SK尺度)则逐步补充高频执行细节,论文中称为“Execution Tokens”。从S1到SK,词元数量逐渐增多,形成金字塔形的表征体系。

那么,不同尺度的词元如何与不同频段的信号对应?MINT采用了三个关键技巧。残差学习——细尺度词元仅学习粗尺度词元未捕捉到的残差信息。由粗到细的多尺度重建——每个尺度的前缀词元集合均用于轨迹重建,确保信息尽可能完整。频域重建——MINT在频域空间计算轨迹重建损失,从而显式分离低频与高频信号,并按需融入不同尺度的词元中。

最终效果是:粗尺度词元专注于学习轨迹的大体形态,细尺度词元则专注于补充执行细节,两者各司其职。

策略学习:“意图→执行”的逐步推理



在策略层面,MINT采用分层生成方式——“Intent → Execution”。首先预测Intent Token,然后逐层生成Execution Tokens,最后将所有多尺度词元解码为连续的机器人控制轨迹。

这一由粗到细的过程,本质上是在词元空间中进行分步推理:先确定要执行的行为意图,再补充实现该意图所需的控制细节。相比一步到位生成完整轨迹的方式,这种推理方法不仅提升了学习效率,在长程任务中的执行稳定性也明显更优。

策略迁移:只需一次演示



MINT最值得关注的部分来了。既然Intent Token表征的是抽象的“行为意图”,那么它能否直接替代语言,作为任务的规范化描述?答案是肯定的。

这意味着,对于全新任务,模型无需重新训练。只需提供一条示教轨迹,MINT即可从中提取对应的Intent Token,并将其直接注入策略生成过程。随后,模型能在完全相同的推理框架下,自动生成所需的执行细节,完成这个从未见过的任务。由于注入的是更抽象的意图而非整段轨迹细节,这种迁移方式在跨任务、跨场景时更加稳定。论文将这一能力称为“One-shot Transfer via Intent Token Injection”——这也是MINT最重要的创新之一。

实验结果

一、基准任务性能:全面超越当前最优水平





在LIBERO、CALVIN和MetaWorld三个基准测试中,MINT全面超越当前主流方法。在LIBERO上,参数量仅为30M的MINT-30M(不含预训练VLM)平均任务成功率达97.1%,大幅领先SmolVLA的88.8%;参数量4B的MINT-4B(含预训练VLM)平均成功率达98.3%,同样超越π₀.₅的96.9%。在CALVIN上,MINT-4B在长序列任务中的表现尤为突出,显著优于之前的SOTA。在MetaWorld的“极难”类任务上,MINT-4B的成功率更是接近π₀的三倍——这一差距相当显著。

二、泛化性:对抗分布外强扰动



在更强调分布外鲁棒性的测试中,研究团队在LIBERO上训练,随后在分布更广的LIBERO-Plus上评估,考察了相机视角、初始姿态、光照、背景纹理与视觉噪声等多类强扰动。当相机视角改变时,MINT的性能下滑幅度明显小于OpenVLA、π₀.₅等主流方法。而面对背景、布局、光照、视觉噪声等干扰,MINT仍维持了84.6%至96.6%的高任务完成率。这些结果印证了研究团队的判断——“行为意图认知”对提升VLA泛化性确实起到了关键作用。

三、技能迁移:一次足矣





当前主流的迁移方法,无论是通过微调还是重扩散,在面对单条示教轨迹时几乎都寸步难行。但MINT通过Intent Token Injection,却能稳定完成新任务和新场景的迁移。对于全新任务,MINT仅凭一条示教轨迹,即可达到90%的任务成功率——相比之下,传统微调迁移的成功率仅为42%。更值得关注的是,MINT还展示了组合泛化的潜力。例如,训练中模型仅见过A和B两个独立技能,但通过一次演示,MINT就能直接完成A→B这样的组合任务。这种能力在当前的VLA中几乎是独一无二的。

四、真机验证:物理世界的高效落地

研究团队进一步在真实的Piper-X 6DoF机械臂上进行了真机实验。训练任务包括抓放香蕉、堆叠积木、插马克笔等,每个任务仅提供20条示教轨迹供模型后训练。测试时,还加入了一个从未见过的叠杯子任务,以检验模型的零样本泛化能力。





结果非常直观:MINT-4B的整体成功率相比π₀.₅等主流VLA模型提升了29%;在叠积木、插马克笔等需要精确操作的任务中,MINT-4B的表现明显更强;更有意思的是,MINT能够将“堆叠”这一抽象意图,从叠积木任务直接迁移到从未见过的叠杯子任务上——而π₀等方法,在这个未见任务上几乎无法完成。

这些真机实验的结果进一步印证了一个事实:MINT学到的,已不仅仅是轨迹本身,而是真正可迁移的行为结构。

来源:https://www.163.com/dy/article/KV2KCM1J0511AQHO.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。