最新RSS 2026年度机器人操控论文报告大全第一辑
时间:2026-07-14 12:03
RSS2026在悉尼开幕,主会接收约160篇论文。操作环节展示9项突破,趋势是摆脱数据依赖,迈向少样本强泛化。代表成果包括一次演示合成数据、从人类视频学习、触觉对齐、手术机器人泛化、触觉视觉融合、水下零样本迁移、VLA数据配比、安全纠偏及触觉接地等。
7月13日,2026年机器人领域顶级学术会议RSS(Robotics: Science and Systems)在澳大利亚悉尼正式拉开帷幕。
今年的RSS 2026,主会最终接收并放入最新日程的论文仅有160篇左右。这个极低的接受率,足以说明RSS的含金量一如既往地高——每一篇入选的工作,都经得起现场几百位顶尖研究者严苛的推敲。
在简短的开幕式之后,紧跟着的是“Manipulation 1: World Models & Memory”论文报告环节。来自全球顶尖实验室的研究者们,集中展示了机器人操作领域的最新突破。从双臂协同、手术辅助到水下灵巧操作,一个共同的趋势正在浮现:机器人正在摆脱对海量标注数据的依赖,迈向“少样本、强泛化”的新阶段。
研究者们不再死磕高昂的遥操作数据采集,而是各显神通。有的从人类视频里“白嫖”数据,有的用触觉手套实现跨物种对齐,还有的在推理时加装“安全护栏”。
以下是从该环节精选的9篇代表作,带你一文看懂机器人如何以极低的成本,学会干最精细的活。
**打破“数据匮乏”,让机器人向人类“借”经验**
既然真机数据难以海量采集,研究者们自然将目光投向了最丰富的资源库——人类的日常行为。但问题在于,如何跨越“人与机器”的结构鸿沟,直接提取知识?
**一次演示,生成千条训练数据**
双臂灵巧操作一直是机器人领域的硬骨头。两只手的协同远比单手复杂,而高质量的演示数据又极其昂贵。现有的方案往往陷入两难:遥操作采集数据可靠却费时费力,仿真合成效率虽高却难以跨越虚实鸿沟。华南理工大学的研究团队试图打破这一僵局。
他们提出了BiDemoSyn框架,核心思路是将双臂操作任务拆解为“不变协调块”与“可变物体适应”两部分。前者负责捕捉双臂间不随任务改变的协同模式,后者则负责根据具体物体的形状和位姿进行灵活调整。基于这种解耦,该框架通过视觉引导对齐和轻量级轨迹优化,仅需一段真实世界的示范视频,便能在数小时内自动合成数千条物理可行的多样化训练数据。
在六个双臂任务的实验中,用BiDemoSyn数据训练的策略不仅能鲁棒泛化到新物体的位姿和形状,还实现了零样本跨本体迁移。这意味着,即便更换机器人平台,这套系统也能直接上手工作。我们离“教一次就能干活”的实用双臂机器人,又近了一步。

**看人类视频,机器人学会了用刀切苹果**
互联网上充斥着人类切苹果、倒饮料、叠杯子等操作各种工具的视频。但由于人类手部与机器人灵巧手在结构上差异巨大,这些视频的训练价值长期遭到忽视。这种“具身鸿沟”让直接从人类视频中预训练变得极其困难。上海人工智能实验室和清华大学的研究者决定正面攻克这一难题。
他们设计的DexImit是一个四阶段的自动化生成管线:首先从任意视角重建精度极高的手-物交互三维结构;接着对复杂任务进行子任务分解与双臂调度规划;然后合成与人类演示高度一致的机器人轨迹;最后通过综合数据增强确保其能零样本部署到真实世界。
这套流程的革命性在于,它能直接吃透互联网上的任意人类操作视频,甚至AI生成的视频。从工具使用到精细操作,当灵巧手不再需要从头采集昂贵的训练数据,机器人“学会动手”的门槛被大幅降低了。

**触觉手套教机器人拧灯泡,无需配对数据**
仅需人类戴上触觉手套演示一次,机器人便能掌握拧灯泡的技巧——这在以往简直是天方夜谭。穿戴设备采集的人类触觉信号直观丰富,但如何将其迁移到传感器和本体结构截然不同的机器人上,一直是个痛点。现有方法大多要求设备高度一致且需要成对的训练数据,严重限制了扩展性。
来自UC Berkeley和Meta等机构的研究者提出了令人耳目一新的TactAlign:用整流流(rectified flow)将人类和机器人的触觉观测映射到同一个共享潜在空间。最关键的是,这个对齐过程不需要配对数据集、人工标注或特权信息。对齐的“锚点”直接来源于手物交互中自然产生的伪配对。简单来说,无论是人手还是机械手,在抓取同一物体时,其物理交互模式必然存在某种共性。
在接触密集型任务上,TactAlign显著提升了人机策略的迁移效果。在拧灯泡这种高灵巧任务中,仅需不到五分钟的人类触觉数据,就成功实现了零样本迁移。

**跨越“虚实与场景鸿沟”**
解决了数据来源,下一个难题是“环境突变”。在仿真里学得好好的,到了真实世界就翻车;在实验室里能抓水杯,到了水下或手术室就失控。如何让机器人拥有抗干扰的泛化能力?
**手术室里,机器人学会了看眼色行事**
手术机器人面临的环境远比工厂流水线复杂:组织会变形、视野会遮挡,任何一个小失误都可能致命。传统手术机器人严重依赖多相机系统和海量演示数据,导致技术落地异常困难。对此,德国国家肿瘤疾病中心的研究团队给出了一个更轻量的答案。
他们提出了一种监督式混合专家(MoE)架构,能像插件一样叠加在任意自主策略之上。令人惊讶的是,仅配合立体内窥镜图像作为唯一输入,叠加MoE后的轻量级Action Chunking Transformer仅需不到150条演示数据,就能学会复杂的“肠道抓取与牵拉”长时序协作任务。在此过程中,机器人不仅要读懂外科医生的视觉提示,准确抓取可变形组织,还要保持稳定的牵拉。
更值得关注的是其泛化表现。面对新场景,通用视觉-语言-动作模型完全失效,标准ACT也频频掉链子;而MoE增强版本不仅在弱光、遮挡及全新抓取位置等干扰下保持稳健,还成功在离体猪组织上实现了零样本泛化,甚至完成了体内猪手术的初步验证。这无疑为手术机器人的临床落地释放了强烈的积极信号。

**触觉+视觉:让机器人摸得准、刮得稳**
使用工具看似简单,实则需要解决“用哪里”(语义理解)和“用多大力”(物理精度)两个层次的挑战。当前的视觉-语言-动作模型擅长前者却在力控上捉襟见肘,而纯触觉策略虽精度高却不够通用。更棘手的是,大规模采集真实触觉数据的成本极高,且仿真与真实传感器数据之间存在复杂的非线性变形,导致零样本迁移几乎难以实现。
新加坡A*STAR和NUS的研究团队提出了Semantic-Contact Fields(SCFields),将视觉语义与密集接触估计融合到统一的三维表示中。他们设计了一个两阶段的Sim-to-Real学习管线:先在大规模仿真数据上预训练接触先验,再用几何启发式和力优化在少量真实数据上进行伪标注微调。
最终,这个力感知的表示被送入扩散策略作为观测输入。实验证明,SCFields能在未见过的工具实例上实现类别级泛化,大幅超越纯视觉和原始触觉基线方法。用仿真批量学、用真实数据精调,正在成为触觉操作的新范式。

**水下抓取,不用下水采数据**
水下机器人操作面临着独特困境:水体会导致光线散射和颜色严重失真。如果要在多样化场景中采集水下演示数据,不仅需要专业潜水设备和人员,成本更是天文数字。斯坦福大学和哥伦比亚大学的研究者想到了一个巧妙的迂回策略:在水上教,到水下用。
UMI-Underwater系统包含一种基于深度信息的可供性表示。由于深度图在不同光照和水质条件下远比RGB图像稳定,它顺理成章地成为了弥合陆地与水下域间差距的“通用语言”。系统在陆地手持演示数据上训练模型,通过几何对齐即可零样本部署到水下。同时,该系统还配合了一个自监督数据采集管线,让机器人自主在水下试错并记录成功案例。
泳池实验显示,该方法在水下抓取性能和鲁棒性上全面超越了纯RGB方法,甚至能泛化到仅在陆地数据中间出现过的物体。海洋探索的自动化大门,正在以更低成本的方式徐徐打开。

**重塑“底层逻辑”,用机制为模型兜底**
除了数据和环境,大语言模型的架构直接套用在机器人上并不完美。研究者们开始回归机器人的物理本质,探寻最优的数据配比、控制闭环与安全机制。
**VLA模型该用什么数据?89个策略揭晓答案**
视觉-语言-动作(VLA)模型是当前通用机器人策略的主流架构,但在共训练的数据配比上一直缺乏系统性指导。除了机器人的本体数据,到底该掺杂视觉-语言数据、跨本体数据、人类视频,还是离散动作token?Meta AI的研究团队用一场大规模实证研究给出了定论。
这项研究规模惊人:利用4000小时操作数据和5000万视觉-语言样本,训练了89个VLA策略,并进行了超过六万次测试。结论非常清晰:视觉-语言数据和跨本体机器人数据堪称“黄金搭档”,两者联合共训练能显著提升模型对分布偏移、未见任务以及自然语言指令的泛化能力;相比之下,离散动作token则收效甚微。
研究还发现,仅用机器人数据训练会严重退化大模型的视觉语言理解能力,但加入共训练数据后即可有效恢复。这些翔实的结论,为社区构建下一代通用机器人策略提供了宝贵的“数据菜谱”。

**两次演示、九成成功率:把机器人“滑”进安全区**
机器人操作最怕遇到突发状况:物体位置变了、角度偏了或受到外界扰动。此时,仅靠几次演示训练出来的端到端策略几乎必然会“掉出分布”,进而做出不可预测的危险动作。香港科技大学的研究团队提出了一种新范式:与其死磕数据,不如在推理时主动把系统“拉回”安全区。
SID框架的核心是一个以物体为中心的运动场。该运动场通过学习规范化的演示,能在机器人偏离正常轨迹时提供大幅度的纠正运动,将系统逐步“滑”回可靠的操作区域。一旦接近目标,运动场会自然衰减,交由轻量级的自我中心执行策略完成精细操作。
这种“全局粗调+局部精调”的解耦设计,让SID在仅有两次演示的极限条件下依然稳健。在六个真实世界任务中,它在分布外初始条件下依然能保持约90%的成功率。这启示我们:少样本操作的瓶颈或许不在于策略不够强,而是缺乏显式管理分布偏移的机制。

**让灵巧手真正“感知”接触:从多点触觉到动作接地**
多指灵巧手的接触密集型操作始终是机器人领域的一大难题,这类任务的成败高度依赖于多个接触点的持续演化,而这些状态对物体几何和滑移极为敏感。以往的研究大多把触觉当成“额外输入”,既不显式建模接触状态,也忽视了动作策略与底层控制器的动力学交互,导致策略给出的目标往往无法在物理世界执行。
来自UCSD、Brown和Sony AI的研究团队提出了Contact-Grounded Policy(CGP)视觉-触觉联合策略框架。该框架包含两个核心组件:其一是条件扩散模型,用于预测机器人状态与触觉反馈的耦合轨迹;其二是可学习的“接触一致性映射”,它能将上述的联合预测直接转化为柔顺控制器可执行的目标状态,从而确保控制系统真正落实预测出的接触意图。
在配备高精度触觉传感器的真实和仿真机械手上,CGP在操控、抓取和工具使用等任务中均显著优于现有基线。这项工作指明了方向:触觉不应只是锦上添花的额外观测,必须成为连接AI策略与物理现实的“接地”桥梁。
**结语**
三个方向,九篇论文,一条主线贯穿始终:机器人操作正在从“数据饥渴”走向“样本高效”。
无论是BiDemoSyn通过一次演示合成数千条数据、SID用两次演示实现九成成功率、DexImit从人类视频中自动提取操作知识,还是CGP让灵巧手真正感知接触状态,这些前沿探索都共同指向了一个未来:机器人再也不必在实验室里苦熬千万次演示。