家务帮手技能提升,现在连拧瓶盖都能轻松搞定!
除此之外,还能帮忙挤牙膏、插手机充电线。
由同济大学联合清华大学、上海交通大学、香港大学等顶尖研究机构共同开发的KineDex框架,开创了灵巧操作教学新模式——
这套真正"手把手"教学系统,能将人类的细微动作完美复制到机械手上,同时捕捉精准的触觉反馈数据。
在实验中,星动纪元的灵巧机械手XHAND 1成功掌握了多项精细操作技能。

在瓶盖开启、牙膏挤压、医用注射等九项复杂任务测试中,KineDex系统平均成功率高达74.4%,数据采集效率更是传统远程操作的2倍。

这项研究成果已入选CoRL 2025国际会议。
革命性的人机互动教学
当前机器人学习精细操作的难点在于优质示范数据的匮乏。
传统方法主要依赖远程操控或视频模仿学习:前者操作者缺乏真实触感,效率低下;后者因人体与机械结构的差异导致动作失真,同样缺失触觉信息。
KineDex创新性地提出了"真人示范"解决方案:研究人员直接在机械手上绑定环形绷带,让操作者真实穿戴机械手进行各项精细操作。

该系统配备了Franka Emika Panda机械臂和星动XHAND 1灵巧手,每根手指均配备120个触觉传感点。
数据采集过程中,操作者的每一个细微动作都会被精确记录,包括视觉、触觉、指尖力度等全方位信息。
日常生活技能全掌握
研究团队设计了9项日常任务来验证系统性能:
- 牙刷挤牙膏(需要精准压力控制)
- 注射器按压(要求单手稳定施力)
- 瓶盖开启等多种精细操作
在与传统方法的对比测试中,KineDex在80%的任务中成功率超过70%,简单抓取任务更是接近满分。

实验数据显示,移除力控功能后,所有任务成功率骤降至16.7%;缺失触觉反馈则会降低26.7%的性能表现。
更令人惊喜的是,KineDex的数据采集速度远超传统方法:复杂任务耗时减半,简单操作仅需三分之一时间。

用户反馈表明,这种直观的手把手教学模式显著提升了学习的便捷性和效率。

项目资源
https://dinomini00.github.io/KineDex/
