在机器人研发领域,五指灵巧机械手被认为是突破类人操作瓶颈的核心技术。从旋转瓶盖到精准传递物品,这些看似简单的动作对机器人的灵活性提出了极其苛刻的要求。然而,一个困扰行业多年的根本问题始终存在——高质量训练数据的严重短缺。
与依赖海量文本数据的大语言模型,或是通过百万公里路测积累经验的自动驾驶系统相比,灵巧手操作数据的收集可谓举步维艰。传统方法面临着诸多瓶颈:人工动作规划无法处理五指的复杂协同,大语言模型只能给出概念性指导,远程操控采集又耗时耗力且难以规模推广。即使是强化学习方法,也常常陷入动作僵硬、轨迹失真的困境。
现有数据集的局限性同样突出。大部分数据集仅针对基础抓取动作设计,遇到倾倒液体、双手协作等复杂任务时就无能为力。轨迹重放技术虽然能在特定场景下进行微调,却无法扩展学习新的操作策略,数据多样性严重受限。这种"实验室完美主义"的局限,使得灵巧手技术长期无法走出实验室,进入实际应用场景。
这一僵局被北京大学、哈尔滨工业大学与PsiBot灵初智能团队的联合研究打破。他们创新性地提出了DexFlyWheel框架,开创性地解决了数据困境——仅依靠1段人类演示视频,就能启动"数据引擎"产出海量多样化训练数据。这项入选NeurIPS 2025会议Spotlight的重磅研究(录用率仅3.2%),为灵巧操作数据生成开辟了新思路。
研究团队发现了物体操作特性的跨对象规律:外形相似的物品(例如橘子和网球),只需要调整手指角度和力度的细微参数就能完成同样操作。基于这一发现,他们设计了一套模仿学习与残差强化学习的协同机制。前者负责生成自然流畅的基础动作,后者专注于新场景的细节适配,形成"框架构建-参数优化"的闭环迭代。
更具突破性的"数据飞轮"机制通过VR采集的人类示范视频启动:扩散策略模型首先学习人类操作模式生成初始轨迹;残差强化学习进行精调适配;仿真验证的结果又反馈给下一轮训练。这种正反馈循环带来数据规模的指数级增长——单条示范可衍生500条轨迹,场景复杂度提升214倍,适配物品种类从1种扩展到20种。
实验数据有力证明了框架的优越性:在单手抓取、双手交接等任务中,数据生成成功率达到89.8%,远超传统方法的性能;500条轨迹的生成时间仅需2.4小时,效率是人工采集的1.83倍。更重要的是,在复杂测试集上,策略成功率从初始的16.5%飞跃至81.9%,经过数字孪生技术转移到实体机器人后,双手操作任务仍保持78.3%的高成功率。
这项突破的价值不仅在于数据量的倍增,更在于开创了"数据自强化"的新范式。虽然当前框架尚未整合触觉感知单元,但研究团队已将其列为下阶段重点。如果能攻克触觉反馈与自动化奖励设计的难题,机器人将有望掌握精密零件组装等更高阶技能,向着通用灵巧操作的目标大步迈进。
