游乐游手机版
首页/AI热点日报/热点详情

英伟达开源机器人技能库 具身智能范式变革 Jim Fan

类型:热点整理2026-07-18
英伟达开源机器人技能库ASPIRE,通过记录感知、导航、抓取等执行轨迹,让大模型分析失败原因并修复程序,将验证后的修复经验沉淀为可复用技能,使机器人实现持续自我进化,标志着从梯度下降到技能打磨的训练范式转变。

机器人也能掌握技能了,这不再是科幻场景。

英伟达最新发布的这套系统名为ASPIRE,全称是Agentic Skill Programming through Iterative Robot Exploration。简单来说,它是一个让机器人能够持续积累操作经验的智能技能库,推动具身智能进入全新阶段。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

听起来有些抽象?其实可以把它理解为一个专为机器人设计的Coding Agent。就像GPT能将你的工作记录提炼成可复用的技能一样,ASPIRE会将机器人在执行任务过程中的失败与修复经验,沉淀为日后可直接调用的知识。唯一的区别在于,它审查的不是代码行,而是机器人的完整操作流程

每当机器人执行任务时,ASPIRE都会完整记录感知、导航、抓取、碰撞、运动规划等所有环节。背后调用的GPT或Claude,会像专业研究员一样分析问题根源,并迭代程序。如果新程序运行成功,这次积累的经验就会被写入技能库,形成持续进化的闭环。

这样一来,机器人就能通过编写代码、查看执行轨迹、修复程序、沉淀技能的方式,实现持续自我进化,开启一种全新的机器人学习范式。

英伟达机器人主管Jim Fan认为,这代表着一种全新的持续学习范式。直观来看:

  • 训练,从梯度下降转变为不断打磨技能(Skill Refinement);
  • 训练好的模型,不再仅仅是浮点权重,而是持续扩展的机器人技能库(Sensorimotor Skills);
  • 分布式训练,演变为一群Agent各自练习不同技能,再将经验汇总到同一个共享技能库中。

训练成果,不再只是权重

在深入了解之前,有必要先聊聊背景。

ASPIRE让机器人通过代码执行任务,失败后查看多模态执行轨迹,修改程序,最后将修复后的经验存入不断累积的技能库(Skills Library)。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

这个所谓的Skill,本质上是喂给大模型的一段上下文,但它沉淀的是一套经过验证的代码修复模式(Code Repair Pattern)。它告诉机器人:以后遇到类似问题,你应该如何修改控制程序。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

举个例子。机器人准备拿起一台收音机,目标识别没有问题,但就是无法靠近。Agent分析后发现问题不在于识别,而是规划器给出的目标点都落在了障碍物的碰撞缓冲区内。于是,ASPIRE在这个经验基础上,总结出一条新Skill:

如果遇到这种规划失败,就尝试从45°、90°、180°等不同角度重新接近目标,直到找到一条无碰撞路径。

以后再有类似场景,不管目标是收音机、微波炉还是其他家具,这条经验都能直接复用,无需重新试错。

说到这里,你可能会觉得奇怪:机器人训练,不都是依靠数据、梯度下降、模型权重、真机采集、仿真到现实迁移那一套吗?怎么突然变成了积累技能?

这就必须提到近期非常火热的范式——Code as Policy。与端到端的VLA策略模型不同,Code as Policy不让模型直接输出机器人动作,而是让大模型编写一段可执行的机器人控制程序。程序里可以调用感知模块、规划API和控制原语,如识别物体、规划路径、移动机械臂、执行抓取。这样一来,机器人行为就不再完全隐藏于神经网络权重中,而是变成了可执行的操作代码。有了代码,后续工作就变得简单——如今强大的Agent模型可以检查它、修改它、调试它,并持续优化。

但过去的Code as Policy有两个硬伤。首先,机器人失败后,系统通常只知道“任务未完成”,却不知道是感知错了、抓取没抓稳、路径规划撞了,还是恢复动作出了问题。其次,也是更关键的,它没有记忆。一个任务完成后,调试过程中发现的修复方案、恢复策略、prompt写法全被丢弃,下次遇到类似问题,一切都要从头开始。

所以Jim Fan才会说:

(有了ASPIRE)当机器人完成第100个任务时,它终于不再像完成第1个任务时那样一无所知。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

整个过程,与人类机器人工程师的做法如出一辙:程序失败后,回放执行过程,查看感知结果,分析运动轨迹,判断到底是哪个环节出了问题。修复后,记录经验。下次再遇到桌边物体、抽屉把手、窄空间导航,就不会再从零开始。ASPIRE所做的,就是把这套经验积累机制交给Agent。它不仅让大模型编写机器人代码,更让大模型在执行环境中反复尝试、反复观察、反复修复,最后将验证过的修复经验沉淀为Skill。

因此,在ASPIRE中,训练已经不仅仅是梯度下降。训练过程变成了Skill Refinement;训练产物,也不只是模型权重,而是一个机器人不断积累、持续成长的Skills Library。

三阶段流程

这一思想在论文中实现为三阶段流程。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

首先是机器人执行引擎。传统机器人程序失败后,系统只告诉你任务未完成。ASPIRE会将失败拆解——每一次感知、规划、抓取、控制调用,都留下输入、输出、视觉证据和错误日志。就像人类工程师调试机器人时会回放视频、查看轨迹、分析原因,ASPIRE把这套操作交给了coding agent。

接下来是技能库。Agent修复程序后,会将这次经验转化为可复用的知识,而不是丢弃。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

官网技能库中能看到非常具体的条目:比如SAM3文本提示如何编写、桌边物体需要多角度接近、抽屉把手如何过滤假检测、平面物体推动时该用哪种motion primitive。这些不像传统模型权重,更像是机器人程序员的踩坑笔记,每个经验都极具实用价值。

最后是进化搜索。一个Agent不只沿着单条修复路径往下试,系统会生成多条候选控制程序,让它们进入执行环境运行,再根据幸存程序和失败轨迹继续迭代。在软件工程中,coding agent已经习惯了写代码、跑测试、看trace、改bug。ASPIRE所做的,就是把这套循环搬进物理世界,让机器人也具备类似的迭代能力。

实验验证

论文在三个经典机器人基准上进行了测试:LIBERO-ProRobosuiteBEHA VIOR-1K,分别覆盖泛化操作、接触密集型操作以及长时家庭任务。整体结果均显著优于此前的Code as Policy方法。

例如,在Robosuite的双臂物体交接(Bimanual Handover)任务中,ASPIRE将成功率从20%提升到了92%,展现了强大的性能提升。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

在泛化能力方面,研究先在LIBERO-90上不断积累Skill Library,再直接迁移到从未见过的LIBERO-Pro Long长任务,中间没有针对新任务进行训练,也没有更新技能库。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

结果非常直观:随着技能库越来越丰富,机器人在新任务上的成功率也一路提升,从几乎不会做,到最终达到31%。换句话说,Skill Library越厚,机器人越不像一个新手,表现愈发成熟专业。

作者介绍

在技术博客的最后,英伟达也公布了完整的作者名单,他们都是推动具身智能发展的关键人物。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

依旧是GEAR团队的老面孔:Jim Fan、朱玉可、Guanzhi Wang、石冠亚等人。排在最前面的三位作者为共同贡献。其中,Runyu Lu目前是密歇根大学博士二年级学生,正在GEAR实习;Yuubo Wu来自伊利诺伊大学厄巴纳-香槟分校(UIUC),Ethan Kou则来自加州大学伯克利分校,目前还是一名本科生,展现了年轻人才的活力。

值得一提的是,就在昨天,英伟达也宣布扩大国内机器人团队招聘,在北京、上海、深圳三地开放了不少岗位,覆盖具身智能、仿真、机器人部署和解决方案架构等方向,进一步深化布局。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

感兴趣的同学们,准备简历,机会就在眼前!

来源:https://www.qbitai.com/2026/07/441396.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。