这项研究由清华大学、北京大学、上海交通大学及上海期智研究院联合主导,与GalBot公司合作完成,论文发表于2026年6月,编号为arXiv:2606.06953。对细节感兴趣的读者,可以直接通过这个编号找到原文深入阅读。
研究团队给这套方法论起了一个直白的名字——LIMMT,全称“Less Is More for Motion Tracking”,翻译过来就是“动作追踪中少即是多”。这也是该领域里,第一篇系统性地从数据质量角度,研究人形机器人动作训练的工作。
要说机器人学武功,为什么数据越多反而越差?咱们从一个生活场景开始聊。想象一下,你要教一个小学生练书法。你有两种选择:一是甩给他一千张各种字迹的范本,里面混杂着潦草的、错误的、歪斜的;另一种是精心挑出三十张笔画清晰、结构规范的优质模板。直觉告诉我们,第二种方式更有效——因为糟糕的范本不但帮不上忙,还会严重干扰学生对“正确写法”的认知。
人形机器人学习动作,道理几乎一模一样。研究团队关注的核心是“动作追踪”技术,简单说就是:给机器人一段参考动作视频(比如跳舞、走路或跑跳),让机器人用自己的身体准确还原出来,还得保证不摔倒、不违背物理定律。这是人形机器人实现一切复杂行为的基础。
近年来,研究人员攒下了海量的人体动作数据。最具代表性的是AMASS数据库,它汇集了15个不同光学标记数据集的动作片段,大约有一万四千条训练数据。同时,随着从网络视频自动提取人体姿态技术的发展,数据规模还在爆炸式增长。
但一个令人困惑的现象出现了:研究人员发现,把所有数据都喂给机器人学习,效果并没有随着数据量增加而持续提升,有时甚至适得其反。而业内顶尖的追踪系统,反而都在用规模更小、但质量更高的数据集。这就像那个书法教学悖论:更多的范本,未必带来更好的书法。
问题到底出在哪?研究团队通过细致分析发现,核心在于数据里充斥着各种物理上“不可能发生”的动作。这些动作要么是用摄像头估计姿态时产生的误差,要么是数据处理时引入的噪声。常见的毛病包括:人物突然漂浮在空中、脚与地面发生穿透、关节运动速度超过物理极限,以及脚在静止时仍在地面上滑动等。
当学习算法试图模仿这些“不可能完成的任务”时,就像让学书法的学生临摹一张纸上画的“凌空悬浮的笔画”——既不可能实现,还会把原本正确的认知搅乱。更糟的是,大量重复雷同的低质量数据(比如几千条几乎一样的走路片段),会让机器人陷入一种“刷水题”的状态:表面上处理了大量数据,实际没学到新东西,计算资源也被白白浪费。
重新定义“好数据”:三把衡量尺子
面对这个问题,研究团队没有简单地说“去掉坏数据就行了”,而是提出了一个更系统的框架:一条动作数据究竟好不好,要从三个维度来衡量。
第一个维度是物理可行性,即这个动作在现实物理规律下是否能被实际做出。漂浮、穿透、超速旋转,这些都是需要清除的“毒素”。
第二个维度是多样性,类似问:数据里有没有足够多种类的动作?如果数据库里有九千九百条走路数据和一百条跳舞数据,就算总量再大,机器人学到的也主要是怎么走路,碰到跳舞就抓瞎了。好的数据集需要在行为空间上有广泛覆盖,就像一本词典不能只收录“的、地、得”,还得覆盖各种生僻字。
第三个维度是复杂度,考量动作本身的信息量。一段机器人原地不动的视频,或者慢悠悠溜达,对学习的贡献极为有限。相反,高速跑跳、快速转身、充满节奏感的舞蹈,包含了丰富的速度、加速度和协调性信息,能给训练提供更强的信号。
这三个维度之间还有个关键顺序:必须先解决物理可行性,再考虑多样性,最后才是复杂度。因为如果先做多样性筛选,那些物理上不可能的动作(比如悬浮的人)在特征上往往很“特别”,反而会被算法当作“独特”的数据优先保留,结果适得其反。就像在图书馆整理书籍,得先扔掉印刷错误的烂书,再考虑分类和选重点。
GQS框架:一条三段式数据炼金流水线
基于上述思考,研究团队设计了一套名为GQS(通用质量筛选)的三阶段处理流水线,目标是:把一个大而杂乱的动作数据库,提炼成一个小而精华的训练集。
第一关:物理过滤。 这是一道细密的筛网。具体做法是把每一条候选动作数据放进物理模拟器里重新“播放”一遍——在电脑里模拟,看这个动作是否物理成立。模拟过程中,系统会同时盯住六种典型的物理违规:身体持续漂浮、部位钻入地面、关节速度超限、脚在不正常滑动、身体各部分相互碰撞、关节加速度突变(抖动)。
这六种违规被赋予不同的权重,而这些权重是通过实验数据反推出来的。研究发现,“漂浮”和“足滑”是最有害的两类,必须重罚;而“速度高”和“抖动大”往往意味着动作本身很激烈,对训练有益,如果过于严格惩罚,就会把有价值的高难度动作误伤——因此这两类要轻罚甚至保留。最终每条动作数据会得到一个综合物理质量分(满分100分),只有不低于90分的才能进入下一关。这种分级惩罚背后有一个朴素洞察:一个激烈跳跃动作导致的短暂“关节高速”,与一个物理上无法实现的“悬空漂浮”,对训练的危害完全不同。一刀切地同等对待,就会把婴儿连洗澡水一起倒掉。
第二关:建立语义地图。 通过第一关的数据进入这一关,任务是给每一条动作数据分配一个在“动作宇宙”中的坐标位置,以便判断哪些数据彼此相似、哪些代表了独特的行为。
这里用到周期自动编码器(PAE)技术。人类的绝大多数日常动作都是周期性的——走路是左右脚交替,跑步也是,跳舞更是。普通的特征提取方法(比如直接比较两个时间点的关节角度)往往对周期性不敏感:两段几乎一样的走路动作,仅仅因为时间上错开半个周期,就可能被判断为“差异很大”。PAE的解决思路是提取动作的“节律特征”——振幅和频率。就像比较两段音乐,与其逐帧比较每一个音符,不如先看整体节拍和音量包络。通过PAE,每条数据最终被转化成一个固定长度的数字向量(坐标),风格类似的数据坐标接近,风格迥异的坐标相距甚远,由此建立了客观反映动作多样性的地图。
第三关:加权最远点采样。 这是整个框架中最具创意的一环。有了语义地图,现在需要挑选一个小而精的子集来训练。挑选的核心目标是:尽可能覆盖地图的各个角落,而不是扎堆选取某一类常见动作。
这个过程可以用“布点探险”来理解。假设需要在地图上选100个营地,目标是让它们尽量覆盖每个角落,最直觉的做法是“最远点采样”:每次都选距离已选营地最远的那个点。这样分布就会自然均匀铺开。研究团队在此基础上加入了“动作复杂度”的偏好:当两个候选点距离差不多时,优先选择动作更复杂、更激烈的(通过计算关节速度和加速度的能量来衡量)。整个选择过程从最复杂的动作开始,然后不断向地图其他区域扩展,直到选满目标数量。
实验验证:3%的数据为什么能打败100%?
理论讲完,接下来是硬核实验。研究团队在AMASS数据集上对两套主流追踪系统进行了全面测试。
核心发现是:使用GQS方法筛选出的仅3%的数据(大约420条片段,总时长不足一小时),在所有评测指标上都超过了用100%完整数据训练的结果。对于Any2Track系统,使用3%的GQS数据训练后,动作追踪成功率达到了95.6%,全数据训练只有94.2%;动作误差从0.114降低到了0.108。对于TWIST2系统,GQS 3%数据成功率为86.1%,全数据训练只有82.5%;关节误差从0.099降低到0.092。
更能说明问题的是“随机抽取3%”的对比实验。结果令人咋舌:随机抽取3%的数据训练,Any2Track成功率暴跌至83.8%,TWIST2跌至64.9%——这表明,“用更少数据”本身不是秘诀,秘诀在于“用对的数据”。
研究团队还发现了一个“甜蜜点”:在GQS筛选后的数据中,选取约10%用于训练,能达到最佳性价比平衡点。在这个比例下,Any2Track成功率进一步提升至95.9%,TWIST2达到86.8%——比全数据训练更好,同时训练成本大幅降低。继续增加数据比例至90%甚至100%,改善微乎其微,计算开销却成倍增加。
学习曲线的对比也富有启发性。GQS数据训练的奖励曲线从一开始就显著高于全数据训练,并且在整个过程中保持领先。这说明GQS的优势不是后期才显现,而是从训练最初阶段就在引导机器人走上更好的学习路径。
在跨数据集的验证中,研究团队在PHUMA数据集上进行了测试。PHUMA本身经过专业物理处理,因此物理过滤提升有限,但多样性筛选和复杂度加权仍然带来了一致改进。更有意思的是,用PHUMA的10%数据训练出的模型,在从未见过的AMASS测试集上也表现更好(成功率92.8%对91.0%),说明GQS选出的模型泛化能力更强——去掉了冗余数据,模型反而学到了更通用的技能。
拆解验证:每个环节贡献了多少?
为了精确知道三阶段各自的价值,研究团队做了严格的消融实验。去掉物理过滤后,成功率从95.6%急剧下降至91.1%,证实了其不可或缺性:在低数据量条件下,哪怕几条“有毒”数据混入,就会严重拖累整体效果。去掉多样性采样后,成功率降至93.4%,说明单纯堆砌“高难度动作”而忽视覆盖面,会让训练数据出现行为空白。去掉复杂度加权后,成功率为94.6%,已经很不错,但加上复杂度加权的完整GQS仍能多出约1个百分点。这1个百分点背后是:在语义地图的每个区域,优先选择更有挑战性的样本,能进一步提升信息密度。
拆解验证的结论很清晰:三个阶段协同作用。物理过滤清除有害数据,多样性采样确保行为广度,复杂度加权在广度基础上提升每个样本的学习价值。顺序同样关键。
权重如何确定:科学分配六种“罪行”的刑罚
在物理过滤中,六种违规的惩罚权重如何确定?研究团队采用数据驱动的方法:分别对每一种违规独立做过滤实验——只保留该项指标最好的90%数据,然后训练模型看性能变化。
实验结果非常有趣。六种指标被清晰地分成三类。“浮空”和“足滑”是“有毒指标”,去掉后性能明显提升(分别提升约2.6和1.0个百分点),因此被赋予高惩罚权重。“地面穿透”和“抖动”是中性指标,过滤后影响不大,分配中等权重。而“速度违规”和“自碰撞”则是“友好指标”——过滤掉后性能反而下降(2.8和3.0个百分点)!原因是:关节速度高的动作往往是高难度、高强度的动作,正是训练所需;某些贴身格斗或舞蹈动作可能有短暂“自碰撞”,却包含丰富的协调性信息。删除它们就是主动丢弃最有价值的训练素材。这个发现碘伏了很多人对“物理合理性过滤”的直觉。
还有一个有价值的发现:仅仅按物理质量分从高到低排序,表现最好的并不是物理分最高的前10%数据,而是物理分排在60%到70%之间的数据段,成功率反而达到96.3%。原因正是:物理分满分的动作往往是极度保守的静止或慢速动作,缺乏动态丰富性;真正有价值的训练数据,是那些“物理上过关、但动作本身有相当复杂度”的数据。
真机部署:在真实机器人身上的检验
研究团队将用GQS 10%数据训练的策略,直接部署到了宇树G1型号的真实人形机器人上,测试了包括中国功夫、舞蹈、单腿跳跃和手持箱子等多种动作,每类进行10次试验。
量化结果令人信服。在走路类动作上,GQS 10%和全数据策略都10次全部成功,但前者的关节位置误差(0.0856 rad)明显低于后者(0.1037 rad),提升约17%。在跳跃类动作上,GQS 10%达到9次成功,全数据策略8次。在舞蹈动作上,GQS 10%分别达到8次和7次成功,全数据策略只有7次和6次。平均而言,GQS 10%策略的真机成功率为85%,高于全数据策略的77.5%,关节误差低约15.8%。
值得强调的是,这个部署是“零样本”的——没有针对真实机器人做任何额外微调。这种直接可用性在机器人领域非常珍贵。研究团队认为,GQS数据能帮助跨越“仿真到现实的鸿沟”,原因有二:物理过滤去除了在仿真中能侥幸应付、但在现实中必然失败的“虚假动作”;复杂度加权选出的高难度动作,让机器人在训练中练习了各种极端情况,提高了对现实世界不确定性的鲁棒性。
一个实用小工具:怎么快速决定用多少数据?
对于想应用GQS的研究者或工程师,一个自然的问题是:应该选多少比例的数据来训练?理论上需要做一系列实验,但成本很高。研究团队提出了一个轻量级估算方法,叫自适应比例选择(ARS)。
ARS的核心逻辑是:最优数据比例取决于数据集内部的“多样性密度”。如果数据集非常冗余,就该更大力度筛选;如果本身很多样化,就需要保留更大比例。量化“多样性密度”的方式是统计PAE嵌入向量的有效维度数——即这批数据的特征在高维空间里“铺开”了多少个有意义的方向。通过PCA(主成分分析)提取,看需要多少个主成分才能解释95%的数据方差。如果数据单调,有效维度就低;如果多样,有效维度就高。
根据有效维度数,ARS给出的预测公式是:最优比例 ≈ 0.5 × (有效维度数/总维度数)的平方。在AMASS上,有效维度占总维度的47%,预测最优比例11%,与实验观察到的10%吻合;在PHUMA上,有效维度占81%,预测为32.8%,与实验观察到的30%接近。这个工具虽只在两个数据集上验证,但提供了一个有价值的快速估算起点,能显著减少调参的试错成本。
说到底,这项研究给出的核心信息是:在人形机器人运动学习领域,盲目堆积数据不等于提升智能,真正推动进步的是数据质量——具体体现在物理可行性、行为多样性和动作复杂度这三个维度的协同优化上。用3%的精华数据打败100%的原始数据,这个结论在直觉上反常,但实验一次次给出了同样清晰的答案。
这件事对理解人工智能的学习机制有更广泛的启发意义:不仅在机器人领域,在语言模型、视觉模型乃至任何需要从数据中学习的系统里,数据质量的战略性角色都值得重新审视。当下这个“数据规模就是一切”的流行叙事,或许需要加上一个重要注脚——前提是这些数据得有价值。
Q&A
Q1:LIMMT方法中的GQS三阶段筛选是什么意思?
A:GQS(通用质量筛选)分三步处理动作数据。第一步是把每条数据放进物理模拟器检验,按六种物理违规打分,不合格的淘汰。第二步是用周期自动编码器把每条数据转换成代表“动作风格”的向量坐标,建立语义地图。第三步是在地图上通过“加权最远点采样”,均匀挑选覆盖面广且复杂度高的子集作为最终训练数据。
Q2:为什么随机抽3%数据效果很差,而GQS挑选3%数据反而更好?
A:随机抽取会保留很多物理上不可能实现的“坏数据”,导致机器人受到错误引导;同时数据分布完全继承原数据集的不均衡(如大量重复走路数据),无法覆盖多样的动作类型。GQS则先删除所有物理违规数据,再用算法确保选出的数据覆盖多种不同行为,并优先保留信息量大的片段,因此每条数据都真实有效且互补性强。
Q3:GQS方法对机器人的实际部署有什么影响?
A:用GQS 10%数据训练的策略,在真实宇树G1机器人上平均成功率(85%)比全数据训练高出约7.5个百分点,关节追踪误差平均降低约15.8%。更重要的是,这个策略无需额外调整就能直接部署,说明GQS过滤掉了仿真中能蒙混过关、现实中却会失败的数据,同时复杂动作训练提升了机器人应对现实不确定性的能力。
