允中 发自 凹非寺

当前，视觉-语言模型（VLA）与通用世界模型已推动机器人进入“识别环境”与“预判动态”的初级阶段，但这仅仅是起点。当模型真正部署于物理世界时，具体挑战便接踵而至：它依靠什么数据来学习这个真实世界？通过何种机制来执行动作？又如何感知自身的接触状态？前两个问题，分别指向了数据采集与本体硬件；而第三个问题，则直接引向了触觉感知这一核心领域。

本周，哈尔滨工业大学杨朔教授团队正式发布了TouchWorld——一个专为灵巧操作设计的触觉世界模型。其核心突破在于，使机器人不仅能够预测视觉场景的变化，更能够预判接触行为的发生，并在实际操作中，依靠触觉反馈实时修正动作。这并非一项孤立的研究成果。在此之前，该团队已相继推出了EgoTouch与TouchAnything：EgoTouch专注于解决灵巧操作中触觉数据的采集难题；而TouchAnything则致力于从第一人称视角视频中恢复触觉信息，提供一种低成本的触觉数据增强方案。

这三项工作相互衔接，构成了一条清晰的技术演进路线：从触觉数据的采集，到触觉信息的恢复与对齐，最终让具身模型真正具备应用触觉的能力。沿着这一路径，出生于1998年的年轻教授杨朔创立了“破晓智能”。该公司的核心目标，是融合人类行为视频数据与触觉感知模态，构建人形机器人的全身移动灵巧操作世界模型。更具体而言，其并非仅仅开发单一的触觉模型或硬件，而是围绕“机器人如何真正掌握操作技能”这一核心问题，搭建一套从数据、模型到控制系统的完整能力链。

“破晓”这一名称，精准对应了该公司试图解决的技术困境：在人形机器人步入真实操作场景之前，触觉数据采集、触觉世界模型构建、灵巧手反馈控制以及全身移动操作等环节，仍处于技术混沌状态。破晓智能希望以触觉数据为切入点，重新整合这些能力，推动机器人从“感知世界”的阶段，迈向“接触世界、操控世界”的新时代。

从Data-Centric AI，到机器人真实数据

杨朔现任哈尔滨工业大学计算机科学与技术学院长聘教授、博士生导师，同时也是破晓智能的创始人兼首席执行官。公开资料显示，他26岁时便获评哈工大计算机学院长聘教授及博导，曾荣获Google Ph.D. Fellowship，并入选国家级高层次青年人才、深圳市“高精尖缺”人才以及广东省重大人才工程。

△

杨朔，破晓智能创始人、哈工大长聘教授、博导

在学术研究方面，杨朔长期关注多模态大模型、以数据为中心的人工智能（Data-Centric AI）、可信AI、计算机视觉及具身智能等方向。与传统直接切入“机器人创业”的路径不同，他的研究轨迹更像是由一个数据问题循序渐进地延伸至物理世界：模型究竟应该依赖何种数据进行学习？当这个问题落到机器人领域时，便转变为：机器人到底需要什么样的数据才能真正学会真实操作。

在传统机器学习范畴内，这一问题更多地指向数据质量、数据筛选、噪声标签处理以及数据压缩。而到了具身智能时代，数据的内涵已不再局限于图像、文本和标签，而是涵盖了人类在真实世界中的连续操作过程。近年来，人类数据正逐渐成为机器人学习复杂操作的重要入口。例如，NVIDIA的EgoScale项目证明，第一人称的人类操作数据在灵巧操作训练中遵循Scaling Law；而Generalist / Gen-1等研究则进一步表明，利用大规模人类数据进行预训练，再辅以少量真实机器人数据（真机数据）进行后训练，可以显著提升机器人在长序列、复杂任务中的成功率。这两类工作共同揭示了一个趋势：相较于完全依赖真机数据采集，让机器人先通过大规模人类数据学习动作流程、物体交互模式以及任务结构，再通过少量机器人数据进行对齐与适配，是一条更易于规模化扩展的数据路径。

然而，这条路线仍缺失一层关键信息：触觉。第一人称视角视频能让机器人观察到人类如何观察世界、接近物体、抓取工具并完成任务，但人与物体之间实际发生的相互作用，却无法被视频完整捕捉。手指按压在何处？施加了多大的力？物体是否发生滑动？接触是否稳定？这些信息仅凭图像很难准确回答。破晓智能给出的解决方案是：仅有视觉信息远远不够，仅有动作轨迹也同样不足。机器人还需要触觉感知，需要理解手与物体接触瞬间所发生的物理细节。这也是杨朔团队从EgoTouch、TouchAnything，最终发展到TouchWorld的根本原因。

Touch系列：从采集触觉，到对齐触觉，再到使用触觉

从破晓智能的技术图谱来看，Touch系列模型并非并列摆放的几篇孤立论文，而是一条从数据源头，经过世界模型，最终通向全身控制的完整能力链。

EgoTouch解决的是触觉数据如何采集的问题。它通过将第一人称视角视频、腕部视角、手部姿态以及双手压力图整合到同一套采集系统中，为人类操作视频同步附加了接触与压力信息。该团队围绕刚性物体、柔性物体、抓取、捏合、拧动、工具使用等多样化任务，系统性地采集了人类在真实操作中的视觉与触觉数据。

△

EgoTouch第一人称视觉-触觉数据采集系统

TouchAnything解决的是如何让更多第一人称视频补充触觉信息的问题。带有触觉标注的数据始终稀缺，真正佩戴传感器采集的人类操作数据成本高昂、规模有限，且难以覆盖所有应用场景。然而，互联网上已存在海量第一人称的人类操作视频：人们如何提起水壶、如何握住球拍、如何拧开瓶盖、如何使用工具，这些过程都被视觉完整记录。问题在于，这些视频仅有画面，缺乏触觉信息。TouchAnything的目标，正是利用EgoTouch这类视觉-触觉对齐数据，训练模型学会从第一人称视频中估计双手的接触区域与压力分布。换言之，它赋予模型一种从视觉信息中“恢复触觉”的能力：仅凭观看视频，也能推断出手指的触碰位置、用力部位以及大致的压力分布。

这一步的价值不仅在于构建一个触觉估计模型，更在于能够将少量带有触觉传感器标注的数据，扩展为更大规模的触觉监督信号。原本只能呈现动作外观的人类视频，有机会被补充上一层接触信息，从而转化为更适合机器人学习灵巧操作的数据。在破晓智能的技术路线中，TouchAnything扮演着“数据放大器”的角色——它一方面承接EgoTouch采集到的人类视觉-触觉数据，另一方面将触觉监督信号扩展到更广泛的第一人称视频中。基于这一层数据，TouchWorld才能进一步学习如何预测接触、利用接触；而HumanWBC也才能将触觉感知整合到全身移动、双臂协同以及灵巧手控制之中。

△

TouchAnything多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手3D姿态，通过多视角视觉特征融合与姿态感知融合，预测双手压力分布图，从而从纯视觉视频中恢复触觉信息

TouchWorld解决的是触觉如何融入机器人世界模型与操作策略的问题。它并非简单地给机器人增加一个触觉输入通道，而是让触觉参与两个关键环节：一是提前预测未来应该形成怎样的接触状态，二是在执行过程中根据触觉反馈实时修正动作。换句话说，机器人不仅要预测“下一帧画面会变成什么样”，还必须预测“下一步动作应该达到怎样的接触效果”。

HumanWBC则是这一路线的下一步：基于人类数据训练全身移动灵巧操作的控制模型，将感知理解、自主移动、全身控制、双臂协同以及灵巧手操作整合到同一个系统框架中。所谓全身移动灵巧操作，并非仅让机器人站在桌前完成一个抓取动作，而是使其真正能够“走过去、抓起来、完成整个任务”。因此，这条路线并非“只做一个触觉模型”，而是以触觉为核心，将感知、仿真、决策与控制串联起来，推动机器人全身移动灵巧操作“大脑”的持续进化。

TouchWorld：把“手感”写进世界模型

TouchWorld的核心可以概括为两个关键词：predictive（预测性）与 reactive（反应性）。

△

TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏

Predictive，指的是触觉目标的预测能力。机器人不仅需要预测未来的视觉画面，还需要预测未来应该达到的接触状态。

△

TouchWorld通过触觉世界模型预测机器人任务子目标

一个非常直观的例子是按压喷壶按钮。从视觉上看，手碰到按钮与真正将按钮按下去，画面上的差异可能非常微小。特别是当手遮挡住按钮时，图像很难判断任务是否已经完成。但从触觉角度而言，手指是否接触、压力是否到位，是更直接、更可靠的判断依据。TouchWorld通过预测触觉目标，让机器人明确：如果某个子任务完成，手指上应该出现怎样的接触和压力分布。这对灵巧操作至关重要，因为许多任务的完成状态并不完全体现在视觉画面中，而是体现在手与物体之间的接触关系里。

Reactive，指的是高频触觉反馈修正机制。在真实操作中，物体可能滑动，接口可能偏移，手指可能抓握不稳，灵巧手自身也可能存在定位误差。机器人不能每次都等待上层模型重新规划，它需要像人类一样，在接触瞬间根据触觉反馈做出快速调整。当人抓取一个湿滑的物体时，不会重新计算每个关节角度，而是根据手上的触感立刻调整抓握姿势。TouchWorld的reactive模块遵循同样的逻辑：上层模型生成粗粒度动作，底层则根据实时触觉反馈输出修正量，使动作在接触过程中不断被纠偏。

在TouchWorld的设计中，reactive模块的推理频率是Tactile World Model的4倍。中间策略每输出一个动作，底层都会进行多次细微调整，每次输出的只是一个delta修正量，而非重新生成完整动作。这套机制确保了触觉不再只是被动的数据记录，而是主动参与到动作生成与执行控制中。

TouchWorld在六个真实机器人任务上进行了测试，包括：浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾。

△

TouchWorld在浇花、抽纸巾等六项真实机器人任务中完成测试

这些任务看似并不复杂，但非常适合检验触觉感知的价值。浇花需要精确按压喷壶按钮；插头插入和杯子插入考验精密接触能力；擦锅需要持续调节压力；抽纸巾涉及柔性物体操作与稳定拉取；桌面清理则要求机器人能在多个子任务之间灵活切换，并保持抓取稳定性。

实验结果显示，在clean setting（标准环境）下，TouchWorld的平均成功率达到65.0%；在人为引入扰动的场景下，平均成功率达到57.2%。与Pi-0.5、FTP-1、GR00T N1.7等对照方法相比，TouchWorld在两个设置下分别高出最强基线（baseline）15.7和16.0个百分点。

这一结果并不意味着灵巧操作问题已被彻底解决。65.0%的成功率同样表明，该系统距离大规模泛化仍有很长的路要走。但它验证了一个更具体的事实：当任务进入接触阶段时，触觉目标预测与高频反馈修正机制，确实能够显著提升机器人操作的稳定性。对破晓智能而言，这一点比单点成功率更为关键——TouchWorld证明了触觉可以真正融入机器人的世界模型与操作策略，而不仅仅停留在传感器读数层面。

△

HumanWBC采集人类视觉、动作与触觉数据，并对齐至机器人执行

冲破黎明前的黑暗

“破晓智能”这一名称，也深刻揭示了其创立的初衷：机器人行业并不缺乏技术演示，也不缺少关于通用智能的宏大叙事。然而，当机器人真正要从展示阶段走向实际应用场景时，许多基础设施仍处于技术收敛前的混沌状态。五指灵巧手加触觉系统正是其中之一：高自由度、配备全掌触觉的灵巧手方案尚不成熟；触觉数据采集困难；真实机器人灵巧操作数据极度稀缺；触觉手套噪声大；不同传感器之间的数据表示不统一；统一的基准测试标准也尚未建立……这些问题看似琐碎，却相互制约，共同决定了触觉灵巧操作技术能否真正落地。

在杨朔团队的研究过程中，为了采集高自由度灵巧手的触觉数据，团队曾将触觉手套裁剪后，强行套在五指灵巧手上，自行搭建了一套真机数据采集方案。然而，手套使用几天便会损坏，灵巧手会发热，第一天标定好的系统，第二天也可能出现漂移，数据噪声很大，采集效率极低。这些看似属于工程层面的问题，反过来强化了一个核心判断：触觉灵巧操作并非一个单点模型问题，而是一个系统性问题。这也是破晓智能不能仅仅停留在模型研发侧的根本原因。

在触觉灵巧操作领域，数据本身就是基础设施。破晓智能正在搭建面向人类操作的多模态数据采集平台，其方向是低成本、无感佩戴、全场景覆盖的数据采集，将第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息整合到同一套系统中。这些工作均指向同一个目标：让机器人不仅能看到人类如何操作，还能获得更接近“人手真实感觉”的多模态数据。

只有当这样的数据积累到足够规模，TouchAnything才能从视频中更准确地恢复触觉，TouchWorld也才能进一步学习如何预测接触、利用触觉。破晓智能的目标，远不止于发布一个模型。它要围绕人形机器人的全身移动灵巧操作，补齐一套完整的系统能力：包括触觉数据采集、触觉估计、触觉世界模型、遥操作与硬件基础设施、评测体系，以及面向人形机器人的全身移动灵巧操作模型。

如果说EgoTouch和TouchAnything解决的是触觉数据从何而来的问题，TouchWorld解决的是机器人如何预测并使用触觉的问题，那么HumanWBC则指向了破晓智能最终希望实现的闭环：让机器人将感知理解、自主移动、全身控制与灵巧操作无缝衔接，从“能看懂”，走向“能走过去、抓起来、完成整个任务”。这一步将把问题从桌面灵巧操作，进一步推向更复杂的人形机器人任务：移动、平衡、双臂协同、长序列任务、全身控制，以及触觉反馈如何与机器人整体动作系统深度融合。

破晓智能的愿景，是让机器人从“看见世界”，迈向“理解并接触世界”。未来的人形机器人若要真正进入家庭、服务、工业等真实场景，绝不能仅依赖视觉和语言，它必须能够感知自己是否碰到物体、是否抓稳、是否发生滑动、施加的力是否合适，以及在动作偏离后如何进行修正。从EgoTouch到TouchAnything，再到TouchWorld，杨朔团队已成功将这条技术路线推进到了真实机器人操作系统层面。破晓智能的首次亮相，传递了一个明确的判断：机器人基础模型的下一层关键能力，是触觉。而冲破黎明前黑暗的第一步，就是让机器人真正知道自己“碰到了什么”。