游乐游手机版
首页/AI热点日报/热点详情

首个空间原生具身视觉基模开源 机器人看懂真实世界

类型:热点整理2026-07-08
针对机器人视觉痛点,蚂蚁灵波开源首个空间原生视觉基模LingBot-Vision及深度模型LingBot-Depth2 0。前者通过边界强制自监督训练强化几何感知,后者在此基础上实现透明、反光、小目标及复杂场景下更稳定的深度估计,提升机器人空间理解与操作可靠性。

先来看一组令人惊叹的效果对比。

左侧画面展现的是真实世界场景,中间则是未经算法修饰的原始深度图——仔细看,杯子的轮廓几乎支离破碎,杯壁与背景完全混淆在一起,香槟塔更是布满空洞,几乎难以辨认其形态。而经过全新模型处理后的右侧画面则截然不同:杯子的边界、层次与整体结构变得完整清晰,顶部酒杯、酒瓶以及杯塔之间的立体空间关系一目了然,就连纤细的透明水柱也纤毫毕现。

或许有人会问,深度图看得差不多不就行了吗?

事实并非如此。这类差异一旦应用到机器人身上,其意义就完全不同了。如果机器人需要抓取一个杯子,边界看不准,就很可能抓偏;如果它要在家庭、商场或工厂中持续移动,深度结果一直破碎,后续的路径规划与控制算法也会随之抖动失灵。

这正是蚂蚁灵波发布LingBot-Vision与LingBot-Depth 2.0的核心动因。前者是专为机器人真实任务打造的空间原生视觉基础模型,旨在为机器人构建一个更懂物理世界的视觉底座;后者则是基于前者衍生出的空间感知模型,将这个视觉底座进一步转化为更稳健、更精准的深度估计结果。

研究成果一经发布,不少网友直言:玻璃与透明物体长期以来都是机器人视觉感知的噩梦,这项突破堪称一个重要的里程碑。

机器人感知世界,最怕“差之毫厘”

尽管具身智能近年来热度很高,但一旦将其真正部署到真实场景中,问题便会迅速回归到最基础的层面:视觉感知是否足够稳定可靠。

第一类长期存在的难题,便是透明与反光材质。刚才提到的香槟塔就是典型代表。透明杯壁在RGB画面中清晰可见,但深度传感器与深度模型却常常在此处失效:有的区域深度值缺失、有的边缘粘连在一起、有的区域则直接出现空洞。而LingBot-Depth 2.0的输出,更像为机器人构建了一层稳定的空间骨架,尽可能地保持杯口、杯壁与杯身之间的几何关系。这对于机器人的抓取任务至关重要——机械臂要抓取杯子,不仅需要识别“这是一个杯子”,更要掌握杯子的精确边界、开口朝向、可抓取的位置,以及手爪靠近时是否会碰到相邻的杯子。正如预告片中所展示的,机器人首先通过清晰的深度图看到带有透明水柱的杯体,准确知道水的位置,才能精准地将水壶推到水柱下方,完成接水任务。

第二类难点是小目标与远距离目标的深度感知。在下面的示例中,一只狗狗在户外追逐一个网球。远处的狗狗本身已算不得大目标,而网球在整个画面中更是微小。从效果对比来看,原始的深度图基本模糊一片,完全无法区分任何主体;而LingBot-Depth 2.0的结果则清晰地呈现了地面、远处墙体、网球、树木和狗狗之间的位置关系。这一能力对于移动机器人、巡检机器人以及人形机器人来说价值巨大——它们不能等到障碍物近在咫尺时才做出反应,而必须具备提前感知远处行人、宠物、路障或货架边缘的能力。

第三类难点是复杂的室内场景。家中的玻璃门、窗帘、电视柜以及阳台杂物,加上随着镜头移动而不断变化的光照条件,都给视觉感知带来巨大挑战。以往的视觉模型常常在玻璃、强光、阴影以及边缘交界处出现大面积的深度破碎和空洞。而LingBot-Depth 2.0的结果则更加连续,墙面、玻璃门、窗帘、地面与近处物体之间的空间层次关系被保留得更为完整。

第四类难点是弱光、遮挡与杂乱环境。在室内走廊与房间的视频中,门框、墙角、窗帘、桌面和电视等多种结构交错重叠。传统视觉模型的效果中,边缘位置容易产生噪点与深度缺口;而LingBot-Depth 2.0的结果明显更加稳定,墙面、门框、桌面边缘的连续性显著提升。

这些案例共同指向一个核心问题:机器人感知世界,不能仅仅依赖语义理解。它需要的视觉能力更接近于一种“空间常识”——哪里是边界、哪里是空旷区域、哪里可以通行、哪个物体还离得很远。这也正是LingBot-Depth 2.0要体现的几个关键优势:边缘更锐利、物体轮廓更完整、细小目标更稳定、远距离目标更可靠,在复杂材质与复杂光照条件下,深度图的破碎与缺失现象大幅减少。

然而更关键的问题是:这些性能提升是如何实现的?答案要回到LingBot-Vision身上。

空间原生视觉,为何要从“边界”学起?

传统视觉基础模型在过去相当长的时间里,主要围绕让模型更好地理解图像内容来发展。但机器人眼中的世界截然不同:一只猫不仅仅是“猫”这个语义类别,机器人还必须知道猫离自己有多远、它的身体边界在哪里、它是否会突然移动、以及桌子的边缘与猫之间是否存在安全距离。因此,具身智能所需的视觉底座,必须更加重视几何结构的理解。

在几何结构中,一个至关重要的切入点就是“边界”。边界不仅仅是物体的轮廓线,它往往同时意味着深度的突变、遮挡关系、空间分割以及可交互区域——杯口的边缘、门框的边线、桌面的轮廓、行人与背景之间的分界,这些都会直接影响机器人后续的移动、避障与抓取行为。

LingBot-Vision的核心思路,就是将边界与空间结构纳入预训练的目标之中。研究团队专门提出了“masked boundary modeling”,可以理解为一种让模型专门攻克学习难点的自监督训练方式。

普通的掩码建模更像随机遮盖图像中的一块区域,然后让模型去还原。问题在于,随机遮盖的区域可能只是墙面、天空或地板这类信息密度不高的平坦区域。即使模型猜对了,也未必真正学到了有效的空间结构。而LingBot-Vision的做法更具针对性:它让教师模型在线发现图像中的边界token,再将这些边界token强制加入到学生模型的掩码中——模型不能只在容易的平坦区域上“刷题”,而必须去学习那些更难、包含更丰富空间信息的边界区域。这就是所谓的“boundary-forcing”机制。

进一步来看,边界token还会被分配几何目标。模型不仅学习语义信息,也学习“边界场”——那些能够描述边界位置、方向以及几何关系的信号。为了使这种训练更加稳定,团队还引入了分类化的边界场表示,以及a-contrario检验方法,以减少将噪声误判为真实结构的可能性。

简而言之,LingBot-Vision在预训练阶段就向模型传递了明确的信号:不要只盯着“这是什么”,更要学会“它的边界在哪里、形状如何、与周围空间是什么关系”。这也是它区别于DINOv3等通用视觉基础模型的关键差异之一。尽管LingBot-Vision同样建立在DINO自蒸馏范式的基础上,但它额外引入了边界强制机制,使模型在掩码建模过程中更加关注形状与物体边界相关的结构特征。

从结果来看,LingBot-Vision是一个约10亿参数级别的ViT模型,通过纯自监督训练,在密集空间任务上足以匹敌甚至超越参数量最多约7倍的视觉基础模型。在NYU-Depth v2基准上,它取得了所有对比模型中的最佳精度,包括7B参数的DINOv3在内。

更有趣的是,其蒸馏得到的学生模型同样表现出色。论文显示,仅0.3B参数的学生模型在NYU-Depth v2上就能达到与7B参数DINOv3相当的精度,参数量减少了约23倍。对于机器人而言,这一点非常现实——并非所有机器人都能背负一个庞大的模型运行,端侧部署、算力成本与延迟都是必须权衡的因素。

LingBot-Depth 2.0正是这条技术路线的直接验证。它基于LingBot-Vision进行升级,在12个深度补全基准测试中取得了领先结果。更重要的是,论文指出,随着下游训练数据的增加,LingBot-Vision编码器带来的优势会进一步扩大——如果视觉底座更懂空间结构,那么后续的深度模型在摄入更多数据时,优势不仅不会被稀释,反而可能越训练越明显。

因此,LingBot-Vision与LingBot-Depth 2.0的关系,不能简单理解为“一个视觉模型加一个深度模型”。前者是空间原生视觉底座,后者是空间感知能力的落地验证。LingBot-Depth 2.0之所以能在透明物体、反光表面、远距离目标、小目标以及复杂室内场景中表现出更强的稳定性,其背后支撑正是LingBot-Vision在预训练阶段就对边界与几何结构给予了更高的重视。

具身智能要真正上岗,视觉感知是关键一环

提到具身智能,我们最容易注意到的或许是大模型接入机器人,让它们能够听懂指令、规划任务并与人类对话。但当它们真正进入工厂、仓库、商场或家庭等环境时,视觉感知依然是极其重要的环节——因为视觉一旦不稳定,后续的整个链条都会受到影响:移动机器人可能无法绕开障碍物,机械臂可能抓偏目标,服务机器人可能误判门、墙、玻璃与人之间的空间位置关系。

因此,具身智能的真正落地,也需要视觉底座、空间感知、运动控制与硬件传感器协同并进。这也是蚂蚁灵波开源LingBot-Vision与LingBot-Depth 2.0的意义所在——他们将机器人所需的视觉与空间感知能力,打造成一个更易于复用的底座。对于机器人企业、开发者以及研究机构而言,这有助于降低使用门槛,让下游团队能够更快地在移动、避障、抓取等真实任务中进行验证。从应用场景来看,这类能力可以广泛服务于移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备以及空间计算等多个方向。

LingBot-Depth 2.0已通过奥比中光深度视觉实验室认证。双方还围绕EGO-RGBD数据采集设备、SDK以及后续一体化相机产品展开了合作,这表明这套能力正在从论文与开源的层面,进一步走向硬件与产品的集成落地。

当然,视觉基座的升级并不会让机器人一夜之间变得无所不能。传感器差异、算力限制、场景泛化能力、控制精度以及成本等问题,都还需要继续打磨。但趋势已经十分清晰:具身智能的竞争,正在向着更底层的方向延伸。毕竟,机器人要真正进入真实世界,第一步就是“看准”。当机器人开始更好地理解空间时,它们距离真正上岗,也就更近了一步。

来源:https://www.163.com/dy/article/L182NTK50511DSSR.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。