游乐游手机版
首页/AI热点日报/热点详情

首个空间原生具身视觉基模开源 机器人视觉显著提升

类型:热点整理2026-07-07
这一次,机器人能够更加精准地感知我们所处的真实世界了。这种视觉感知能力究竟达到了什么水平?我们直接通过实际效果来感受一下:画面最左侧展现的是真实世界的场景;中间部分则是未经任何算法优化的原始深度图——可以看到,杯子的轮廓显得十分破碎,部分杯壁几乎与背景融为一体,而香槟塔则像被挖去了许多空洞,几乎无法

这一次,机器人能够更加精准地感知我们所处的真实世界了。

这种视觉感知能力究竟达到了什么水平?我们直接通过实际效果来感受一下:

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

画面最左侧展现的是真实世界的场景;中间部分则是未经任何算法优化的原始深度图——可以看到,杯子的轮廓显得十分破碎,部分杯壁几乎与背景融为一体,而香槟塔则像被挖去了许多空洞,几乎无法辨认其形状和轮廓……

然而,现在机器人眼中的世界已经截然不同。从最右侧的视频中能够清晰地观察到:杯子的边界、层次以及整体结构变得更加完整,顶部杯子、酒瓶、杯塔之间的空间关系一目了然,甚至连那些极其纤细的透明水柱也清晰可辨。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

或许有朋友会问:看得差不多不就行了,有必要这么精确吗?

事实并非如此。

这类看似细微的差异,对机器人而言影响巨大。如果它要去抓取一个杯子,边界判断不精准,就可能导致抓取偏移;如果它需要在家庭、商场或工厂等环境中持续移动,深度信息一直支离破碎,后续的路径规划和控制动作都会随之出现抖动。

而这正是蚂蚁灵波刚刚发布LingBot-VisionLingBot-Depth2.0的核心原因所在:

  • LingBot-Vision:这是一个专为机器人真实任务打造的空间原生视觉基模,旨在为机器人构建一个更懂物理世界的视觉底座;
  • LingBot-Depth 2.0 则是基于LingBot-Vision所开发的空间感知模型,它能够将这个视觉底座进一步转化为更加稳定和可靠的深度信息。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

消息一经传出,网友们反响热烈,不少人感慨道:

玻璃和透明物体一直是机器人视觉的挑战;这无疑是一个重要的里程碑。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

归纳起来,对于具身视觉而言,能够看见只是第一步。只有看得精准,机器人才能真正拥有行动的能力。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

机器人看世界,最怕“差之毫厘”

尽管具身智能近年来十分火热,但当我们真正将其部署到真实场景中时,往往会发现许多问题最终都回归到最基础的一层:视觉感知是否足够稳定

第一类长期存在的难题,就是透明与反光材质

之前的香槟塔就是一个典型实例。透明杯壁在RGB画面中或许可见,但深度传感器和深度模型经常在此处表现不稳定:有些区域无法补全,有些边缘粘合在一起,有些区域则直接形成空洞。而LingBot-Depth 2.0的输出,则相当于为机器人补充了一层稳定的空间骨架,尽可能地保持了杯口、杯壁、杯身之间的几何关系。

这对机器人的抓取任务来说至关重要。因为机械臂要抓取杯子,不仅仅需要识别出“这是杯子”,还必须了解杯子的边界、开口方向、可抓取位置,以及在手爪靠近时是否会碰撞到旁边的杯子。就像昨天蚂蚁灵波预告片中展示的那样,机器人首先通过清晰的深度图看到带有透明水柱的区域,准确知道水的位置,然后才能精准地将水壶推到水柱下方,最终完成接水的任务。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

第二类难点,则是小目标与远距离目标的识别

在下面这个例子中,原始视频里一只狗正在户外追逐一个网球。远处的狗本身已经算是不大的目标,而网球在整个画面中更是微小:

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

从效果来看,中间的原始深度图几乎模糊成一团,完全无法区分任何主体,更别提像网球这样微小的目标了。相比之下,LingBot-Depth 2.0输出的结果中,地面、远处的墙体、网球、树木以及狗的位置关系都变得更加清晰明了。

这种能力对于移动机器人、巡检机器人以及人形机器人来说,价值更为直接。移动机器人在前进时,不能等到障碍物近在眼前才做出反应。它需要提前感知到远处的人、宠物、路障、货架边缘,并将这些信息传递给导航和规划系统。如果远距离深度数据一直不稳定,机器人就容易出现误判,时而认为前方空无一物,时而又突然探测到障碍物,动作自然会变得犹豫不决,甚至可能引发危险。

第三类难点,是室内复杂场景

例如家中的玻璃门、窗帘、电视柜、阳台杂物等,而且光照会随着镜头的移动而不断变化。以往的视觉模型在这样的场景中,经常在玻璃、强光、阴影和边缘交界处出现大面积的破碎和空洞:

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

而LingBot-Depth 2.0的结果则表现得更加连续,墙面、玻璃门、窗帘、地面以及近处物体之间的空间层次得到了更好的保留。这类任务对于家庭服务机器人尤为重要,因为家庭环境中的物品摆放往往较为随意。如果机器人需要在这样的环境中送水、取物、避让人和家具,就必须依赖一个足够稳定的空间信息输入。

第四类难点,是弱光、遮挡与杂乱环境

在下面这个室内走廊和房间的视频中,门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果在边缘位置容易产生噪点和缺口;而LingBot-Depth 2.0的结果则更加稳定,墙面、门框、桌面边缘都显得更加连续。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

这些案例综合起来,其实都指向同一个问题:机器人看世界,不能仅仅依赖语义理解。它所需要的视觉能力更接近于一种“空间常识”,比如哪里是边界、哪里是空的、哪里可以通行,以及哪个物体离自己还很远等等。

这也正是LingBot-Depth 2.0力图体现的几大优势:边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠,同时在复杂材质和复杂光照条件下,深度图的破碎和缺失现象显著减少。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

但最关键的问题来了,这些性能提升是如何实现的?答案要追溯到LingBot-Vision。

空间原生视觉,为何要从“边界”学起?

传统视觉基础模型的发展,在过去很长一段时间里都围绕着一个核心目标:让模型更好地理解图像内容。但正如我们刚才提到的,机器人眼中的世界是截然不同的。

一只猫对机器人而言,不仅仅是“猫”这个类别标签,机器人还需要知道猫离自己有多远、它的身体边界在哪里、它是否会突然移动,以及桌子边缘与猫之间是否存在安全距离。因此,具身智能所需的视觉底座,必须更加重视几何结构。

而在几何结构中,一个至关重要的切入点,就是边界。

边界并不仅仅意味着物体轮廓,它同时常常代表着深度突变、遮挡关系、空间分割以及可交互区域。例如杯口的边缘、门框的边线、桌面的轮廓、行人与背景之间的分界,这些都会直接影响机器人后续的移动、避障和抓取行为。

LingBot-Vision的核心思路,就是将边界和空间结构纳入预训练的目标之中。为此,研究团队专门提出了masked boundary modeling,这是一种让模型专门学习难点区域的自监督训练方式。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

普通的Mask modeling更像是随机遮住图像中的某一块区域,让模型去猜测被遮住的内容。问题在于,随机遮住的地方可能只是墙面、天空、地板这类信息密度不高的区域。即使模型猜对了,也未必能真正学习到空间结构。

LingBot-Vision的做法则更具针对性。它会让一个教师模型在线发现图像中的边界token,然后强制将这些边界token加入到学生模型的mask中。换句话说,模型不能只在那些容易的平坦区域上“刷题”,而必须去学习那些更难、包含更多空间信息量的边界区域。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

这就是所谓的boundary-forcing机制。

进一步来看,边界token还会被分配几何学习目标。模型不仅要学习语义信息,还要学习边界场,也就是那些能够描述边界位置、方向和几何关系的信号。为了确保这种训练过程的稳定性,团队还引入了分类化的边界场表示,以及a-contrario检验方法,以减少将噪声误认为是真实几何结构的情况。

简而言之,LingBot-Vision在预训练阶段就向模型传递了一个明确的信息:不要仅仅关注“这是什么”,还要学会“它的边界在哪里、形状如何、与周围空间是什么关系”。这也是它区别于DINOv3这类通用视觉基础模型的关键差异之一。

虽然LingBot-Vision同样建立在DINO自蒸馏范式的基础上,但它额外引入了Boundary forcing机制,使模型在掩码建模过程中更加关注形状和物体的边界结构。从实际结果来看,LingBot-Vision是一个约10亿参数级别的ViT模型,通过纯自监督训练,在密集空间任务上的表现可以匹敌甚至超越参数量最多大约7倍的视觉基础模型。在NYU-Depth v2数据集上,它取得了所有对比模型中的最佳精度,包括7B参数的DINOv3在内。

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

更值得注意的是,它的蒸馏学生模型同样表现出色。论文显示,一个0.3B参数的学生模型在NYU-Depth v2上能够达到与7B参数DINOv3相当的精度,而参数量大约减少了23倍。对于机器人应用而言,这一点非常现实——并非所有机器人都能背负一个巨大的模型到处运行,端侧部署、算力成本和延迟都是必须精打细算的要素。

LingBot-Depth 2.0正是这条技术路线的一次直接验证。它基于LingBot-Vision进行升级,在12个深度补全基准测试中取得了领先的结果。更重要的是,论文指出,随着下游训练数据的增加,LingBot-Vision编码器带来的优势会进一步扩大。换句话说,如果视觉底座更懂空间,那么后续的深度模型在吸收更多数据时,其优势不仅不会被冲淡,反而可能随着训练的增加而变得更加明显。

因此,LingBot-Vision和LingBot-Depth 2.0之间的关系,不能简单地理解成“一个视觉模型加一个深度模型”。前者是空间原生视觉底座,后者则是空间感知能力的落地验证。Depth2.0之所以能够在透明、反光、远距离、小目标以及复杂室内场景中表现更加稳定,其背后支撑它的,正是LingBot-Vision在预训练阶段就对边界和几何结构的格外重视。

具身智能要真正上岗,视觉感知至关重要

提到具身智能,我们最容易联想到的可能是大模型与机器人的结合,让它们能听懂指令、规划任务,并与人类进行对话。但客观地说,当它们真正进入工厂、仓库、商场和家庭等环境时,视觉依然是至关重要的一环。

因为视觉一旦不稳定,后续的所有链条都会受到影响。移动机器人可能无法绕开障碍物,机械臂可能抓取失败,服务机器人可能误判门、墙、玻璃与人之间的位置关系,人形机器人也很难在复杂环境中实现稳定的行动。

因此,具身智能的真正落地,需要视觉底座、空间感知、运动控制和硬件传感器等各个环节共同进步。

这也正是此次蚂蚁灵波开源LingBot-Vision和LingBot-Depth 2.0的意义所在。他们将机器人所需的视觉和空间感知能力,打造成了一个更易于复用的底座。对于机器人企业、开发者和研究机构而言,这有助于降低使用门槛,也让下游团队能够更快地在移动、避障、抓取等真实任务上进行验证。

从应用场景来看,这类能力可以服务于移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备以及空间计算等多个方向。

此外,LingBot-Depth 2.0已经通过了奥比中光深度视觉实验室的认证。双方还围绕EGO-RGBD数采设备、SDK以及后续的一体化相机产品展开了合作,这表明这套能力正在从论文和开源层面,继续向硬件和产品集成方向迈进。

当然,视觉底座的升级并不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本等问题,都还需要持续打磨。但趋势已经非常明确:具身智能的竞争,正在向更底层的基础能力延伸。毕竟,机器人要进入真实世界,第一步就是“看准”。

当机器人开始更好地理解空间时,具身智能距离真正上岗,也就更近了一步。

模型权重:
https://huggingface.co/collections/robbyant/lingbot-vision
https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

代码:
https://github.com/robbyant/lingbot-vision

技术报告:
https://arxiv.org/abs/2607.05247

项目主页:
https://technology.robbyant.com/lingbot-vision

来源:https://www.qbitai.com/2026/07/445230.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。