MASt3R-Nav像素级相对3D地图领航高精度无全局重建视觉导航新范式

时间：2026-06-02 11:38

提出像素级相对3D连通性地图MASt3R-Nav，无需全局重建与深度传感器。WayPixel代价图保留精细几何梯度，PixelReact控制器利用稠密梯度修正路径偏差。在轨迹模仿、陌生目标等任务中大幅领先SOTA，仿真模型零微调迁移至真实机器人，兼顾精度、效率与落地性。

研究背景

ICRA 2026 像素级相对 3D 地图领航！MASt3R-Na v：打造高精度无全局重建视觉导航新范式

视觉导航是自主机器人与智能移动设备的核心技术，而环境表征方式直接决定了导航的精度、鲁棒性及实际部署的难易程度。目前主流的视觉导航方案各有显著短板，始终难以在精度、效率与通用性上达到理想平衡：

经典全局度量3D地图——基于占据栅格或SLAM重建的全局一致几何地图。理论上，该方法确实能实现精准的路径规划，但其高度依赖高精度全局位姿配准与完整的3D点云重建。这不仅带来巨大的算力开销，且对环境变化十分敏感，一旦匹配误差累积，导航性能便会急剧下降甚至完全失效。

图像相对拓扑导航——以关键帧图像作为地图节点，依靠帧间视觉相似度构建拓扑边连接，几乎完全脱离了三维几何约束。其优点在于模型轻量，但功能严重受限，仅能执行简单的示教-复现任务，无法自主规划全新路径，面对未知岔路和环境变化时几乎无能为力。

物体相对语义导航——将环境抽象为柜子、墙面、桌椅等语义物体，并以这些物体作为子目标进行路径规划。尽管这种方法提升了规划的容错性，但过度的语义抽象导致了底层几何细节的丢失——墙面边界、斜坡、微小障碍物等信息被完全抹平，极易引发决策偏差、路径错误，甚至碰撞风险。

此外，现有方案普遍存在规划与控制割裂的痛点：控制器只能接收单一的粗粒度子目标，缺乏连续的局部代价梯度引导，导致无法自主修正规划路径中的微小误差，在复杂室内环境中适应性极差。基于上述背景，该论文跳出全局重建与高层抽象的固有框架，立足于像素级局部相对几何，打造了一种全新的像素级导航范式——MASt3R-Na v。

主要贡献

全新像素级地图表征：提出MASt3R-Na v拓扑导航流水线，构建像素-相对3D连通性地图。仅利用像素间的局部相对几何关系，无需全局坐标一致性、无需精准位姿估计、也无需额外深度传感器，大幅降低了建图与导航的应用门槛。
首创WayPixel代价图中间表征：设计了稠密像素级的WayPixel Costmap，作为路径规划与控制器的通用接口。该表征完整保留了墙面、坡度、遮挡物等精细几何梯度，弥补了图像级与物体级表征所丢失的关键细节。
定制化PixelReact学习控制器：专为WayPixel代价图设计了轨迹预测控制器，利用像素稠密代价梯度自主修正路径偏差，对规划瑕疵具有强鲁棒性，能够精准输出机器人局部鸟瞰视角下的轨迹路点。
全场景严苛验证：在4类高难度导航任务中全面超越GNM、ObjectReact等当前领先算法；仿真训练模型可直接部署于真实P3DX移动机器人，实现零微调的仿真到现实迁移，落地实用性极强。

研究方法

MASt3R-Na v的整体架构分为骨干模型、离线建图、在线执行、控制器训练四大核心环节，并引入了图结构精简策略，在保证几何精度的前提下严格控制计算开销。

1. 核心骨干：MASt3R 3D基础模型

全程采用冻结预训练的MASt3R作为视觉感知骨干。输入任意RGB图像对，便能输出两大核心能力：

跨帧稠密像素匹配关系；
逐像素相对3D坐标（即像素的3D位置信息）。

定义像素 p 与 q 之间的3D欧氏距离：D_{3D}(p,q) = |D(p) - D(q)|。仅依靠单目RGB图像与基础模型，就能获取可靠的相对三维几何信息，彻底摆脱了对深度硬件的依赖。

2. 离线建图：像素级拓扑地图构建

机器人遍历环境采集图像序列，构建像素拓扑图 G=(N,E)：

节点N：只保留参与跨帧匹配的有效像素，过滤掉无几何关联的冗余像素；
边E：分为两类——
- 帧间边：连接不同图像中相匹配的同一物理像素，代价设为0，实现跨帧坐标关联；
- 帧内边：连接同一张图像内的有效像素，代价由3D欧氏距离决定。

为解决百万级像素图带来的计算爆炸问题，采用三重优化策略：仅保留有匹配像素、用欧氏最小生成树（EMST）替代全连接、运行时动态激活孤立像素。这一方法在保留几何完整性的同时，大幅压缩了图规模。

3. 在线执行：定位 + WayPixel稠密代价图生成

这是导航的核心环节，通过三步生成全覆盖的像素代价梯度：

像素级定位：将当前实时图像与历史子图进行稠密匹配，选取匹配度最高的子图完成机器人定位；
稀疏代价初始化：使用Dijkstra算法预计算地图中所有像素到目标的最短路径代价，实时匹配的像素直接继承地图像素的规划代价；
全局代价传播：将稀疏匹配像素的代价，扩散至整张图像中所有未匹配的像素，生成完整的WayPixel代价图。

公式表达：C(p_u^q, p_g) = min_{p_m^q in P_m^q} (D_{3D}(p_u^q, p_m_q) + C(p_m^q, p_g))

最终画面中每一个像素都拥有指向目标的连续代价梯度，为控制器提供了细粒度的决策依据。

4. 训练阶段：PixelReact控制器

沿用成熟的模仿学习框架，网络由卷积编码器+MLP解码器组成：

编码器输入WayPixel代价图，提取稠密的几何特征；
解码器一次性预测未来10个局部2D轨迹路点；
以真实的最优路径为监督，采用L2回归损失进行训练，完美拟合最优导航轨迹，能兼容各类室内布局。

实验设置

为公平对比算法性能，论文搭建了标准化、多维度的实验评测体系：

评测数据集：采用HM3D-IIN数据集验证集，包含36个独立室内场景，每个场景均设置独立导航任务，覆盖住宅、办公等复杂环境；
四大高难度导航任务：
- 轨迹模仿：复刻机器人历史遍历路径；
- 陌生目标导航：前往见过但未走过的目标，需自主规划新路线；
- 捷径规划：避开原遍历路线，自主寻找更短通行路径；
- 反向遍历：逆着历史轨迹完成导航，考验大视角匹配能力；
核心评估指标采用机器人导航领域的通用权威指标：SPL（路径加权成功率）与SSPL（软路径加权成功率），兼顾任务完成度与路径效率；
成功判定标准：机器人在300步内抵达目标1米范围内，即判定导航成功；
软硬件部署：仿真基于Habitat平台；真实硬件采用P3DX移动机器人搭配RealSense RGB相机；算法评测服务器配置为AMD Ryzen 9 7950X + RTX A4000 16GB。