教程概述：迭代匹配与姿态估计联合框架

在计算机视觉领域，从两张图像中估计相机姿态通常需要两个步骤：先进行特征匹配，再根据匹配点计算姿态。传统方法往往将匹配与姿态估计分开处理，导致效率和精度难以兼顾。本教程将深入剖析一种迭代匹配与姿态估计联合框架，它创造性地利用了两者之间的几何关联——少数可靠的匹配即可获得大致准确的姿态，而大致准确的姿态反过来又能指导匹配过程。通过一个基于几何感知的递归注意力模块，该框架不仅输出稀疏匹配结果，同时给出相机姿态，并自适应地丢弃无信息特征点，大幅提升运行速度。下面我们将逐一拆解其核心设计与实现细节。

背景与问题：传统特征匹配与姿态估计的割裂

传统的相机姿态估计通常分为两个阶段：首先进行特征匹配，然后根据匹配对应关系估计姿态。因此，研究者要么专注于提升匹配质量（设计更鲁棒高效的特征检测与匹配算法），要么专注于过滤异常值（如RANSAC）。这种割裂的处理方式忽略了两项任务之间的内在联系：好的匹配能提供大致准确的姿态，而大致准确的姿态又能提供几何约束来引导匹配。本文正是基于这一洞察，提出了一个迭代框架，让匹配和姿态估计相互促进。

此外，为了提升效率，文中还设计了一种采样策略，将特征点的匹配得分、注意力得分以及预测姿态的不确定性相结合，自适应地去除无信息的关键点。与以往主要基于注意力得分的采样方法相比，这种方法有效克服了过采样问题，从两个方面降低时间成本：

• 对视点或外观变化较小的简单情况运行较少迭代，对复杂情况运行更多迭代（而非固定次数）。
• 降低每次迭代的计算成本，显著减少注意力计算的二次时间复杂度。

下图展示了框架的整体流程：

主要贡献：三项关键创新

• 提出了一个迭代执行几何感知匹配与姿态估计的框架，使两个任务以迭代方式相互促进。
• 采用稳健的采样策略，自适应地丢弃迭代过程中冗余的特征点，显著降低时间复杂度。
• 将姿态不确定性应用于采样策略，进一步提升匹配和姿态估计的精度。

方法详解：核心算法与实现

阶段一：描述子扩充与匹配预测

基于Transformer的迭代匹配：

首先，给定来自两幅图像的两组特征点，m和n是特征点的数量。匹配器预测的匹配表示为：，其中表示匹配对，而每个特征点由其二维坐标、置信度和描述子组成，d是描述子维数。

作者将每个特征点的坐标及其置信度用MLP多层感知器编码为一个高维向量，添加到原来的描述子中：

其中 and 是用于的自注意力和交叉注意力机制，是FC层全连接层，是3层的MLP，是通道间串联。使用共享注意力机制来进一步增加预计算的注意力矩阵的描述符：

之后开始进行迭代匹配预测。获得扩充描述子后，计算匹配矩阵。当匹配超过预定义的阈值时定义为预测匹配。与SuperGlue类似，采用最小化匹配矩阵负对数似然的分类损失来迫使网络预测每次迭代的正确匹配，如下所示：

小提示： 这种描述子扩充方式让模型能够利用空间信息和置信度，使匹配结果更鲁棒。

阶段二：几何约束下的迭代匹配

基于Transformer的迭代匹配：

由于噪声和退化，并非所有正确匹配都能给出良好的姿态。之前的操作仅保证具有判别性高的描述子的特征点有更高的匹配分数，并优先被识别参与姿态估计，但忽略了鲁棒姿态估计所需的几何要求。因此，直接使用所有潜在内点（匹配分数超过阈值的点）进行姿态估计可能不准确。所以需要隐式地将几何信息编码进匹配Transformer，迫使匹配模块首先关注那些不仅正确而且很可能给出良好姿态的匹配。

为此，在每次迭代中，在中超过预定义阈值的匹配用来计算基础矩阵，其中是预测的基础矩阵，是预测的匹配，是匹配分数。然后联合最小化位姿误差和极线误差来强制和真值之间的几何一致性，如下：

是Sampson距离。和分别为真值和预测匹配。

对于每次迭代，最终损失为：

我们将L(t)应用于每次迭代，并计算t次迭代的总损失：

常见问题： 为什么要在损失中加入极线误差？
答：极线误差（Sampson距离）衡量匹配点满足对极几何约束的程度。加入这一项可以迫使模型预测的匹配不仅分数高，而且实际几何位置也准确，从而提升姿态估计的稳定性。

自适应几何感知的采样策略

事实上，许多关键点是无信息的，而且大量关键点在其他图像中没有对应关系。更新这些关键点会带来额外的时间开销。因此，我们提出了一种有效的策略来去除这些关键点。

每个关键点所包含的信息由其注意力矩阵中对其他关键点的贡献来定义（m，n是关键点中query和key的数量，h是head的数量）。通过沿head和key对值取平均值来计算每个关键点的得分，。

在第t次迭代时，包含所有对的匹配置信度的匹配矩阵M(t)揭示了哪些关键点可能具有真正的对应关系。基于M(t)，生成两个子集和。由于和中的关键点是潜在的内点，它们可以为寻找更多信息提供指导，即让, s.t. 表示中关键点的自注意力得分，生成了另一组具有高自注意力得分的关键点, s.t. 。通过重复这个过程，从具有高交叉注意力得分的X(t)中获得另一个子集作为，并且从Y(t)中具有高自和交叉注意力分数的获得两个集合。最后的集合是信息关键点和匹配关键点的并集，。

关键创新： 当描述符不具有判别性时，匹配矩阵M(t)在最初的几次迭代中可能不是非常准确。为了缓解这个问题，使用了预测的姿态。将姿态一致性的不确定性定义为：

使用r(t)来调整采样阈值θm：

小提示： 这种自适应采样策略相当于在每次迭代中动态“淘汰”那些明显不会参与最终姿态估计的关键点，从而让后续注意力计算只关注真正有用的点。

姿态估计与迭代停止条件

在测试时，每次迭代后计算匹配M(t)，并根据与RANSAC的匹配来估计姿态。连续预测姿态P(t)和P(t-1)之间的相对误差作为停止标准：如果旋转和平移的最大误差小于阈值，则迭代停止。

常见问题： 如何设置迭代停止的阈值？
答：通常根据实际精度需求设定，例如旋转误差小于0.5°、平移误差小于0.1米。文中在实验中对不同数据集采用了经验阈值。

实验与结果：多数据集验证

在YFCC100m、Scannet、Aachen Day-Night数据集上进行了测试。

• YFCC100m：大型室外数据集，具有剧烈光照变化、季节变化和视点变化。
• Scannet：室内数据集，广泛用于深度预测和姿态估计。
• Aachen Day-Night：昼夜场景变化极大。

基线方法包括：简单匹配器（MNN、NN-RT）、基于滤波的方法（OANet、AdaLAM、CLNet、LMCNet）、基于Transformer的匹配器（SuperGlue、SGMNet、ClusterGNN）。

实验结果如下（图片展示了各方法在不同指标上的对比）：

运行时间对比：

可以看出，本文方法在精度和效率上均优于多数基线，尤其在挑战性场景下迭代次数自适应增加，确保稳健性。

常见问题（Q&A）

• Q: 该框架与SuperGlue等端到端匹配器有何本质区别？
  A: 传统端到端匹配器（如SuperGlue）只输出匹配，姿态估计仍需后处理。而本文框架将姿态估计融入迭代过程，使匹配和姿态相互反馈，并利用姿态不确定性指导采样，实现更高的效率与精度。
• Q: 自适应采样如何避免误删有用关键点？
  A: 采样策略综合考虑了注意力得分、匹配置信度以及预测姿态的不确定性。即使初始匹配不可靠，姿态不确定性会调整阈值，避免过早剔除潜在内点，当后续迭代姿态趋稳后，采样更准确。
• Q: 在弱纹理场景下表现如何？
  A: 由于框架利用了几何约束和迭代优化，在特征点稀疏或重复纹理的情况下，仍能通过几何一致性引导匹配，比纯匹配器更鲁棒。实验中的Scannet室内场景包含大量弱纹理区域，结果仍领先。

总结：联合框架的优势与未来方向

本文提出了一种联合迭代匹配与姿态估计的框架，让匹配和姿态估计两项任务相互促进，从而同时提高精度和效率。核心创新包括：将几何信息嵌入匹配模块，使模型预测的匹配不仅准确，而且能给出良好的姿态；以及在每次迭代中利用预测匹配、相对姿态和注意力得分自适应去除无潜在真实匹配的关键点。该方法在多个公开数据集上取得了领先的性能，且运行时间显著降低。这一思路为未来特征匹配与几何估计的联合学习提供了新的方向。

编辑：黄飞