视觉SLAM(vSLAM,即基于视觉传感器的同步定位与地图构建)赋予移动机器人通过相机感知环境、估算自身位姿并重建三维地图的能力,在自动驾驶、机器人导航和增强现实等场景中发挥着不可替代的作用。例如,在机器人导航任务中,vSLAM可提供环境信息与机器人实时位置,辅助其精准抵达目标点。传统vSLAM通常依赖RGB相机采集图像,然而这类相机受限于较低动态感光范围及运动中的动态模糊,在复杂场景下难以获取准确的位姿估计与三维重建结果。近年来,一种基于仿生相机的新型方案——事件相机——引起了广泛关注。事件相机凭借高帧率、宽动态范围、低功耗和低延迟等特性,使得相应的vSLAM算法在高速运动、光照剧烈变化等复杂环境中依然能够交出出色表现。
本综述系统梳理了基于事件相机的vSLAM研究进展,涵盖了事件相机的工作原理、事件数据的预处理方式及其表征形式。我们将主流算法划分为四大类:特征法、直接法、运动补偿法以及基于深度学习的方法。针对每一类方法,我们详细阐述了算法框架、关键贡献、优势与局限性。此外,本文整合了包含事件相机及多模态数据的众多vSLAM数据集,在典型数据集上对代表性方法进行了系统性评估,并讨论了不同方法的适用场景。最后,我们探讨了当前基于事件相机的vSLAM所面临的挑战以及未来可能的研究方向。
一、事件相机vSLAM介绍
vSLAM通过视觉传感器获取环境信息,实现机器人位姿估计与周围环境的三维重建。但传统视觉传感器受硬件限制——低动态感光范围与运动模糊——在高速运动或复杂光照场景下往往表现不佳。
事件相机近年来受到研究者青睐,其高帧率、低延迟和高动态范围,使得基于事件相机的vSLAM能够在高速运动和复杂光照等场景中脱颖而出。然而,事件相机产生的数据与常规图像完全不同。如图1(a, b)所示,事件相机记录每个像素点的光度变化,输出的是时间连续、异步、稀疏且不规则的数据流。传统vSLAM算法无法直接套用在这些数据上。而且每个事件携带的信息量极少,极易受硬件噪声影响,同时引入了更复杂的多视图几何关系。因此,我们需要一套全新的框架来处理事件数据,让vSLAM顺利运行。

图1. 事件数据在时间空间中的表示、投影到图像平面上的表示以及基于事件相机的vSLAM方法的相机位姿和三维重建图。
为了实现基于事件相机的vSLAM,研究者们设计出了多种数据关联、位姿估计和三维重建的解决方案。我们将主流算法归纳为四类:特征法、直接法、运动补偿法和基于深度学习的方法。特征法通过在事件数据中提取并跟踪特征点来实现vSLAM;直接法隐式关联事件数据,一步到位完成估计;运动补偿法则通过消除投影在图像平面上的事件表征所产生的动态模糊来推算相机运动;深度学习方法利用神经网络端到端预测位姿和三维地图。本文对这些算法进行了详尽介绍,并对代表性方法进行了结果评估。

图2. 基于事件相机的vSLAM方法总结表,包括优化方法、分类、事件表征、相机运动类型、场景类型以及采用的传感器等。
二、具体研究进展及讨论
为处理事件相机产生的异步、不规则数据,研究者尝试使用滤波器和脉冲神经网络来单独处理每个原始事件,但此类方法通常计算量巨大。另一方面,也有研究将一组连续事件转化为同步的事件表征,例如二维事件帧、时间平面和体素网格(voxel grid),以平衡延迟和运算量。更多细节见第三章。
主流的vSLAM算法通常包括三个步骤:数据关联、位姿估计和三维重建。它们对相同三维点在不同二维图像平面上的像素点构建关联,通过多视角几何进行位姿估计和三维重建。基于事件相机的vSLAM也遵循这一范式。
特征法通常从事件数据中提取并跟踪特征来构建数据关联,比如原始的点和线特征。利用显式的特征关联,可以估计每个特征点对应的相机位姿和三维点。但特征法非常依赖特征提取算法的表现,而事件数据中的噪声和运动变化特性,使得现有特征提取算法尚不够成熟,因此特征法的效果相对较差。VIO方法通过融合惯性数据提高了特征法的鲁棒性,取得了较好的性能。详见第四章。
直接法分为两类:(a) 事件-图像对齐法,利用光度变化与绝对光度的关系,建立每个事件与参照光度图像的像素点关联;(b) 事件表征对齐法,利用事件数据中的时空关系对齐两帧事件表征。由于事件通常产生于高图像梯度的区域,这一先验可以帮助直接法筛选像素点。同时,事件相机的高帧率保证了两帧之间的相对位姿很小,从而让直接法能稳定地找到最优解。详见第五章。
长时间跨度的事件帧往往会产生动态模糊,运动补偿法正是通过优化事件数据的对齐、锐化事件帧来估计相机运动。这类方法能保留长期边缘模型,提高位姿估计的鲁棒性,同时还能利用事件数据中的时间戳。但运动补偿法有可能引发事件塌缩——所有事件对齐到一个点或一条线上,导致估计的相机位姿不准确。详见第六章。
基于深度学习的方法通常将事件数据转换成二维事件表征或三维体素网格,用神经网络提取特征来预测位姿和重建三维地图。(a) 无监督学习法利用事件的光流作为训练信号来估计位姿和深度;(b) 监督学习法直接利用位姿和深度真值训练神经网络,输出预测结果。神经网络能提取事件相机的非线性特征,并处理噪声和异常。但深度学习方法需要大量训练数据,且泛化能力较差。另外,脉冲神经网络能直接处理异步、不规则的事件数据,但目前这项技术尚不够成熟,脉冲消失和训练问题仍有待解决。详见第七章。

图3. 四种方法的流程图。左上:特征法;右上:两种直接法(事件-图像对齐和事件表征对齐);左下:运动补偿法;右下:两种基于深度学习的方法(无监督学习和监督学习)。
三、实验对比
本文首先详细介绍了常用的基于事件相机的vSLAM数据集以及近年来的最新相关数据集。这些数据集提供了事件相机在不同场景、不同光照条件下的事件数据,以及相机的位姿和深度图。接着,我们说明了位姿和深度估计的评价标准,并在相机位姿和深度估计两个子任务上对代表性算法进行了详尽比较。在相同设定下,我们以公正的视角评测了当前基于事件相机的vSLAM方法与传统相机方法。相关指标结果如图4、5所示。最后,我们讨论了四种主流方法的适用场景。

图4. 深度估计算法的评估结果。

图5. vSLAM位姿估计的评估结果。
四、挑战与展望
本节我们讨论基于事件相机的vSLAM面临的主要挑战和未来的研究方向。这里先做一个简要概述,详细内容见第九章。
理论研究
理论分析能为基于事件相机的vSLAM方法的泛化性和验证性提供理论支撑。近年来,传统vSLAM在理论研究方面有不少进展,但基于事件相机的vSLAM还缺乏相应的理论工作。如何将传统vSLAM的理论研究扩展到事件相机,或者建立全新的理论体系,是一个值得深入探索的方向。
提高恶劣环境下的鲁棒性
事件相机在高动态感光范围场景中优势明显,但一些恶劣环境——比如夜晚和极端天气——仍然会提高事件数据的噪声,降低vSLAM的准确率。如何提升在恶劣环境下的鲁棒性,同时保持精确的位姿估计和三维重建,是一个充满潜力的研究方向。
全局优化
由于不准确的数据关联和传感器噪声,基于事件相机的vSLAM算法会累积偏移误差,导致长时间运行后偏差越来越大。全局优化——比如全局地图优化和位姿图优化——有望消除累积误差,让定位更准确。
多模态的基于事件相机的vSLAM
将基于事件相机的vSLAM与多模态领域融合,可以进一步提高鲁棒性。例如,惯性传感器能提供惯性数据,防止相机跟踪丢失;事件-图像对齐直接法利用光度变化和绝对光度的关系对齐事件与图像上的像素点。未来可以进一步挖掘不同传感器与事件相机之间的互补特性,做出更精确、更鲁棒的vSLAM方法。
五、总结
本文提供了一份关于基于事件相机的vSLAM的综述,涵盖了事件相机的工作原理、事件预处理的表征形式、四种主流vSLAM方法、公开的评估结果以及未来的研究方向。事件相机能显著提升vSLAM算法在高速运动和高动态感光范围场景下的鲁棒性。要充分利用事件相机的优势并将其应用到vSLAM中,未来还需要更好地处理异步、稀疏的事件数据。我们将长期维护一个开放的GitHub仓库(https://github.com/kun150kun/ESLAM-survey),定期更新最新的工作进展和数据集。
编辑:黄飞
