【论文阅读：SLAM】ORB-SLAM3：用于视觉、视觉惯性和多地图 SLAM 的高精度开源库

简介

随着视觉同步定位和映射 (SLAM) 系统和视觉里程计 (VO) 的深入研究，无论是单独使用相机还是与惯性传感器结合使用，已经产生了出色的系统，其准确性和鲁棒性不断提高。系统依赖于最大后验（MAP）估计，在视觉传感器的情况下，它对应于束调整（Bundle Adjustment，BA），或者在基于特征的方法中最小化特征重投影误差的几何BA，或者在直接法中最小化一组选定像素的光度误差的光度束调整（BA）。

随着最近集成了闭环的 VO 系统的出现，VO 和 SLAM 之间的区分更加模糊。视觉 SLAM 的目标是使用传感器来构建环境地图并实时计算姿态。相比之下，VO 系统将重点放在计算运动状态而不是构建地图上。SLAM 地图的一大优势是它允许匹配和使用 BA 先前的观测来执行三种类型的数据关联：

• 短期数据关联：匹配最新几秒内获得的地图元素。这是大多数 VO 系统使用的唯一数据关联类型，一旦环境元素离开视野就会被忘记，即使系统在同一区域移动，也会导致持续的估计漂移。
• 中期数据关联：匹配靠近相机且累积漂移仍然很小的地图元素。这些可以在 BA 中以与短期观察相同的方式进行匹配和使用，并且当系统在映射区域中移动时允许达到零漂移。与具有环路检测的 VO 系统相比，它们是我们的系统获得更好精度的关键。
• 长期数据关联：使用地点识别技术将观察结果与之前访问过的区域中的元素进行匹配，而不考虑累积漂移（闭环检测）、当前区域之前在断开连接的地图中映射（地图合并）或跟踪丢失（重新定位）。长期匹配允许使用位姿图 (PG) 优化或更准确地说，使用 BA 来重置漂移并纠正地图。这是中大型循环环境中 SLAM 准确性的关键。

ORB-SLAM3是第一个能够使用针孔和鱼眼镜头模型通过单目、立体和 RGB-D 相机执行视觉、视觉惯性和多地图 SLAM 的系统。主要创新：

• 一个紧密集成的视觉惯性 SLAM 系统，即使在 IMU 初始化期间，它也完全依赖于最大后验 (MAP) 估计，从而在小型和大型、室内和室外环境中实现实时稳健操作，比以前的方法准确二到十倍。
• 多地图系统，依赖于一种具有改进召回率的新地点识别方法，它让 ORB-SLAM3 能够在长时间的视觉信息不佳的情况下继续运行：当它丢失时，它会启动一个新地图，当重新回到原来的地图时，新地图将与之前的地图拼接。
• 与仅使用最新几秒信息的视觉里程计系统相比，ORB-SLAM3 是能够在所有算法阶段重用来自高视差共可见关键帧的所有先前信息的系统，即使它们在时间上相隔很久或来自之前的建图片段，这大幅提高了准确性。

系统总览

• Atlas 地图库： 由一组断开连接的地图组成的多地图表示。 有一个活动地图，其中跟踪线程本地化传入的帧，并通过本地映射线程不断优化和增长新的关键帧。 而 Atlas 中的其他地图称为非活动地图。 该系统构建了一个独特的 DBoW2 关键帧数据库，用于重新定位、闭环和地图合并。
• Tracking 跟踪模块 ：实时处理传感器信息并计算当前帧相对于活动地图的位姿，最大限度地减少匹配地图特征的重投影误差。它还决定当前帧是否成为关键帧。在视觉惯性模式下，通过在优化中包含惯性残差来估计自身速度和 IMU 偏差。当跟踪丢失时，跟踪线程会尝试重新定位所有 Atlas 地图中的当前帧。如果重新定位成功，则重新开始跟踪，并在需要时切换活动地图。否则，在一定时间后，活动地图被存储为非活动地图，并从头开始初始化新的活动地图。
• Local mapping 局部建图：将关键帧和点添加到活动地图，删除多余的关键帧，并使用视觉或视觉惯性 BA 优化地图，在靠近当前帧的关键帧的本地窗口中操作。此外，在惯性情况下，利用MAP估计初始化和优化IMU参数。
• Loop and map merging 回环和地图融合线程：以关键帧生成频率检测活动地图和整个地图集之间的公共帧。如果公共帧属于活动地图，则进行闭环校正；如果它属于不同的地图，则两个地图无缝拼接为一个，并成为活动地图。在闭环校正后，在独立线程中启动完整的 BA，以进一步优化地图而不影响实时性能。