高鲁棒性、高精度、实时性视觉SLAM系统研究

一、课题来源、目的及意义

近年来，智能机器人领域得到了世界各地研究者的关注，并将研究成果运用于制造业、农业、医疗、交通、服务、物流等行业。自主导航机器人是智能机器人的主要组成部分，机器人的自主导航与三个关键性技术密不可分：定位，建图，和导航。定位是指确定机器人在当前环境中的位姿，建图是指将观测得到的局部地图整合到全局一致的地图中，路径规划确定了进行导航的最佳路线。

定位与建图看起来是独立的，但是实际上，精确的定位依赖与当前地图的精度，而高精度地图的每个元素的构建都依赖于高精度的定位，定位与建图的相互依赖关系催生了SLAM技术，SLAM是simultaneous localization andmapping的缩写，意为同时定位与建图技术，SLAM技术的巨大发展，主要是因为以下应用场景：

1. 室内环境、室外GPS信号不好的区域、水下、太空等，没有先验地图，难以获得全球定位，但是需要根据周围环境构建局部地图，进行自主导航。

2. 有先验地图，但是无法获得自身相对于地图的位置，比如提前绘制了工厂的地图，关机重启后不知道当前的位置，用SLAM技术就可以重定位。

SLAM技术主要根据传感器的不同主要分为激光SLAM和视觉SLAM。机器人通过激光雷达来实现SLAM被称为激光SLAM，激光雷达价格较为昂贵，有效距离不够远，开阔场景下不适用。使用相机作为唯一感知环境的传感器，被称为视觉SLAM。由于相机具有成本低，轻，很容易放到商品硬件上的优点，且图像含有丰富的信息，视觉SLAM技术受到了更大的关注。根据采用的视觉传感器不同，可以将视觉SLAM主要分为三类：仅用一个相机作为唯一外部传感器的单目视觉SLAM；使用多个相机作为传感器的立体视觉SLAM，其中双目立体视觉的应用最多；基于单目相机与红外传感器结合构成的传感器的RGBD-SLAM。

高鲁棒性、高精度、实时性的视觉SLAM，对无人驾驶，增强现实等领域有着里程碑式的意义。比如：无人驾驶领域用视觉SLAM技术来实现对车辆周围环境的建图和定位，对目标物体的检测与追踪，高鲁棒性带来高安全性，精度对车距的控制、启停刹车有着重大影响，而实时性不好可能会发生卡顿，从而引发危险。

二、国内外研究现状分析（在文献综述基础上凝练）

SLAM技术是一个典型的多学科交叉领域，其框架常常被分其前端与后端，前段与计算机视觉、信号处理交叉。后端与几何学，图论，优化理论，概率估计相关，所以一个SLAM专家常常要处理从传感器模型到系统集成的问题。对图像信息采用的方法不同，视觉SLAM分为了特征点法和直接法两大派别。

1. 基于特征点的视觉SLAM

基于特征点的视觉SLAM发展主要分为三个阶段。第一个阶段为滤波器阶段，这个阶段主要使用扩展卡尔曼滤波（EKF），无迹卡尔曼滤波（UKF），粒子滤波。第二个阶段为关键帧阶段，这一阶段将整个SLAM系统按线程划分为定位，建图，闭环检测，也成为现阶段比较主流的框架。第三个阶段为RGD阶段，由于微软推出了RGBD相机，可以获得图像的深度信息，简化了三维重建的过程，文献[18]是最早提出的使用RGBD相机对室内环境进行三维重建的方法，在彩色图像中提取SIFT特征并在深度图像上查找相应的深度信息。然后使用RNSAC方法对３⁃Ｄ特征点进行匹配并计算出相应的刚体运动变换，再以此作为ICP(iterativeclosest point)的初始值来求出更精确的位姿。

2. 直接的视觉SLAM

直接的SLAM方法指的是直接对像素点的强度进行操作，避免了特征点的提取，该方法能够使用图像的所有信息。此外，提供更多的环境几何信息，有助于对地图的后续使用。且对特征较少的环境有更高的准确性和鲁棒性。为了构建稠密的三维环境地图，比较具有代表性的是En-gel等[26] 提出的LSD-SLAM算法（large-scale direct SLAM），该方法在估计高准确性的相机位姿的同时能够创建大规模的三维环境地图。文献[29]是较好的直接RGB_D SLAM方法，该方法结合像素点的强度误差与深度误差作为误差函数，通过最小化代价函数，从而求出最优相机位姿，该过程由g2o实现，并提出了基于熵的关键帧提取及闭环检方法，从而大大降低了路径的误差。

视觉SLAM的主要标志性成果有：AndrewDavision提出的MonoSLAM[3]是第一个基于ＥＫＦ方法的单目ＳＬＡＭ，能够达到实时但是不能确定漂移多少，能够在概率框架下在线创建稀疏地图。ＤＴＡＭ[24]是2011年提出的基于直接法的单目SLAM算法，该方法通过帧率的整幅图像对准来获得相对于稠密地图的相机的６个自由度位姿，能够在GPU上达到实时的效果。PTAM[10]是由Georg Klein提出的第一个用多线程处理SLAM的算法，将跟踪和建图分为两个单独的任务并在两个平行的线程进行处理。KinectFusion_[27]是第一个基于Kinect的能在GPU上实时构建稠密三维地图的算法，该方法仅使用Kinect相机获取的深度信息去计算传感器的位姿以及构建精确的环境3D地图模型。ORB_SLAM_[13]是2015年出的比较完整的基于关键帧的单目SLAM算法，将整个系统分为追踪、地图创建、闭环控制3个线程进行处理，且特征的提取与匹配、稀疏地图的创建、位置识别都是基于ORB特征，其定位精确度很高，且可以实时运行

研究目标、内容及关键技术

对主流的视觉SLAM系统比如ORB-SLAM系统进行分析和实验，其SLAM框架主要包括前端，后端，和回环检测，重点关注鲁棒性，精度，实时性。不同的场景下SLAM前端所采取的方法有所不同,后端优化的策略也会随着应用场景的变化而变化。研究SLAM优化算法，预期在某个特定场景下提出具有高稳健性、高精度与实时性良好的SLAM系统。本研究的关键技术主要如下：

关键技术一、特征检测与匹配

视觉SLAM系统的前端使用的是视觉传感器，数据形式是图片，图片信息是二维信息，从二维信息恢复三维信息，计算相机位姿，恢复相机运动就是SLAM前端的主要工作。对图片进行特征检测，目前主要是基于特征点，也有少量基于几何特征的文献（PLSLAM）。基于特征点法的前端，长久以来被认为是视觉里程计的主要方法，它运行稳定，对光照、动态物体不敏感。使用特征点有如下几个局限性：1.使用特征点进行匹配仅能恢复稀疏的点云和计算相机位姿，可能由大量有用的图片信息没有被利用。2.特征点在面对场景特征不够丰富的情况下会失效，比如一面白墙。3.特征点的提取非常耗时，难以实现实时性。

关键技术二、关键帧的选取

关键帧的概念主要是给后端用的，在许多SLAM系统中都会用到。在实践中，对每个图像都做详细的优化和回环检测，太耗费资源。Klei等_[10]在2007年提出了这个观念，并开源了单目V-SLAM系统PTAM。关键帧使得地图构建仅仅需要维护从视频中稀疏抽取出来的关键帧及关键帧中可见的三维点。文献[5]基于关键提出了一种快速回环的方法。关键帧的构建方式和结构，对后端优化的效率具有很大影响。

关键技术三、建图

在经典的SLAM模型中，地图是指所有路标点的集合。一旦确定了路标点的位置，就可以说完成了建图。SLAM作为一种底层技术，往往是为上层应用提供信息的。如果上层是机器人，开发者可能需要其能够完成全局定位，这就要求全局一致的地图。在一个复杂且动态变化的环境下工作的机器人，3D地图的快速生成是非常重要的，且创建的环境地图对之后的定位、路径规划及壁障的性能起到关键性的作用，从而精确的地图也是非常重要的。

关键技术四、闭环检测

闭环检测及位置识别,判断当前位置是否是以前已访问过的环境区域。三维重建过程中必然会产生误差累积,实现闭环是消除的一种手段。在位置识别算法中, 视觉是主要的传感器。文献[51] 对闭环检测方法进行了比较,且得出图像对图像 [52-53] 的匹配性能优于地图对地图 [54] ,图像对地图的匹配方法。而图像间的匹配方法中，词袋得到了广泛的应用。

拟采用的研究方法和技术路线

一、文献研究法。SLAM作为新兴的领域，近三十年来取得了极大的进展，相关的文献资料非常丰富。基于前人的研究成果SLAM系统的鲁棒性会受到多方面的影响。本着从底层研究的原则，计划重点关注近年来处理特征缺失的解决策略，因为基于特征点的SLAM方法会因为图像特征的缺失回导致特征提取失败，而没有特征的图像就没有办法匹配，从而没有办法恢复相机的运动。

二、通过数据集进行广泛实验。实践是检验真理的唯一标准。无论是跑开源算法，还是对自己的算法进行研究，如果缺少一个合适的数据平台，都会拖慢科研的脚步。通过借助网上的一些数据集进行实验，可以大大提高科研的效率。比较流行的是kitti数据集，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成[1] ，以10Hz的频率采样及同步。总体上看，原始数据集被分类为’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测，label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。数据集还提供ground truth用来验证算法的正确性。

三、本质分析法。通过对问题的详细分析，从而定位问题的根源，从本质上寻找解决问题的方式，往往可以提出创新的方法。科学问题特别是算法问题，其实都是数学和物理问题，关注细节，找到问题本质，就一定能找到突破口。

技术路线：

通过阅读文献学习并研究前人经验，学习多视图几何，非线性优化，状态估计等理论，从而掌握理论基础。阅读开源代码，对开源方案进行实验，并分析其优缺点，重点关注前端特征提取与匹配的效率，描述子的计算方法，寻找优化的方向。对回环检测进行分析，研究基于语义标签的回环检测方法。研究IMU与相机融合的方案，提升快速运动时的鲁棒性。在kitti数据集进行实验，使用该数据集的评估方法对研究结果进行评价。

论文预期成果及创新点

一、特征点法与直接法组合策略。特征点法的视觉前段在面对白墙等特征缺失的情况会失效，而直接法可以直接利用图像灰度，最小冲光度误差来实现对准。研究一种融合策略，通过对场景信息的判断，能够灵活在这两中方法间进行。当特征缺失时，通过直接法结算的姿态如何更新并融合进现有的位姿图结构，同时更新路标点，是有待解决的问题。

二、视觉+惯性导航SLAM。惯性传感器能够测量传感器本体的速度和加速度，被认为与相机具有明显的互补性，而且十分由潜力在融合之后得到更完善的SLAM系统。IMU可以用来应对短时间快速的移动，相机可以应对IMU积分所导致的漂移，IMU可以矫正面对动态物体相机对运动误判。研究两者数据的融合，很有希望得到更好的SLAM系统。

三、语义SLAM。目前位置，SLAM的方案都处于特征点和像素的层级。关于这些特征点到底来自与什么东西，把物体识别和视觉SLAM结合起来，构建带物体标签的地图。把标签信息引入到回环检测中，很有可能会大大提高回环检测的准确度和效率。

课题研究基础及可行性分析

SLAM是一个新兴多学科交叉的领域：计算机视觉，多传感器融合，机器人等。华中科技大学CAD中心是国内企业信息化应用技术研究开发、培训和推广应用全面发展、实力雄厚的科研与成果转化基地。中心积累了大量跨学科的研究人员和研究成果，形成了良好的科研氛围，十分有利本研究的开展。SLAM后端的问题时间上也是优化问题，课题组内对于优化方面的问题也积累的十足的经验。

人员配备、实验条件及计划进度安排

通过对研究路线的分析，预期配备人员一人。实验条件为线上与线下结合的方式，线上使用Kitti数据集进行验证。线下自己通过课题组的turtlebot进行实验验证。

进度安排：

2018.6.01-2018.9.01 研究ORB-SLAM，对跟踪，建图，和回环检测的过程进行分析和学习。

2018.9.01-2018.10 研究白墙的应对策略并提出解决办法，并搭建平台进行实验。

2018.10-2018.11 研究IMU与相机融合的方法。

2018.11-2018.12 研究语义SLAM

2018.12-2019.03 搭建完整的SLAM系统，在kiiti数据集上进行实验。

2019.03-2019.05 撰写并反复改论文报告

目前研究进展、遇到的问题及对策

研究进展：

1.完成了理论基础的学习，包括多视图几何，非线性优化，状态估计等，掌握了C++开发语言，为后续研究的展开打下了良好的基础。

2.阅读了视觉SLAM文献综述和ORB-SLAM相关论文，试验了开源框架ORB-SLAM系统，对其有了直观的感受。

3.自行搭建了双目视觉里程计，使用kitii数据集进行了测算。

遇到的问题：

1.双目视觉里程计累计误差较大。

2.直接法如何构建局部地图。

3.如何构建回环。

对策：

1.对运行的每副图进行分析，发现误匹配的点较多，通过添加水平约束和垂直约束对无匹配的点进行排除。

2.查阅文献，借鉴现有的构建局部地图的方法，提出创新的算法。

3.仔细阅读ORB-SLAM回环的源码。

参考文献

[1] Andreas Geiger and Philip Lenz and Raquel Urtasun. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. CVPR, 2012

导师评语及签字

中心签字