三维重建学习笔记之深度相机入门篇

说在前面：

一、学术词汇概念解析

学习历程：三维重建→深度相机→点云→点云配准

1.三维重建技术：基于视觉的三维重建，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。《参考博客1》《参考博客2》《三维重建中的点云拼接算法研究》

2.深度相机：《三种主流深度相机方案对比》《深度相机在计算机视觉与图形学上的应用研究(英文)》《深度相机哪家强？》

3.点云：在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。

点云是在和目标表面特性的海量点集合。
根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度（Intensity）和颜色信息（RGB）。
在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。
点云的格式：; *.pts; *.asc ; *.dat; *.stl ; *.imw；*.xyz;

3.点云拼接，配准，注册说的是同一个概念，就是把不同位置的点云通过重叠部分的信息，变换到同一个位置。《参考博客》

其实，点云的配准一般分为等价集合和律属集合两种配准，其中等价集合配准叫做匹配过程，律属集合配准被称为Alignment。点云的匹配一般使用ICP方法（ ICP：Iterative Closest Point迭代最近点），即两个点云纯粹通过刚体位姿变换即可大致重合。《参考博客》

二、技术方针

学习历程：各型深度相机原理→各型相机点云配准实现原理→典型项目重现→配准方案选择

明要求：本章的目的是需要通过一些指标判断在不同应用场景下深度相机的选择

首先需要清楚深度相机类型及评判指标，第二步需要搞懂几种主流方案相机的原理，第三步需要重现点云配准的实验，第四步典型项目的重现，第五步点云配准方案的选择

1.RGBD方案对比<深度相机选择参考标准>

关键技术规格：

1.检测范围；

2.检测精度；

3.检测角度；

4.帧率。

5.模块大小

6.功耗

目前主流的深度摄像头方案在检测距离上、精度、检测速度上相差不大，区别在于：

1、结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，但容易受光照影响，室外环境基本不能使用；

2、TOF方案抗干扰性能好，视角更宽，不足是深度图像分辨率较低，做一些简单避障和视觉导航可以用，不适合高精度场合。受环境影响小，传感器芯片并不成熟，成本很高，实现量产困难。

3、双目方案，成本相对前面两种方案最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也继承了普通RGB摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用。

双目RGB、结构光、TOF三种主流技术的详细的比较：

三种主流RGBD方案对比
方案	双目	结构光	TOF
基础原理	双目匹配，三角测量	激光散斑编码	反射时差
分辨率	中高	中	低
精度	中	中高	中
帧率	低	中	高
抗光照（原理角度）	高	低	中
硬件成本	低	中	高
算法开发难度	高	中	低
内外参标定	需要	需要

总结：

1.双目方案，最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。

2.结构光方案，目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没。因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定。

3.TOF方案，传感器技术不是很成熟，因此，分辨率较低，成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量，是未来。《参考博客》

2.主流深度相机原理

双目《深度相机原理揭秘--双目立体视觉》本次项目暂不深究双目相机

结构光《深度相机原理揭秘--结构光（iPhone X 齐刘海原理）》

TOF 《深度相机（一）--TOF总结》《深度相机原理揭秘--飞行时间（TOF）》《可测深度摄像头（TOF Camera）原理是什么？》《Google Project Tango获取深度信息的原理是什么？》

3.主流相机测评（原理+应用）《深度相机哪家强？》

相机一：微软的Kinect1

相机二：微软的Kinect 2《基于点云配准的3D物体检测与定位》《基于Kinect深度传感器的三维重建技术研究》

相机三：Intel 的 RealSense

相机四：华硕的Xtion《基于救援机器人灵活操控的目标位姿估计研究》《膝关节置换手术中的机器人切骨系统研究与开发》《基于视觉传感器的双机械臂协作系统构建与研究》《利用OpenNI2、OpenCV2获取华硕XtionPro深度图像和彩色图像》