【深度相机系列二】深度相机分类之飞行时间法（TOF）
说明：文中所举例的产品比较早，读者把重点放在学习原理上就好。
目前的深度相机根据其工作原理可以分为三种：TOF、RGB双目、结构光。
1. TOF简介
- 飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部分组成。
飞行时间法深度测量基本原理示意图
- TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。
- 与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。
2. TOF优势
- 与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。
3. TOF分类
- TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。
（1）脉冲调制
脉冲调制方案的原理比较简单，如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。
脉冲调制方案的照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G0，G1）可以把电流导入不同的可以储存电荷(下图S0，S1)的电容里。
相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。 然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。
因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。记光的速度为c，tp为光脉冲的持续时间， S0表示较早的快门收集的电荷， S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：
最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到电荷，即S1 = 0。代入公式会得出最小可测量距离d=0。最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。
优点：
- 测量方法简单，响应较快
- 由于发射端能量较高，所以一定程度上降低了背景光的干扰
缺点：
- 发射端需要产生高频高强度脉冲，对物理器件性能要求很高
- 对时间测量精度要求较高
- 环境散射光对测量结果有一定影响
（2）连续波调制
- 实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导)，因此可以利用相位偏移来测量距离。
连续波调制的测量原理相对脉冲调制来说复杂一些，我们以最常用的连续正弦波调制来推导一下测量的原理。
连续正弦波调制测量方法，具体的推导过程如下。序号1-9对应下图的公式1-9。
假设发射的正弦信号s(t)振幅是a，调制频率是f
经过时延 △t后接收到的信号为接收r(t)，衰减后的振幅为A，强度偏移（由环境光引起）为B
四个采样时间间隔相等，均为T/4
根据上述采样时间可以列出四个方程组
从而可以计算出发射和接收的正弦信号的相位偏移△φ
据此可以根据（6）中公式计算物体和深度相机的距离d
接收信号的衰减后的振幅A的计算结果
接收信号强度偏移B的计算结果，反映了环境光
A, B的值间接的反应了深度的测量精度，深度测量方差可以用公式9近似表示。
优点：
相位偏移（公式5）中的(r2-r0)和(r1-r3)相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。
可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度（方差）。
不要求光源必须是短时高强度脉冲，可以采用不同类型的光源，运用不同的调制方法
缺点：
需要多次采样积分，测量时间较长，限制了相机的帧率
需要多次采样积分，测量运动物体时可能会产生运动模糊。
4. TOF总结
- 目前的消费级TOF深度相机主要有：微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。
- TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。
- 但是，从前面的原理不难看出，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。
转自：https://blog.csdn.net/qq_37764129/article/details/81001558?utm_medium=distribute.pc_relevant_t0.none-task-blog-searchFromBaidu-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-searchFromBaidu-1.control
【深度相机系列二】深度相机分类之飞行时间法（TOF）相关推荐
- 深度学习系列：深度学习在腾讯的平台化和应用实践
深度学习系列:深度学习在腾讯的平台化和应用实践(一) 莫扎特 2015-01-04 6:05:13 大数据技术 评论(0) 深度学习是近年机器学习领域的重大突破,有着广泛的应用前景.随着Google公 ...
- 【深度学习系列】——深度学习简介
这是深度学习系列的第一篇文章,欢迎关注原创公众号 [计算机视觉联盟],第一时间阅读我的原创!回复 [西瓜书手推笔记] 还可获取我的机器学习纯手推笔记! 直达笔记地址:机器学习手推笔记(GitHub地址 ...
- Android添加拍照功能,Android相机开发(二): 给相机加上偏好设置
Android Camera Develop: add settings to camera app 概述 继上一篇实现了一个最简单的相机APP后,本篇主要介绍实现相机的各种偏好设置,比如分辨率.闪光 ...
- 【腾讯深度学习系列】深度学习及并行化实现概述
[原文:http://djt.qq.com/article/view/1245] 摘要: 深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别.图像识别和检索.自然语言理解等.深层模型是包含多个 ...
- 深度学习系列-前言:深度学习的好教程
写在之前:忙忙碌碌,总是在走走停停,挤挤时间,留一个思考的机会.断断续续,研究深度学习也有段时间,从开始的小白到现在算是入门了,中途看过些许文章文献资料,也有许多的问题.高山之行才刚刚开始,本系列旨在 ...
- 深度相机（二）——飞行时间（TOF）
深度相机按照深度测量原理不同,一般分为:飞行时间法.结构光法.双目立体视觉法.本文就来说一说飞行时间法. 一.TOF简介 飞行时间是从Time of Flight直译过来的,简称TOF.其基本原理是通 ...
- 【深度学习系列】——神经网络的可视化解释
这是深度学习系列的第三篇文章,欢迎关注原创公众号 [计算机视觉联盟],第一时间阅读我的原创!回复 [西瓜书手推笔记] 还可获取我的机器学习纯手推笔记! 深度学习系列 [深度学习系列]--深度学习简介 ...
- 【深度相机系列四】深度相机分类之结构光法
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 一.结构光法:为解决双目匹配问题而生 上一篇<[深度相机系列三]深度相机分类之双目立体视觉法>中提到基于双目立体视觉的深度相机 ...
- 【深度相机系列三】深度相机分类之双目立体视觉法
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 1. 双目立体视觉法简介 基于双目立体视觉的深度相机类似人类的双眼,和基于TOF.结构光原理的深度相机不同,它不对外主动投射光源,完全依靠 ...
最新文章
- 为什么鸿蒙比安卓快,有人说华为鸿蒙比安卓快60%，你觉得可信吗，为什么？
- java 乘法 位移_java 位移运算与乘法运算
- Gralde 网络代理
- 1001 Calculate a + b
- linux桌面版排行2019_新兴的桌面发行版 Septor Linux 发布 2019 版
- 新版易支付源码支持即时到账功能
- 半自动化运维之快速连接到指定环境(一)
- 动态图制作软件设计（二）
- HDU 2604 Queuing（ 递推关系 + 矩阵快速幂 ）
- Algorithms - Counter计数器 的 详解 与 代码
- php转换ofd文件格式,OFD文件转换服务
- 【Python】多进程 AttributeError: Can‘t pickle local object
- 重要性采样和多重重要性采样在路径追踪中的应用
- html怎么打五角星符号怎么打,五角星符号怎么打，五角星符号大全
- 华东师范2018研究生复试上机题题解
- android 加载gif 动画,GifView——Android显示GIF动画
- 3D折纸效果怎么实现？
- 编写程序，输出9*8乘法口诀
- cv2 python 获取斑马线_opencv 斑马线，条纹检测
- 从零开始——Dev-C++调试方法