【深度相机系列一】iPhone X的原深感相机到底是个什么玩意？
本文已经首发在个人微信公共号：计算机视觉life（微信号CV_life），欢迎关注！
9月13日苹果发布了致敬十周年的新机型iPhone X，其中前置原深感（TrueDepth）相机引起了极大的舆论关注。该相机的构成如下图所示。从左到右，依次是红外镜头、泛光感应元件、距离传感器、环境光传感器、扬声器、麦克风、700万像素摄像头、点阵投影器。其中最有里程碑意义的当属红外镜头 + 点阵投影器 + RGB摄像头的组合。后面会具体解释原因。
iPhone X 前置原深感相机
据苹果官方介绍，iPhoneX通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸，再根据红外镜头接收到的反射光点，就可以计算得到人脸深度图。 RGB摄像头拍摄的2D人脸结合计算的深度人脸信息，经过算法处理就可以绘制出精确细致的3D人脸。该技术安全性极高，可以轻松的识别出普通RGB相机难以处理的利用打印照片、软件合成、面具等进行的人脸识别攻击，可以安全方便的进行人脸活体检测。该技术用于iPhone的人脸解锁方案，称为FaceID，是iPhone X最重要的新功能之一。
点阵投影在人脸上的示意图
（其实投影的是人眼不可见的红外光，这里只是示意图）
在3D人脸模型的基础上，苹果除了推出FaceID，还衍生出了艺术自拍、人像光效、动画表情等一系列实用有趣的玩法。
iPhone X的“动画表情”功能示意图
作为手机行业的先驱者，苹果的3D人脸技术带来的这些突破性的玩法将给消费者市场带来巨大的变化，随之而来的是安卓手机厂商的追随，这将会迎来3D技术在手机等移动终端的爆发。
其实，苹果的“原深感相机”中的“红外镜头 + 点阵投影器 + RGB摄像头”的组合本质上就是一种基于结构光技术深度相机。那么，什么是深度相机呢？
顾名思义，深度相机就是可以获取场景中物体距离摄像头物理距离的相机。深度相机通常由多种镜头和光学传感器组成，根据测量原理不同，主流的深度相机一般分为以下几种方法：飞行时间法、结构光法、双目立体视觉法。
飞行时间是从Time of Flight直译过来的，简称TOF。其测距原理是通过连续发射经过调制的特定频率的光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。
飞行时间法原理示意图
结构光法就是使用提前设计好的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等），将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息。
结构光法原理示意图
双目立体视觉法的原理和人眼类似，通过计算空间中同一个物体在两个相机成像的视差就可以根据如下三角关系计算得到物体离相机的距离。
双目立体视觉原理示意图
目前消费市场上常见的深度相机主要包括微软的Kinect系列、华硕的Xtion、Intel的Realsense系列等。深度相机在三维建模、自然人机交互（手势/人脸识别）、AR/VR、自动驾驶等领域有非常广泛的应用。但是由于技术的限制，深度相机很难做到体积非常有限、功耗要求低的手机上。因此iPhone X此次发布的基于结构光技术的深度相机意义重大。
部分消费级深度相机产品
事实上，iPhoneX并非是第一个将深度相机应用到手机上的，2016年Google和联想就合作推出了全球第一个搭载Project Tango技术的手机Phab2 Pro，该手机的深度相机采用英飞凌的TOF方案。从原理上来说，iPhone X的结构光方案比Phab2 Pro TOF方案来说具有功耗低，分辨率及精度高等优点。这些优势对于在移动设备上实现生物特征识别来说意义重大。
其实早在iPhone X发布之前，安卓阵营的手机厂商、模组厂商、算法供应商等产业链也都一直在全力追逐苹果的步伐，在深度相机上进行持续的研发投入。预计今年底到明年，我们将会看到更多搭载了深度相机的手机出现，而基于3D技术的移动端应用很可能会在VR/AR、三维建模、手势识别等领域率先爆发，让我们一起拭目以待。
本公众号后续将推出一系列关于深度相机原理和技术应用的文章，敬请关注。
【深度相机系列一】iPhone X的原深感相机到底是个什么玩意？相关推荐
- 【深度相机系列四】深度相机分类之结构光法
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 一.结构光法:为解决双目匹配问题而生 上一篇<[深度相机系列三]深度相机分类之双目立体视觉法>中提到基于双目立体视觉的深度相机 ...
- 【深度相机系列一】深度相机入门介绍
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 9月13日苹果发布了致敬十周年的新机型iPhone X,其中前置原深感(TrueDepth)相机引起了极大的舆论关注.该相机的构成如下图所 ...
- 【深度相机系列二】深度相机分类之飞行时间法（TOF）
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 目前的深度相机根据其工作原理可以分为三种:TOF.RGB双目.结构光. 1. TOF简介 飞行时间是从Time of Flight直译过来 ...
- 【深度相机系列三】深度相机分类之双目立体视觉法
说明:文中所举例的产品比较早,读者把重点放在学习原理上就好. 1. 双目立体视觉法简介 基于双目立体视觉的深度相机类似人类的双眼,和基于TOF.结构光原理的深度相机不同,它不对外主动投射光源,完全依靠 ...
- 【深度相机系列三】深度相机原理揭秘--双目立体视觉
本文已经首发在个人微信公共号:计算机视觉life(微信号CV_life),欢迎关注! 导读 为什么非得用双目相机才能得到深度? 双目立体视觉深度相机的工作流程 双目立体视觉深度相机详细工作原理 理想双 ...
- 点云深度学习系列由浅入深之--SPLATNet: Sparse Lattice Networks for Point Cloud Processing
点云深度学习系列由浅入深之--SPLATNet: Sparse Lattice Networks for Point Cloud Processing 0. SplatNet网络主要结构及模块 1. ...
- 【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理(1)
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
- opencv生成3d模型_OCR深度实践系列：数据生成
OCR深度实践系列:(一)图像预处理这篇为OCR深度实践系列的第二篇:数据生成.深度学习依赖大量的数据,然而在真实的业务场景中无法获取足够多且真实的打标数据,因此人们希望通过图像增强.语义理解.生成对 ...
- 深度学习系列：深度学习在腾讯的平台化和应用实践
深度学习系列:深度学习在腾讯的平台化和应用实践(一) 莫扎特 2015-01-04 6:05:13 大数据技术 评论(0) 深度学习是近年机器学习领域的重大突破,有着广泛的应用前景.随着Google公 ...
最新文章
- php无限极下拉框,php递归实现无限分类生成下拉列表的函数
- Bridge 、 Adapter 和 Facade 的区别
- poj 1061 （扩展欧几里德算法）
- html怎么让方块自动旋转,如何使用纯CSS实现一个圆环旋转错觉的动画效果（附源码）...
- openjdk和jdk_JDK 11：发行候选更新和OpenJDK JDK 11 LTS
- mac怎么装java eclipse_如何在Mac系统安装eclipse并运行java程序
- 7月5日服务器临时维护更新公告,封印战记7月5日更新什么？ 7月5日临时更新维护公告...
- XGBoost算法解析（非常详细）
- 58条模拟、数字电路基础知识总结
- cesium 实现指南针及比例尺效果
- 同余式 和 费马小定理
- 工具及方法 - 使用DOS批处理给Windows文件批量改名
- 军队文职(数学2+物理)——高等数学 3、求极限(一)
- SGU126 Boxes
- 实战演练-抽奖程序（C#）（第一部分）
- 电容笔和触控笔有什么区别？ipad手写电容笔推荐品牌
- C++语法——右值引用、移动构造和赋值、万能引用和转发、move和forward底层实现
- CSS基础介绍（三）
- 根据PPG估算血压利用频谱谱-时间深度神经网络【翻】
- 千峰JAVA逆战班Day47