Azure Kinect DK 产品调研

1. 什么是Azure Kinect DK

Azure Kinect DK是微软公司旗下的一款专门为开发人员和企业用户量身的工具包，配有先进的 AI 传感器，提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备，提供多种模式、选项和软件开发工具包 (SDK)。开发人员和商业企业可以针对各种场景（包括计算机视觉、物体识别、骨架识别、语音识别、面部识别等）的深度学习创建应用，而这些应用多用于在制造、零售、医疗保健等领域。

图1. Azure Kinect DK

2. Azure Kinect DK的配置

图2. Azure Kinect DK

设备配置：
①100 万像素深度传感器（ToF），获得深度数据
②7 麦克风阵列，可用于远场语音和声音捕获
③1200 万像素 RGB 摄像头，提供和深度数据匹配的彩色图像数据流
④加速计和陀螺仪 (IMU)，可用于传感器方向和空间跟踪
⑤外部同步引脚，可轻松同步多个 Kinect 设备的传感器数据流

Azure Kinect DK 开发环境：
• 用于访问低级别传感器和设备的传感器 SDK。
• 用于跟踪 3D 人体的人体跟踪 SDK。
• 用于启用麦克风访问和基于 Azure 云的语音服务的语音认知服务 SDK。
注：SDK：软件开发工具包

图3. RGB和深度传感器相机
图4. 麦克风阵列

图5. 同步设备接口

3. Azure Kinect DK的历史

Azure Kinect DK的前身是连接微软游戏设备Xbox 360的体感摄像头Kinect。配备了RGB-D（RGB+depth）相机的Kinect使得人们不需要使用任何控制器，仅仅依靠相机捕捉去三维空间中玩家的运动，让系统更加简易操作来吸引大众。
Kinect在2010年发行时便引起了游戏界不小的震动，引发了开发体感感应器和相关应用的潮流。此后也涌现了大量基于RGB-D相机的研究工作，比如用RGB-D相机来进行室内三维重建，比较有名的KinectFusion、Kintinuous，ElasticFusion，InfiniTAM，BundleFusion等。但是由于开发设备的费用较高且技术和应用尚未成熟，在相应推出V1.0,和V2.0后，2017 年微软宣布停止生产Kinect。
从游戏界的角度来看，Kinect 已死。可能是看到Kinect企业应用的前景，2019年微软在Kinect的基础上重新推出一款为开发者和企业开发应用的产品Azure Kinect DK。Azure Kinect DK隶属于微软Azure云旗下，将多种传感器融于一体，并配备了语音，计算机视觉，语言的SDK，给开发者提供了极大的方便。

图6. Azure Kinect DK的前身Kinect

4. Azure Kinect DK的功能

Azure Kinect DK 有如下四种开发软件包：

①传感器 SDK

对深度照相机、RGB 照相机、加速计和陀螺仪这些原始传感器进行访问，并获得设备校准数据和同步控制。
应用：测量箱子的尺寸，使用 Azure 认知服务添加光学字符识别 (OCR)

图7. 包裹大小测量

②身体跟踪 SDK

提供实例分割以及观察到的和估算的 3D 关节和关键点，以便进行完整清晰和唯一性鉴别的多骨骼身体跟踪能力。
应用：衡量人体运动（如跳跃）的准确性并提供主体生物力学方面的反馈

图8. 多骨骼身体跟踪

③计算机视觉服务 API

获得高级算法的访问权限，以便处理图像和返回信息，如光学字符识别 (OCR) 或图像分类。
应用：识别有关场景视觉上下文的信息

图8. 多骨骼身体跟踪

④语音 SDK

获得语音转文本、语音翻译和意向识别等功能的访问权限
应用：为 Azure Kinect DK 创建语音控制的交互

5. 我们对Azure Kinect DK的需要

①三维数据的准确获取：
Azure Kinect DK设备配置了100 万像素深度传感器（ToF）和1200 万像素 RGB 摄像头，能够很好地帮助我们获得点云数据。此外，多个设备同步更能增加数据的准确度。

图9. Azure Kinect DK设备获取的点云数据

图10.多个设备同步

②Azure Kinect DK专门为开发者开发的软件包能使研究者方便处理数据，做进一步的研究

6. Azure Kinect DK的同类产品（深度相机）对比

图11. Intel ReakSense D455

图12. Intel ReakSense SR305

图13. Occipital Structure

市面上有多深度相机，如上只列出Kinect v1, Kinect v2（Azure Kinect DK的前身）, Intel RealSense，Occipital Structure等等四项。总的来说，微软的Azure Kinect DK功能齐全且能准确测量三维空间数据，使用它能使得室内小场景的应用更加方便

7. 结语

自Azure Kinect DK的前身Kinect诞生起，众多研究人员围绕Kinect展开许多研究，KinectFusion、Kintinuous，ElasticFusion，InfiniTAM，BundleFusion等。2019年微软发布的这款Azure Kinect DK更是集多种人工智能特性于一身，如计算机视觉，语音，语言，Azure云服务等，能准确测量三维空间数据，使用它能使得室内小场景的应用更加方便，同时提供了为开发人员的SDK，极大地方便了开发研究人员将Azure Kinect DK应用到具体场景。