事件相机（event camera）概述与应用（随笔）

一、事件相机的相关概念

事件相机是具有微秒反应时间的仿生传感器，可记录每像素亮度变化的异步流，称为“事件”。事件相机通过检测每个像素的亮度变化来生成一个事件，相比于传统相机，更适合在高动态和高速度的环境下使用，具有高动态范围 (HDR)、高时间分辨率和无运动模糊的优势。因此，事件相机在机器人技术和计算机视觉方面具有巨大潜力，可用于传统相机具有挑战性的场景，例如高速和高动态范围，以及快速机器人定位和可穿戴应用（如 AR/VR 和游戏）的理想传感器

如何通俗的解释事件相机？

在人的眼睛中，有一部分视觉神经对动态的目标很敏感，比如说在一个处于静态的房间中，如果有一个东西发生运动，那么视线会立刻被运动的物体所吸引，事件相机也一样，它能够很迅速的捕捉到运动中的物体，并且仅仅对运动的物体感兴趣。事件相机回传的信息我们称为事件。

二、事件相机的优势

1. 高动态范围：对于传统相机来说，在黑暗的情况下，传统的相机几乎没有办法使用，但对于事件相机来说，只检测正在运动的物体，所以无论是黑暗情况还是有光亮的情况，事件相机都可以发挥作用。

2. 低延时:相邻事件之间的时间可以小于1毫秒

3. 无运动模糊：即使是高速运动的物体，事件相机也可以捕获到

事件相机在机器人技术、计算机摄影和计算机视觉领域得到了极大的关注。它们对运动模糊，低延迟和高动态范围的固有鲁棒性，对于机器人应用是有吸引力的。这些特性有利于电力线检查任务，以防无人机需要执行敏捷操作，例如避免电力线桅杆。然而，由于其非传统的输出，事件摄像机也提出了新的挑战。

三、事件相机的应用：

1. 基于事件的相机产生稀疏的事件流，延迟更低，从而实现超快的视觉驱动控制

2 .用事件相机来跟踪电力线

3 .想法是把传统相机和事件相机结合起来，但是传统的循环神经网络 (RNN) 不是为来自附加传感器的异步和不规则数据而设计的，因此引入了循环异步多模态网络（RAM）结合事件和帧进行单目深度预测，该方法比最先进的方法提高了30%。

4 .从事件中学习单目密集深度，由于大多数现有方法使用标准的前馈架构来生成网络预测，而不利用事件流中存在的时间一致性，就提出了一个循环架构来解决此问题。

5. 基于事件的异步稀疏卷积网络，模式识别算法通过将事件转换成同步密集、类似图像的表示，在事件相机方面取得很大进展，但也有缺点，因此提出了一个通用框架，用于在类似图像的同步事件表示上训练的模型转换为具有相同输出的异步模型，从而可以直接利用事件数据的内在异步和稀疏的特性，从而降低神经网络的复杂性和延迟

6. 带有事件相机的四旋翼飞行器的动态避障

7. 基于事件的角速度回归与尖锋神经网络SNN，SNN可以处理来自基于事件的异步传感器的输出

8. 使用事件相机实现四旋翼的低延迟高带宽控制
9. 带有事件摄像机的高速和高动态范围

10. 带有事件相机的无人机进行避障

11. 基于事件的视觉的损失函数
12. 使用立体事件相机进行半密集 3D 重建

13. 事件相机的连续时间视觉惯性里程计

四、其他

1. 本人在调查与运用事件相机时，主要研究的是DAVIS（DAVIS346），将传统动态像素传感器APS(Active Pixel Sensor)和DVS做到一个像素，由DVS进行触发。DAVIS就是在回传事件的同时还可以回传灰度图。

2. 事件相机输出的事件流是一个四元组的序列：，像素点坐标、时间戳、事件极性包含了一个事件的所有信息，其中像素坐标告诉了我们事件发生的位置，时间戳则是指明了事件发生的事件，事件极性表示了事件的性质，有+1和-1，+1为变亮事件，-1为变暗事件。（引用的别人的一句话，我觉得写的很好，侵权删除）

3.　事件相机的一些资料

下载事件相机的网页Get Started · DV
事件相机的官网，如何使用，下载视频：Visualize and Record · DV
事件相机的一个论坛https://groups.google.com/g/dv-users
事件相机CVPR：CVPR 2021 Workshop on Event-based Vision

本人是刚刚学习事件相机的小白，正在做目标检测方向，现在已经完成了将事件相机生成的文件格式（.ａｅｄａｔ4）转化成图片（.ｂｍｐ）以及视频（.ａｖｉ）的格式，并用YOLOV5进行了检测。希望能与诸多大神一起交流事件相机的应用和发展。