CVPRW2021中的事件相机研究（下）
本文首发于公众号：【事件相机】，CVPRW2021中的事件相机研究（下）
CVPR Workshop on Event-based Vision是围绕事件相机的专题研讨会，2021年是第三届由CVPR主办，第一届为ICRA2015，第二届在CVPR2019。目前看来是隔年一次。本次CVPRW涉及论文共14篇，本文介绍下半部分。
Image Reconstruction from Neuromorphic Event Cameras using Laplacian-Prediction and Poisson Integration with Spiking and Artificial Neural Networks [1]
本文又是关于重建，但采用了两阶段的神经网络。第一个神经网络做Laplacian预测，第二个做基于Laplacian图的图像重建，极大地减少了网络参数（仅200个）。
简单介绍下重建方法的发展历程，总的来说是从传统方法到深度学习方法。最初比较经典的工作室kim[A1]在相机跟踪时通过泊松积分重建了全景图，紧接着有大量基于Laplacian图泊松重建的方法。之后深度学习的方法取得了不错的效果，典型代表是E2VID[A2]系列。
这篇文章的思路如上图，首先从event frame到Laplacian图是由一个CNN完成，得到L后通过泊松积分得到完整图像。泊松积分由一个SNN实现。作者修改了CNN为Spiking CNN，进一步降低了参数量。优化的目标函数主要为三部分：绝对灰度值误差、结构相似性误差[A3]和Edge Loss[A4]。前两个是learning-based的重建常用的损失函数，有的方法还有时间一致性损失以保证视频的连贯性。
Detecting Stable Keypoints from Events through Image Gradient Prediction [2]
这篇文章的思路很有趣：重建梯度图比重建完整图像理论上容易很多，那我直接在梯度图上进行关键点跟踪。文章采用一个RNN网络从event预测梯度图，之后直接在梯度图上提取Harris。网络训练的目标函数是传统图像的Sobel梯度和重建梯度的L1误差。
这篇文章启发我们，是不是有些工作用梯度就可以解决，就可以不用完整图像了。
Spike timing-based unsupervised learning of orientation, disparity, and motion representations in a spiking neural network [3]
基于SNN的视差、运动等。SNN不懂，这文章就不展开了。
Feedback control of event cameras [4]
这篇文章的一作是Tobi Delbruck（INI组带头人、事件相机发明人、iniVation董事），居然是大佬的一作，那肯定很有深度。本文研究的是“事件相机参数的反馈控制”，并不是控制别的东西，而是反馈调节相机的参数。
文章详细介绍了相机的参数影响因素，包括偏置电流bias、对比度阈值contrast threshold、光感受器带宽、不应期refractoryperiod等。并提出了事件频率、阈值控制、不应期调整、带宽调整信噪比等方法，有大量实测数据的图表。强烈建议想了解事件相机硬件细节的朋友，多看一些Tobi自己的（主要是一作的）文章，一般都有非常详细的数据。
我看到这篇文章还是很激动的，应该是Tobi这边想把一些自动调参的功能做到片上或板卡，减少用户调参的工作。我也调过CeleX和Prophesee的参数，真的感觉怎么调都调不好。
DVS-OUTLAB: A Neuromorphic Event-Based Long Time Monitoring Dataset for Real-World Outdoor Scenarios [5]
DVS-OUTLAB数据集，户外场景长时间的监控数据，有标签可用于训练任务。采用CeleX4录制事件和图像，在传统图像提取目标标注到事件数据上。并分析了温度对噪声的影响。
很早之前有朋友问过我，DVS能不能做雨滴的检测与清除，当时还查了下只能查到类似于斑点跟踪(blob tracking)一类的方法，learning-based没有，主要原因是没有数据集。或许这个数据集可以提供一部分下雨的数据。
数据集网站：http://dnt.kr.hsnr.de/DVS-OUTLAB/
Live Demonstration: Incremental Motion Estimation for Event-based Cameras by Dispersion Minimisation [6]
Live Demo是workshop中常见的环节，我没有参加过，但感觉应该是现场展示一些功能。这篇文章主要是为了表明：采用他们之前提出的一种增量式处理方法[A5]，可以实时地做运动估计。
v2e: From Video Frames to Realistic DVS Events [7]
首先在这里解释下仿真器(Emulator)和模拟器(Simulator)严格来讲是有区分的，事件相机这边Simulator和Emulator都出现过。但我觉得叫“仿真”顺口，所以一律说成“仿真器”。
本文研究从video到event的仿真。说到仿真，大家最熟悉的应该是ESIM[A6]，在此之前还有Event Camera Dataset andSimulator[A7]，之后还有vid2e[A8]，以及这篇提到的v2e。那么这些仿真有什么区别呢？当然肯定是“原来越真”。
我们先从[A7]开始，它只是一个最基本的仿真，在两个frame之间做差分，如果亮度超过阈值，则生成一个event，非常naïve的方法。
图：左侧为[A7]的采样，和frame同步；右侧为ESIM[A6]，自适应频率且和frame频率无关
ESIM[A6]主要的改进有：动态采样频率（变化快的地方采样更快）使得事件变得异步，而不是基于frame；同时可以增加一些简单的噪声例如对比度阈值的高斯噪声。整个仿真器是基于ROS下的，需要设定仿真场景。
v2e[A8]，是直接从video生成event，为的是充分利用当前大量的视频公开数据集，弥补event实拍数据不足的问题，首先对video进行上采样，之后利用了ESIM生成event。
图：v2e[A8]的框架
本文的作者有Tobi，仿真也加入很多硬件特性，包含了不同光照条件下运动模糊（这个问题比较复杂，可以简单理解为环境光强度不同时，同一个物体的边缘清晰度会不同）、延迟、光感受器带宽限制、阈值误差、热像素噪声、暗电流、时间戳噪声等因素，这些是之前的仿真完全没有考虑的。仿真结果见下图。
图：v2e仿真结果，可以看到在亮暗不同环境下，仿真结果和真实数据很像
小结：可以看到，仿真这块主要的几个工作都是ETH这边，[A6-8]这几个工作是RPG组做的，本文的v2e是INI组做的。他们确实在引领行业发展。
总结
CVPRW包含的工作很多，从底层硬件、到软件算法和数据集，还有偏向生物的相关研究，确实是事件相机的一场盛会。希望大家今后多多关注。
公众号后台回复：CVPRW2021，下载本文介绍的论文。
CVPRW2021中的事件相机研究（下）相关推荐
- CVPR2021中的事件相机研究
本文首发于公众号:[事件相机],CVPR2021中的事件相机研究 本文整理了CVPR 2021年中关于事件相机的相关工作(从openaccess上关键词查找得到的,可能有遗漏),并作简要介绍.能力有限 ...
- Ubuntu18.04中搭建事件相机模拟器rpg-esim环境
Ubuntu18.04中搭建事件相机模拟器rpg-esim环境 esim 是 ETH 开发的一款的模拟事件相机工作原理的仿真器,其是基于ROS环境的,在安装esim环境之前,需要先安装ROS.在官方给 ...
- CVPR2020事件相机（Event Camera）研究文章汇总
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文介绍了CVPR 2020中关于事件相机(Event Camera)的相关研究.所列举的论文由CVP ...
- （新型事件相机有关的论文解读）A Unifying Contrast Maximization Framework for Event Cameras
目录 事件相机有关的论文解读之 A Unifying Contrast Maximization Framework for Event Cameras,with Applications to Mo ...
- 2020年，关于事件相机(event camera)的最新研究论文总结
本文仅用于学习过程中的一些总结记录.2020年发表的关于事件相机在一些领域的总结. 1. 运动估计 Motion Estimation 有不少关于运动估计的论文,基本是围绕之前最大化事件积累图对比度的 ...
- 谈谈事件相机在自动驾驶领域的应用前景（下）
内容来源:九章智驾 作者:奚少华 二.商业模式与竞争格局 2.1 产业链上下游概况 事件相机产业链的情况与传统帧相机几乎是相同的,主要包括上游是零部件供应商(镜头组零部件.胶合材料.图像传感器芯片等) ...
- Meta眼球追踪研究：采用事件相机，采样率可达kHz级
扎克伯格在访谈中曾指出下一代Quest的重点是面部和眼球追踪技术,Project Cambria也将配备眼球追踪技术.尽管如此,眼球追踪依然是Meta需要解决的一大研发难题,这项技术在普遍适用性.延迟 ...
- 【Python】监测鼠标各种事件（左键/中键/右键是否点下）
目录 0. 前言 1. 安装PyHook3 2. 检测鼠标左键/中键/右键是否按下 3. PyHook3详细讲解 0. 前言 最近在写一个脚本,需要用到监测用户是否点击鼠标中键,然后触发相应的功能.这 ...
- python中tkinter鼠标事件_按下鼠标按钮（按住）的Tkinter事件？
更新:这是一个版本问题.该事件不会在单击Python3.6.1时触发,但可以在我目前测试过的2.7上运行.在 更新:Bryan的回答确实解决了我的事件不能正常工作的问题,但是在我的3.6.1版本的py ...
最新文章
- html中有csstext方法吗,style对象的cssText方法有哪些使用方法
- iOS代码编程规范 根据项目经验汇总
- 关于windows的进程处理（七）
- linux opengl 实例,一篇文章入门Ubuntu的OpenGL开发
- mysql 导出dmp文件_MySQL数据库基础讲解
- vs快速生成get set方法_怎么祛斑快速祛斑的方法是什么？Get正确的祛斑方法
- [iOS_Dev] 官方Mac OS X.dmg 下载，dmg 转 iso，Mac 镜像。
- 用cmd打开jar文件
- excel 自动生成目录
- android 隐藏wifi密码,手机连接隐藏wifi怎么设置密码 手机如何添加隐藏wifi？-192路由网...
- Ubuntu,CentOS安装TIM（QQ），liunx通用
- 微信红包又创新纪录 跨年夜发红包数达23.1亿次
- 软件著作权转让的收费标准怎样
- 这些免费的网站值得你收藏
- 华泰单因子测试之换手率类因子
- DSP TMS320C5509A之DAC8164
- 圣斗士里隐瞒了非常恐怖的剧情
- Nuist集训队作业：深度优先搜索（回溯算法）
- [Kriging](二)Matlab Kriging工具箱dace简单使用
- 03.福大本科生毕设导师双向选择系统_需求分析和原型设计