Meta眼球追踪研究：采用事件相机，采样率可达kHz级

扎克伯格在访谈中曾指出下一代Quest的重点是面部和眼球追踪技术，Project Cambria也将配备眼球追踪技术。尽管如此，眼球追踪依然是Meta需要解决的一大研发难题，这项技术在普遍适用性、延迟、准确性等方面都存在挑战。

从Meta Reality Labs公布的最新论文来看，其正在探索一种基于事件相机的眼球追踪方案。那么什么是事件相机呢？它的英文名为Event Camera，是近几年来出现的相机技术。

事件相机与传统相机的数据回传格式不同，它采用一种异步的通讯方式，也就是说设备之间的时钟不同步，事件相机不是事实回传捕捉到的数据，而是在捕捉到亮度等像素变化（事件）时，才会回传数据。

简单来讲，事件相机类似于人眼的工作原理，主要功能是捕捉物体的变化或运动。

Meta指出，事件相机可以低功率运行，响应延迟可降低至微秒级。这些特性有望解决现有眼球追踪技术在实时性、功耗上的局限，甚至有望带来适合AR/VR头显等移动设备的眼球追踪技术。

关于Meta眼球追踪方案

目前，眼球追踪系统常见的设计是采用闪烁的灯光照亮角膜来捕捉数据，这种方案只需要稀疏的数据即可运行。这说明眼球追踪系统的采样率不需要非常高，因此科研人员预计即使用事件相机也足够，尽管事件相机在捕捉到运动时才拍照，但只要捕捉到关键数据，也能计算出眼球变化。

该方案与传统眼球追踪技术最大的区别是，它没有固定的采样率，也不是对所有像素采样，而是主要回传像素亮度的变化数据（带有时间信息），在变化产生时才会采样。尽管采集的数据较少，但准确性和效率足够好。

事件相机的另一个优势是具有高动态范围（≈120dB），几乎没有运动模糊，而且比传统相机功率更低，延迟可低至亚毫秒级别。

Meta表示：这是首个完全基于事件的角膜闪烁/眼球追踪方案。其原理是，光源照在眼角膜上，产生的反射光进入图像传感器中，显示为可见的数据。这些数据可以用于定位角膜的运动，从而预测注视点。

加密的差别照明

科研人员指出，眼睛通常由两种表面组成：1）像镜面一样的角膜，可对光源产生镜面反射；2）皮肤、虹膜和巩膜等朗伯表面，它们会漫反射光线。

在追踪眼球过程中，为了避免光源照到皮肤、虹膜、巩膜等其他部位而产生误差，该方案采用的每个光源都有配套的补偿光系统，以保持总亮度不变。在不影响角膜的镜面反射的情况下，抑制了场景漫反射产生的事件。

为此，Meta设计了名为“加密的差别照明”（Coded Differential Lighting）的照明方案，特点是可增强镜面反射事件，同时抑制其他事件，而且在事件触发时才闪烁，在标准硬件上的采样率为kHz级。

该方案采用双LED光源，可提升角膜镜面反射检测的效率、准确性。为了照到光源和角膜反光/闪烁的对应关系，其采用二进制模式，让光源脉冲在两个周期运行。

通常，眼球追踪方案采用高速率闪烁的光源。然而，由闪烁光源照亮的场景通常会使事件相机器饱和，让整个场景都出现亮度变化。因此，科研人员让两个LED灯切换闪烁，而不是闪烁单个光，目的是保持整体照明大致恒定。

他们还发现，LED灯之间的最佳距离距离是在眼球反光点刚好接触而不重叠的点处。LED灯距离近时，两个闪烁在它们相交的地方抵消，导致净亮度变化为零，并减少闪烁的有效频率。

解决了哪些问题

Meta指出，眼球追踪是AR/VR头显的一项关键功能，它可以丰富用户之间的交互，同时也可以实现动态注视点渲染效果，提升AR/VR视觉观感。此外，也可以用于实验、医疗、培训等场景，通过使用者的眼球运动数据来进行分析。可变焦显示系统、焦面显示系统也眼球追踪功能来实现变焦。

应用在AR/VR头显中，眼球追踪系统需要保证低功耗的，才能延长续航、降低热量产生。同时，也需要支持高采样率，比如在用户身份验证场景中，采样率需高达1kHz。

目前，市面上许多视频眼球追踪系统基于瞳孔角膜反射原理（PCCR），通常是在眼球上照射红外光，并捕捉角膜上镜面反射回的光线位置/角度，来预估角膜的中心位置，以及瞳孔（暗黑椭圆形）的位置。接着，通过瞳孔中心和角膜中心的距离来计算注视点方向。

相比之下，Meta的方案更省电，每个LED的功耗约5mW，在低功率下也可以实现亚像素级精度。如果将广角的LED换成对准眼球的位置，性能会进一步提升。而事件相机功耗则为10mW左右，整个传感器功耗约为35mW。与此同时，事件相机的采样率可达到1kHz，可捕捉到眼球的细微变化。参考：scontent

Meta眼球追踪研究：采用事件相机，采样率可达kHz级相关推荐

受心理学启发，这项眼球追踪生成式模型大幅降低训练成本
现有的AR/VR技术通过沉浸的视觉和空间音频,以及6DoF手柄.手势交互,已经呈现出与2D媒介非常不同的优质体验.接下来,AR/VR还有望结合逼真体感反馈.眼球追踪等技术,为用户带来更丰富的交互. 目 ...
关于事件相机的整理与思考
来源丨新机器视觉.韦心雕AI 佐思周彦武老师的事件相机,引发了对帧事件的思考.基于该思考,对事件相机做一个整理,具体算法不去解释.主要参考<Event-based Vision: A Surve ...
CVPR2020事件相机（Event Camera）研究文章汇总
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文介绍了CVPR 2020中关于事件相机(Event Camera)的相关研究.所列举的论文由CVP ...
CVPRW2021中的事件相机研究（下）
本文首发于公众号:[事件相机],CVPRW2021中的事件相机研究(下) CVPR Workshop on Event-based Vision是围绕事件相机的专题研讨会,2021年是第三届由CVPR ...
CVPR2021中的事件相机研究
本文首发于公众号:[事件相机],CVPR2021中的事件相机研究本文整理了CVPR 2021年中关于事件相机的相关工作(从openaccess上关键词查找得到的,可能有遗漏),并作简要介绍.能力有限 ...
2020年，关于事件相机(event camera)的最新研究论文总结
本文仅用于学习过程中的一些总结记录.2020年发表的关于事件相机在一些领域的总结. 1. 运动估计 Motion Estimation 有不少关于运动估计的论文,基本是围绕之前最大化事件积累图对比度的 ...
学习笔记之——Event Camera（事件相机）调研
本博文是本人调研Event Camera写下的学习记录,本博文的内容来源于网络.paper以及本人学习调研过程的心得,仅供本人学习记录用,不作商业用途. 我们团队在事件相机方面的工作请见: GitHu ...
事件相机特征跟踪-模板跟踪方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1.前言由于事件相机不能提供完整的图像,所以最初的特征跟踪依赖传统相机的数据.本推送介绍事件相机特征 ...
眼球追踪技术在用户体验中的应用
眼球追踪技术在用户体验中的应用原文出处:http://design.jobbole.com/121100/ 学术界和商界对眼球追踪技术应用(以下简称眼动)的关注度,每隔一段时间便会出现一次高潮的讨论 ...

Meta眼球追踪研究：采用事件相机，采样率可达kHz级

Meta眼球追踪研究：采用事件相机，采样率可达kHz级相关推荐

最新文章

热门文章