变焦跟踪理论基础(如何在变焦过程中保持清晰)
变焦跟踪理论基础
- 自动变焦的理论依据
- 传统自动对焦技术
- 主动式对焦
- 被动式对焦
- 基于图像处理的自动对焦方法
- 离焦深度法(depth from defocus,DFD)
- 对焦深度法(depth from focus,DFF)
- 变焦跟踪(Zoom Tracking)
- 变焦跟踪机制
- 一对多映射
- 现有变焦跟踪方法
- 查表法
- 几何变焦跟踪法
- 自适应变焦跟踪法
- 简化变焦跟踪法
- 预测变焦跟踪法
- 相关变焦跟踪法
- 反馈变焦跟踪法
- 改进的反馈变焦跟踪法
- 视频变焦跟踪中的问题
- 参考文献
自动变焦的理论依据
镜头是一种接收光信号并将光信号汇聚至感光元件的成像装置,按照焦距是否可以改变,分为变焦镜头和定焦镜头。变焦镜头的焦距在一定范围内可以连续变化,从而得到不同视场角、不同影像大小的图像。
镜头的变焦和对焦操作一般通过多枚镜片之间的相对运动实现,根据所处位置和功能不同,大致可将镜片分成三组,一组镜片称为一群,变焦镜头一般由以下部分组成:三群镜片、固定筒、凸轮结构曲线筒、光圈、快门、步进电机、光遮断传感器等。
根据镜头组成,在光轴上从物方到成像端,变焦镜头依次包括具有负屈光率的一群、具备正屈光率的二群和三群,不同镜片组可以沿着光轴运动,通过改变一群和二群之间的相对距离实现变倍的功能,驱动三群镜片沿着光轴运动可以达到对焦的效果。上图显示了三群镜片组之间的相对位置关系,其中G1、G2、G3 构成一群,G4、G5、G6 构成二群,G7 即为三群。
我们将不同的镜片群抽象成单个镜片,加上控制电机,绘制出最基本的光学变焦相机结构。如图所示,镜片1(一群) 和镜片2(二群) 构成变倍镜片组,镜片2(二群) 和镜片3(三群) 构成聚焦镜片组。镜片2 可大幅度移动,以完成变倍功能,镜片3 进行小幅度移动,完成聚焦功能,镜片2 和镜片3结合使用可实现聚焦近限之外的变焦摄像机的变倍和聚焦功能。其中镜片2 称为变倍镜片(Zoom 镜片),镜片3 称为聚焦镜片(Focus 镜片),除了镜片组外还有滤光片、光圈和传感器(Sensor)以完成滤光、进光量和图像输出等控制功能。
镜片和滤光片、传感器、光圈等结构构成了图像信息采集,完成光信号到电信号的转变;控制电机则构成了控制模块,完成变倍和焦距调整、控制进光量的功能。其中控制变倍镜片的变倍电机(Zoom 电机)、控制聚焦镜片的聚焦电机(Focus 电机)、控制采光量的光圈电机(Iris 电机)、控制滤光的滤光片电机(Ircut 电机)。由于镜片组的成像方式以及质量其决定着摄像机的诸多性能,如倍率、视场角、中心偏移、图像效果等,故不同材质、不同焦距、不同的尺寸和型号的镜片将具有不同的特性。
- 基于距离信息的主动式变焦
主动式自动变焦首先利用测距仪获取目标与成像透镜之间的距离信息。然后根据成像焦平面上目标的图像宽度和目标的实际宽度,计算出成像系统的当前焦距。最后,控制机械机构调整成像系统的焦距。 - 基于图像信息的被动式变焦
被动式变焦指不需要借助额外的机械结构和物理变量进行变焦指导,仅仅依靠目标在成像系统中所成图像的信息就能完成变焦操作,它是一种完全基于数字图像处理的技术。
传统自动对焦技术
传统的自动对焦技术从对焦原理的角度分析,可分为两类:一类是主动式对焦,通过测量镜头与被摄物体之间的距离来实现对焦,另一类是被动式对焦,摄像装置被动接受外界物体的光线,通过相关电子检测的方式调整焦距位置。
主动式对焦
主动式对焦主要通过测量镜头与被摄物体之间的距离来实现对焦。由高斯成像公式可知,在成像设备的任意焦距下,通过测量物距即可计算出像距,从而通过执行机构让成像系统处于满意的像距下,此时即可在感光平面上得到清晰的图像。测距法主要解决如何测量物距的难题,常见的物距测量方法有超声波测距法、红外测距法和激光测距法等。摄像机中为了实现测距法,一般装配有超声波发生器、红外发生器或者激光传感器等,而计算物距的方式主要是时间差测量法和三角测量法。
被动式对焦
焦点检测法是在镜头的焦点附近设置自动对焦微型组件,将焦点直接作为探测对象的一种对焦方式,应用在摄像机中的焦点检测法主要有两种,即反差检测法和相位差检测法。
反差检测法又称对比度法,**当被摄物体在感光平面由模糊逐渐清晰时,图像的边缘轮廓逐渐丰富且锐利,对应的灰度梯度也逐渐增大,对比度增大,反之则对比度下降。**利用这一原理,将两个光电传感器放置在成像芯片前后等距的位置,被摄物体发出的光线通过分光后同时照射在两个光电传感器上,得到两个灰度梯度值,当两个光电传感器输出的灰度梯度值相等或者接近时,说明所成的像正好落在感光平面上,即为对焦清晰状态,当两个光电传感器输出的灰度梯度值相差很大时,通过调节像距使之相差在很小的范围内,即可完成对焦。
相位差检测法是通过检测感光元件上像的偏移量来完成自动对焦的,当检测到两个受光原件的输出信号存在相位差时,对该相位差信号进行内部处理得到像距改变量相关的处理命令,然后控制执行机构调节至对焦清晰状态。
基于图像处理的自动对焦方法
离焦深度法(depth from defocus,DFD)
反向推演出当前模糊图像的原图
分析得到被摄物体的深度信息(距离信息)
从而推算出镜头的清晰对焦位置
基于图像复原的离焦深度法:根据成像系统的点扩散函数,反向推演出当前模糊图像的原图;
基于模糊量估计的离焦深度法:通过采集极少量不同模糊程度的离焦图像,经过算法分析得到被摄物体的深度信息(距离信息),从而推算出镜头的清晰对焦位置,控制执行机构运行至该位置即完成对焦。
离焦深度法获取图像数量少,对焦速度相对较快,缺点是需要事先确定成像系统的数学模型,实际应用中光圈值和焦距难以精确获取,导致模型的精确度受到影响,进而影响对焦精度。
对焦深度法(depth from focus,DFF)
变焦跟踪(Zoom Tracking)
如何在整个变焦过程中一直保持图像的清晰度或焦点是变焦跟踪的主要挑战。 图1显示了变焦从广角变焦变为远角变焦时的变焦跟踪效果。 如图所示,当用户在缩放跟踪的情况下改变缩放时,设备保持对焦。 然而,在没有变焦跟踪的情况下,图像变得失焦,图像在变焦跟踪后由于自动对焦(AF)算法才最终对焦。
变焦跟踪机制
图2©详细介绍了变焦跟踪机制。 当变焦从广角变为远角时,变焦镜头焦距从 F w i d e F_{wide} Fwide 增大到 F t e l e F_{tele} Ftele ,而视角从 ϕ w i d e \phi_{wide} ϕwide 减小到 ϕ t e l e \phi_{tele} ϕtele 。 为了响应这个变化,在这个过程中,焦内平面(图像距离)应该移动。 对于距离d处的物体, s d ( z wide ) s_{d}\left(z_{\text {wide }}\right) sd(zwide ) 和 s d ( z tele ) s_{d}\left(z_{\text {tele }}\right) sd(ztele ) 分别定义为广角变焦和远角变焦时的像距。 因此,当变焦从广角改变到远角时,为了保持图像清晰度,图像传感器必须从 s d ( z wide ) s_{d}\left(z_{\text {wide }}\right) sd(zwide ) 的广角焦内平面移动到 s d ( z tele ) s_{d}\left(z_{\text {tele }}\right) sd(ztele ) 的远角焦内平面。
由于变焦镜头焦距通过变焦马达改变,并且图像传感器由聚焦马达移动,所以变焦跟踪与变焦和对焦马达位置有关,其通常通过遵循所谓的“跟踪曲线”来实现。图3中的曲线显示了不同物体距离的变焦马达位置与对焦马达位置之间的关系。
如果电机在变焦操作期间跟随轨迹曲线移动,图像将始终保持清晰。 图3显示了18×变焦镜头的轨迹曲线。 每条迹线都对应着一定的物距。因此,跟踪曲线的估计是变焦跟踪方法中的一个关键问题。 这种估计的一个主要挑战是一对多映射问题[11],当变焦从广角变为远角时,这个问题变得很麻烦。
一对多映射
图中列举了1 米、2 米、5 米和无穷远物距下20 倍变焦镜头的变焦跟踪曲线,横轴表示变焦电机位置,纵轴表示对焦电机位置。以光遮断传感器位置为原点,以步进电机运行一步带动镜片移动的距离为最小刻度单位,实测得到镜头内变焦电机与对焦电机的可移动范围,变焦电机从1 倍位置到20 倍位置的总行程范围为[-1200, 102],对焦电机总行程范围为[-300, 400]。
分析图4-2 中的曲线,发现变焦电机在[-1200, -668]的范围内曲线呈线性变化,称为线性区;**而在[-668, 102]范围内,曲线呈非线性变化,称为非线性区域。**变焦跟踪曲线在线性区域基本重合,各曲线之间的距离差别很小,随着变焦电机往长焦端(tele-angle)移动,各条曲线逐渐分离,曲线之间的距离越来越大。
由此可知,如果变焦跟踪前的变焦电机位于长焦端附近的区域且对焦清晰,则可以通过线性插值的方法确定一条评估跟踪曲线,对焦电机的位置可以沿着这条评估跟踪曲线调节;如果初始变焦位置位于广角端(wide-angle)附近,则由于各条曲线重合,当变焦电机往长焦端移动时,各条曲线逐渐分离,在没有任何策略的情况下,很难确定一条评估跟踪曲线。初始位置为广角端附近的变焦跟踪问题是变焦跟踪算法的核心问题,称为“一对多映射”问题。
现有变焦跟踪方法
- 存储表方法
- 几何方法:几何变焦跟踪(GZT)、自适应变焦跟踪(AZT)、简化变焦跟踪(RZT)……
- 机器学习方法:相关变焦跟踪(RZT)、预测变焦跟踪(PZT)、……
查表法
存储表(查表)方法:该方法在内存中存储各种物体距离的大量跟踪曲线,通过在存储的曲线中选择最接近的曲线来估计真实迹线。 然而,这种方法在实践中并不经常使用,因为它需要大量的内存。
几何变焦跟踪法
几何变焦跟踪法(Geometric Zoom Tracking,简称 GZT)。GZT仅根据近、远目标的两条轨迹曲线,通过线性插值得到轨迹曲线的估计值。 这种方法的一个缺点是,随着变焦从广角变到远角,估计的轨迹曲线与实际轨迹曲线之间的偏移逐渐增大。
GZT实际上使用所谓GZT焦点比来估计对焦马达位置:
F start d ( z init ) − F true far ( z init ) F true near ( z init ) − F true far ( z init ) = F e s t d ( z ) − F true far ( z ) F true near ( z ) − F true far ( z ) \frac{F_{\text {start }}^{d}\left(z_{\text {init }}\right)-F_{\text {true }}^{\text {far }}\left(z_{\text {init }}\right)}{F_{\text {true }}^{\text {near }}\left(z_{\text {init }}\right)-F_{\text {true }}^{\text {far }}\left(z_{\text {init }}\right)}=\frac{F_{e s t}^{d}(z)-F_{\text {true }}^{\text {far }}(z)}{F_{\text {true }}^{\text {near }}(z)-F_{\text {true }}^{\text {far }}(z)} Ftrue near (zinit )−Ftrue far (zinit )Fstart d(zinit )−Ftrue far (zinit )=Ftrue near (z)−Ftrue far (z)Festd(z)−Ftrue far (z)
基于该公式,可以得出估计位置的公式:
F est d ( z ) = { F start d ( z init ) z = z init ( F start d ( z init ) − F true far ( z init ) F true near ( z init ) − F true far ( z init ) ) ∗ ( F true near ( z ) − F true far ( z ) ) + F true far ( z ) z ≠ z init F_{\text {est }}^{d}(z)= \begin{cases}F_{\text {start }}^{d}\left(z_{\text {init }}\right) & z=z_{\text {init }} \\ \left(\frac{F_{\text {start }}^{d}\left(z_{\text {init }}\right)-F_{\text {true }}^{\text {far }}\left(z_{\text {init }}\right)}{F_{\text {true }}^{\text {near }}\left(z_{\text {init }}\right)-F_{\text {true }}^{\text {far }}\left(z_{\text {init }}\right)}\right) *\left(F_{\text {true }}^{\text {near }}(z)-F_{\text {true }}^{\text {far }}(z)\right)+F_{\text {true }}^{\text {far }}(z) & z \neq z_{\text {init }}\end{cases} Fest d(z)={Fstart d(zinit )(Ftrue near (zinit )−Ftrue far (zinit )Fstart d(zinit )−Ftrue far (zinit ))∗(Ftrue near (z)−Ftrue far (z))+Ftrue far (z)z=zinit z=zinit
通过其得到的GZT估计曲线如图所示:
自适应变焦跟踪法
自适应变焦跟踪法(Adaptive Zoom Tracking ,简称AZT)。AZT是GZT的改进方法,该方法同样仅存储了近物距和远物距两条跟踪曲线,在变焦电机的整个行程内选定一个位置作为线性区和非线性区的分界点,当变焦电机在变倍过程中走到分界点时,让变焦电机暂停,然后调用对焦搜索算法寻找该位置图像最清晰的点,以此来减少跟踪误差。
AZT 算法和 GZT 算法的不同之处在于:向长焦端的变焦操作经过边界点时的策略 选择不同, GZT 算法在边界点没有任何修正措施, AZT 算法在边界点执行对焦搜索算法 得到清晰点, 此时的对焦电机位置记为 F d afboundary ( z b ) F_{d}^{\text {afboundary }}\left(z_{b}\right) Fdafboundary (zb), 此时更新线性揷值公式(4-1), 将公式中初始点变焦电机位置 z initial z_{\text {initial }} zinitial 换成边界点 z b z_{b} zb, 将初始对焦清晰点位置 F d afstart ( z initial ) F_{d}^{\text {afstart }}\left(z_{\text {initial }}\right) Fdafstart (zinitial ) 换成 F d afboundary ( z b ) F_{d}^{\text {afboundary }}\left(z_{b}\right) Fdafboundary (zb), 在之后变焦电机运行在非线性区时, 采用更新后的公式计算新的评估曲线, 如公式所示:
F d azt_estimate ( z ) = { F d afboundary ( z b ) , z = z b ( F d afboundary ( z b ) − F far true ( z b ) F near true ( z b ) − F far true ( z b ) ) × ( F near true ( z ) − F far true ( z ) ) + F far true ( z ) , z > z b F_{d}^{\text {azt\_estimate}}\left(z_{}\right)= \left\{\begin{array}{l} &F_{d}^{\text {afboundary }}\left(z_{b}\right),& z=z_{b}\\ &\left(\frac{F_{d}^{\text {afboundary }}\left(z_{b}\right)-F_{\text {far }}^{\text {true }}\left(z_{b}\right)}{F_{\text {near }}^{\text {true }}\left(z_{b}\right)-F_{\text {far }}^{\text {true }}\left(z_{b}\right)}\right) \times\left(F_{\text {near }}^{\text {true }}(z)-F_{\text {far }}^{\text {true }}(z)\right)+F_{\text {far }}^{\text {true }}(z),& z>z_{b} \end{array}\right. Fdazt_estimate(z)={Fdafboundary (zb),(Fnear true (zb)−Ffar true (zb)Fdafboundary (zb)−Ffar true (zb))×(Fnear true (z)−Ffar true (z))+Ffar true (z),z=zbz>zb
观察图 4-5 中 GZT 和 AZT 两种算法得到的评估跟踪曲线, AZT 算法得到的跟踪曲线 F d azt_estimate ( z ) F_{d}^{\text {azt\_estimate }}(z) Fdazt_estimate (z)在非线性区域的跟踪精度高于 GZT 评估跟踪曲线 F d gzt_estimate ( z ) F_{d}^{\text {gzt\_estimate }}(z) Fdgzt_estimate (z)。
简化变焦跟踪法
简化法(Reduced Zoom Tracking,简称RZT)分别就查表法和GZT 方法的不足之处进行改进,在曲线存储数据量方面比查表法有了明显的改进,在非线性区域的跟踪精度方面优于GZT 方法。
选取有代表性的9 个不同物距,分别获取9 种物距下的变焦曲线,为了减少数据量,将变焦电机的整个行程范围分为三个部分:线性区域1,线性区域2,非线性区域,三个区域分别采用不同的方式存储数据。在线性区域1,不同曲线之间的差别很小,从9 条曲线中按照一定的规则仅选择3 条曲线;在线性区域2,曲线之间的差别相比于区域1 更为明显,与区域1 的数据划分方式类似,从9 条曲线中选取4 条曲线;非线性区域,不同曲线之间的差别较明显,此时将9 条曲线的数据都存储起来。
预测变焦跟踪法
预测变焦跟踪法(Predictive Zoom Tracking,简称PZT)通过建立模型预测变焦系统的输出情况,有两种类型的预测模型:外因输入自回归模型(Auto-Regressive Model with Exogenous Input ,简称ARX)和循环神经网络(Recurrent Neural Network,简称RNN)模型,模型使用的参数是变焦系统当前的输入状态和已经记录的历史输出状态。通过模型的选择和训练,找到能够使真实曲线与评估曲线之间的误差最小化的最佳模型参数,然后在系统初始化变焦电机的输入状态下,采用最佳模型参数来生成评估跟踪曲线。
相关变焦跟踪法
相关法变焦跟踪法(Relational Approach to Zoom Tracking,简称RLZT)通过建立关系曲线来获取特定物距下的评估跟踪曲线,上文提到的算法都是在物距固定的条件下研究变焦电机与对焦电机位置之间的关系,而RLZT 算法将变焦电机位置固定,转而研究物距和对焦电机位置之间的对应关系。在初始变焦位置
变焦跟踪理论基础(如何在变焦过程中保持清晰)相关推荐
- tracker_benchmark_v1.0配置过程中出现的问题及解决方案
毕业设计是CV方向的,一直在调试tracker_benchmark_v1.0的代码,遇到了很多的问题,本篇博客记录我遇到的问题和解决的办法,也许还有错误的地方,欢迎大家一起讨论研究~ 一.介绍和注意事 ...
- 使用卡尔曼滤波实现单目标跟踪过程中的目标运动轨迹预测
针对目标被遮挡的情况,使用卡尔曼滤波进行轨迹预测,试验表明,具有较好的轨迹预测效果 观测值:传感器读数,因为某些客观原因,可能存在较大误差. 估计值:也称为先验估计,卡尔曼滤波的状态转移方程进行估计. ...
- 使用Intel DCI/Inte System Debugger跟踪主机启动过程 中CSME/Bios信息
Background: 1.如果开机时遇到如Hangup/花屏等棘手的问题,需要Intel协助,Intel都会要求用DCI抓取开机日志,其中包含CSME/Bios/PMC等部件的输出,Intel基于此 ...
- Science:Knight组发表尸体降解过程中的微生物组
Metcalf, J. L., et al. (2016). "Microbial community assembly and metabolic function during mamm ...
- Sciences:Knight组发表尸体降解过程中的微生物组
Metcalf, J. L., et al. (2016). "Microbial community assembly and metabolic function during mamm ...
- 16S+功能预测发Sciences:尸体降解过程中的微生物组
Metcalf, J. L., et al. (2016). "Microbial community assembly and metabolic function during mamm ...
- 16S+功能预测也能发Sciences:尸体降解过程中的微生物组
Metcalf, J. L., et al. (2016). "Microbial community assembly and metabolic function during mamm ...
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
- 45 | 答疑(五):网络收发过程中,缓冲区位置在哪里?
问题 1:网络收发过程中缓冲区的位置 第一点,是网络收发过程中,收发队列和缓冲区位置的疑问. 在 关于 Linux 网络,你必须要知道这些 中,我曾介绍过 Linux 网络的收发流程.这个流程涉及到了 ...
最新文章
- windows10如何下载和安装latex
- 图像的旋转和尺度缩放在对数极坐标系下的研究
- 修改Jupyter Notebook默认工作目录
- Python 爬虫面试题 170 道:2019 版
- Select和epoll的区别
- mysql 时间段内的周末_淘宝用户行为数据分析(MySQL)
- vue 中indexof_前端小知识-Vue中使用indexOf() 方法
- 【渝粤教育】电大中专消费者心理学基础作业 题库
- 吉林大学计算机学院换届,CCF吉林大学学生分会举行换届选举会议-中国计算机学会...
- 网分测花岗岩介电常数测试方案
- FPGA信号处理系列文章——卷积编码与维特比译码
- echarts世界地图国家及中国城市的经纬度数组整理
- 计算机连接公用网络受限,电脑连接无线网络受限怎么解决【解决方法】
- Mybatis学习-动态SQL
- 柔性显示实现的关键技术
- [每日一题]152:仅仅反转字母
- 水轮机振动与故障诊断
- keepalived 配置文件参数详解
- 广州大学 计算机 非全,广州大学在职研究生就是非全日制研究生吗?
- c语言 操作ie文本框,IE控件一些高级使用方法
热门文章
- python和php什么关系,什么是python?与PHP有什么区别?
- 《大咖说开源第二季》一、二期
- 阿里云OSS-大文件-分片上传
- uniapp微信小程序授权获得手机号
- win7开机启动项怎么设置_怎么设置u盘为第一启动项bios u盘第一启动项bios设置方法【详解】...
- 暴富的抖音电商,正在闭环
- PyCharm上传服务器:No files or folders found to process
- Python+Django+Mysql个性化二手车推荐系统 汽车推荐系统 基于用户、项目、内容的协同过滤推荐算法 WebCarCFRSPython python实现协同过滤推荐算法实现源代码下载
- JS获取cookie值
- 安卓手机不能开机 怎么备份 联系人 短信 通话记录