光流法

KLT

原理

应用

目标跟踪算法主要分为两类：一类是传统的目标跟踪算法（粒子滤波(pf)、Mean Shift及KLT算法(或称Lucas光流法)）；另一大类是基于深度学习的跟踪算法。

光流法

光流(Optical flow) 其实是指空间运动物体在观察成像平面上的像素运动的瞬时速度。
它利用了图像序列中像素强度在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
那么简单来说，光流其实就是瞬时速率，在时间间隔很小(前后连续相邻两帧)时等同于目标点的位移。
前提假设：
1.相邻帧之间的亮度恒定；
2.相邻帧之间物体的运动比较“微小”；
3.保持空间一致性；即，相邻像素点具有相同的运动。

KLT

属于光流法的一种，

假设条件
（1）亮度恒定 → 保证不受亮度的影响
（2）时间连续或者运动位移小 → 保证KLT算法能够找到点
（3）空间一致性，邻近点有相似运动，保持相邻 → 在同一个窗口中，所有点的偏移量都相等

主要步骤
（1）在第一帧检测Harris角点
（2）在连续帧之间每一个角点通过平移或仿射进行运动估计
（3）连接连续帧中的运动向量，得到每一个角点的轨迹
（4）对于各特征点，在各帧中判断其跟踪的好坏。有些特征可以移除（比如去除掉那些被遮挡的或者无法准确跟踪的），可以周期性（如每隔5帧）加入一些新的特征
（5）使用步骤1-3追踪新和旧的角点

原理

在窗口w上，所有(x, y)都往一个方向移动了(dx, dy)，从而得到(x', y')，即t时刻的(x, y)点在t+τ时刻为(x+dx, y+dy)，所以寻求匹配的问题可化为对以下的式子寻求最小值，或叫做最小化以下式子：

　　用积分来表示上述式子，以上式子可等效为：

　　这个式子的含义，即找到两副图像中，在W窗口中，I、J的差异，其中I以x-d/2为中心，J以x+d/2为中心，w/2为半径的一个矩形窗口间的差异，好吧，结合我们微积分的知识，函数ε(d)要取得最小值，这个极值点的导数一定为0，即
　　

的值为0，由泰勒展开的性质：

可以得到：

于是，问题转化为：

其中：

从而，问题即为：

即其等式可看作为：

其中，Z为一个2*2的矩阵，e为一个2*1的向量，

为了要使d能够得到解，则Z需要满足条件，即Z*Z'矩阵可逆，其中Z'为Z矩阵的转置(ZT)，在一般情况下，角点具有这样的特点。

应用

基于Kanade-Lucas-Tomasi 算法的人脸特征点跟踪方法

基于Kanade-Lucas-Tomasi算法的人体体表呼吸运动追踪

参考：https://www.cnblogs.com/moondark/archive/2012/05/12/2497391.html
参考：https://blog.csdn.net/weixin_50141064/article/details/120330188

KLT（Kanade-Lucas-Tomasi ）相关推荐

HDU 5226 Tom and matrix（组合数学+Lucas定理）
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5226 题意:给一个矩阵a,a[i][j] = C(i,j)(i>=j) or 0(i < ...
2015 ICL, Finals, Div. 1 Ceizenpok’s formula（组合数取模，扩展lucas定理）
J. Ceizenpok's formula time limit per test 2 seconds memory limit per test 256 megabytes input stand ...
HDU 5794：A Simple Chess（Lucas + DP）
题目链接:http://acm.split.hdu.edu.cn/showproblem.php?pid=5794 题意:让一个棋子从(1,1)走到(n,m),要求像马一样走日字型并只能往右下角走.里 ...
【排列组合】组合（lucas定理）
题目描述给出组合数 C(n,m) 表示从 n 个元素中选出 m 个元素的方案数.例如 C(5,2)=10,C(4,2)=6.可是当 n,m 比较大的时候,C(n,m) 很大.于是 xiaobo 希望 ...
PL-VIO（点线slam）学习笔记（持续更新）
论文翻译 PL-VIO:使用点和线特征的紧耦合单目视觉惯性里程计收稿日期:2018年3月23日;录用日期:2018年4月9日;发布日期:2018年4月10日摘要摘要: 为解决这一问题的估计相机轨 ...
深度学习自学（二十五）：目标跟踪
运动目标跟踪主流算法大致分类主要基于两种思路: a)不依赖于先验知识,直接从图像序列中检测到运动目标,并进行目标识别,最终跟踪感兴趣的运动目标: b)依赖于目标的先验知识,首先为运动目标建模,然后 ...
＜论文阅读＞基于 Warping 理论的高精度光流估计（计算机视觉 - ECCV 2004）
目录摘要 1 简介 2 变分模型 3 最小化 3.1 欧拉-拉格朗日方程 3.2 数值逼近 4 与 Warping 方法的关系摘要我们研究了一种用于计算光流的能量函数,它结合了三个假设:亮度 ...
Learning-Deep-Learning（学习深度学习）
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai Learning Deep Learning(学习深度学习) There are lots of awe ...
Learning Deep Learning（学习深度学习）
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/e98c5f61a6f2 Learning ...
《算法竞赛中的初等数论》（二）正文 0x20同余（ACM / OI / MO）（十五万字符数论书）
整理的算法模板合集: ACM模板点我看算法全家桶系列!!! 实际上是一个全新的精炼模板整合计划写在最前面:本文部分内容来自网上各大博客或是各类图书,由我个人整理,增加些许见解,仅做学习交流使用,无 ...

KLT（Kanade-Lucas-Tomasi ）

光流法

KLT

原理

应用

KLT（Kanade-Lucas-Tomasi ）相关推荐

最新文章

热门文章