红外弱小目标检测之“Infrared Patch-Image Model for Small Target Detection in a Single Image”阅读笔记
Infrared Patch-Image Model for Small Target Detection in a Single Image
原文：Infrared Small Target Detection by Density Peaks Searching and Maximum-Gray Region Growing
参考：红外弱小目标检测：IPI算法解读及MATLAB复现
红外图像模型：
fD(x,y)=fT(x,y)+fB(x,y)+fN(x,y)......................................(1)f_D(x,y)=f_T(x,y)+f_B(x,y)+f_N(x,y) ......................................(1) fD(x,y)=fT(x,y)+fB(x,y)+fN(x,y)......................................(1)
其中 fDf_DfD、fTf_TfT、fBf_BfB、fNf_NfN 和 (x,y)(x,y)(x,y) 分别为原始红外图像、目标图像、背景图像、随机噪声图像和像素位置。根据焦点是否在目标图像 fTf_TfT ，背景图像 fBf_BfB 或两者分为不同的方法。
动机：
背景的变化会造成序列检测算法(TBD)性能下降，因此研究基于单帧的检测算法很有必要。
传统的弱小目标模型不一定适用于所有场景。
传统的弱小目标模型：目标成像很小，可认为是一个辐射点源，具有高斯分布特性，且各向同性的圆形，其灰度分布满足如下公式：
s(x,y)=γe−12((xσx)2+(yσy)2)...............................................(2)s(x,y)={\gamma}e^{-\frac{1}{2}\Bigg((\frac{x}{\sigma_x})^2+(\frac{y}{\sigma_y})^2\Bigg)}...............................................(2) s(x,y)=γe−21((σxx)2+(σyy)2)...............................................(2)
式中，γ\gammaγ表示图像中目标灰度的峰值，σx\sigma_xσx,σy\sigma_yσy分别表示目标灰度在x,y方向的扩展参数，决定了目标的弥散程度，σ\sigmaσ越小，目标灰度分布越集中；σ\sigmaσ越大，目标灰度分布越弥散。在实际的图像序列中，目标的灰度分布并不总是满足二维高斯分布。可能具有"平顶"形状，且由于受成像距离、环境、目标类型的影响，目标的大小在2×2～10×10不等，目标的灰度峰值也很离散。
一些传统的目标检测算法对噪声敏感，且当目标尺寸范围较大时，检测效果不稳定。
弱小目标检测算法的性能通常取决于对目标、背景、目标和背景的假设，假设的合理性决定了算法在应用中的鲁棒性。
一些传统的算法，如Top-hat，通过预测背景fBf_BfB，进而抑制背景fT=fD−fBf_T=f_D-f_BfT=fD−fB 来检测目标。这类方法的缺点即：对噪声敏感，以及空域滤波模板大小往往取决于目标尺寸这一先验知识，所以受目标尺寸的影响较大。
提出的算法：
- 利用局部区域构造（local patch construction）的方法，将传统的红外图像模型推广至新的infrared patch-image,IPI 模型。
- 基于新模型，假设目标图T为稀疏矩阵，背景图B为低秩矩阵，进而将目标检测转化为分离低秩矩阵与稀疏矩阵的优化问题。
- 算法依据：背景主要是大面积缓慢变化的低频部分，如自然背景中的云层，其在空间上往往呈大面积的连续分布状态，在红外辐射的强度上也呈渐变过渡状态，使得其在灰度空间分布上具有较大相关性，这也是为什么我们在对背景预测时需要重点考虑背景辐射强度的起伏。本文提到，即使是图像中不相邻的背景之间也存在较强的相关性，因此可以将背景图B看作低秩矩阵。
- 将目标图T看作稀疏矩阵，仅利用的目标在整幅图中所占比例小这一假设（先验知识），未对目标的尺寸、目标的灰度值做假设，因此解决了问题（3），算法更具鲁棒性。
算法优点：
- 本文模型更符合真实性，对不同的目标尺寸和目标的SCR更具鲁棒性，应用场景更广泛。本文对目标和背景做出的假设（1）相较于整幅图像，目标的尺寸很小；（2）背景具有相关性。
- 即使在缺乏对背景和目标尺寸先验知识的前提下，利用当前low-rank matrix recovery技术依然可以求解，算法的实现得到了保证。
IPI模型：
patch-image的构建和重建
- 指定一滑动窗口，从左上到右下依次得到每个Patch，然后将每个patch向量化为列向量，构成新的矩阵，由此得到patch-image；
- patch-image的尺寸不仅取决于原图的大小，而且取决于滑动窗口的大小与其水平、垂直方向的滑动步长；（对一些特殊情况，（1）滑动窗口大小与原图大小相同（2）滑动窗口是与图像等高的列向量且滑动步长为1时，patch-image的大小与原图相同。）
由于局部块通常彼此重叠，因此重建图像中的像素位置将对应于来自不同块的多个值。 因此，我们应该定义一个一维滤波器函数来确定像素值 v：
v=f(X)...............................................(3)v=f(X)...............................................(3) v=f(X)...............................................(3)
其中 v∈Rv\in Rv∈R，x∈Rpx\in{R_p}x∈Rp是一个向量，表示包含来自p个重叠patch的同一位置像素值的列向量。一维滤波器函数 f 的定义取决于实际应用，我们可以将其定义为 v=中值(x)、v=均值(x)、v=max(x) 或 v=min(x) 等等 .给定原始图像fDf_DfD，背景图像fBf_BfB，目标图像fTf_TfT和噪声图像fNf_NfN（公式1），我们可以分别构造相应的patch-image D，B，T和N. 然后将传统的红外图像模型（1）转换为IPI模型，如下所示：
D=T+B+N.......................................(4)D = T+B+N.......................................(4) D=T+B+N.......................................(4)
传统的红外图像模型可以看作：滑动窗口是与图像等高的列向量且滑动步长为1时得到的。
基于IPI模型的小目标检测：
目标图像T-稀疏矩阵
尽管在实际拍摄的视频中，弱小目标的灰度、尺寸均在变化，但是对于整幅图来说，其所占比例仍然很小，因此可以将目标图像看作稀疏矩阵，如下公式。
∥T∥0<k.......................................(5)\lVert{T}\rVert_{0}<k.......................................(5) ∥T∥0<k.......................................(5)
式中， 表示∥⋅∥0\lVert{\cdot}\rVert_{0}∥⋅∥0表示l0l_0l0范数，代表了矩阵中非0元素的数量；k 的值取决于图像中目标的尺寸与数量，且k≪m×nk\ll{m\times{n}}k≪m×n(m×nm\times{n}m×n是TTT的尺寸)。论文中，只对目标的“稀疏性”做了假设，即算法只对目标“小”这一特性做了量化。背景图像B-低秩矩阵
红外图像的背景具有相关性，即使像素位置相隔较远的两局部区域也具有相关性，可称为非局部自相关性(non-local self-correlation)。基于这一特征，背景图看作低秩矩阵，如下公式。
rank(B)≤r.....................................(6)rank(B)\leq{r}.....................................(6) rank(B)≤r.....................................(6)
式中，rrr为常数。本质上，rrr代表了背景的复杂程度，背景越复杂，rrr的值越大，反之，背景越均匀，rrr的值越小。此外，文中提到，图像中除non-local self-correlation特性外，还存在non-local self-similarity这一特性，很多纹理合成、图像复原和图像去噪的算法都是基于图像的non-local特性。并且，有相关论文指出所有的背景图像块都来自低秩子空间的混合(a mixture of low-rank subspace clusters while not only one)，当小目标位于高度非均匀背景下，使用多子空间聚类假设更为合适。但本文献中，由于背景具有非局部自相关性，使用一个低秩空间足以模拟背景。因此，为了降低算法的复杂度，本文仅使用一个低秩空间假设（only employ one low-rank subspace assumption）。
噪声图像N-满足独立同分布
本文假设随机噪声满足独立同分布，如下公式。
∥D−B−T∥F≤δ...............................(7)\lVert{D-B-T}\rVert_{F}\leq{\delta}...............................(7) ∥D−B−T∥F≤δ...............................(7)
式中，∥⋅∥F\lVert{\cdot}\rVert_{F}∥⋅∥F表示F-范数，定义为∥X∥F=∑ijXij2\lVert{X}\rVert_{F}=\sqrt{\sum_{ij}X_{ij}^{2}}∥X∥F=∑ijXij2。小目标检测算法原理
最终目标是检测目标，得到目标图像T至为关键。
首先，假设红外图像不包含噪声。 因此公式 (4) 变为D=T+BD=T+BD=T+B 。 如前所述，背景图像 B 是一个低秩矩阵，目标图像 T 是一个稀疏矩阵。 求解目标图T即可转化为从原始图像矩阵中恢复稀疏矩阵与低秩矩阵的最优化问题，可使用主成分追踪（Principal Component Pursuit, PCP）来求解这一凸优化问题，见如下公式。
minB,T∥B∥⋆+λ∥T∥1,s.t.D=B+T.................(8)\min_{B,T}\lVert{B}\rVert_{\star}+\lambda\lVert{T}\rVert_{1},\quad{s.t.}\quad{D=B+T}.................(8) B,Tmin∥B∥⋆+λ∥T∥1,s.t.D=B+T.................(8)
式中，∥⋅∥⋆\lVert{\cdot}\rVert_{\star}∥⋅∥⋆表示核范数，即奇异值之和。∥⋅∥1\lVert{\cdot}\rVert_{1}∥⋅∥1表示l1l_1l1范数，定义为∥X∥1=∑ij∣Xij∣\lVert{X}\rVert_{1}=\sqrt{\sum_{ij}|X_{ij}|}∥X∥1=∑ij∣Xij∣，λ\lambdaλ表示非负权重。这里为了便于计算，使用∥B∥⋆\lVert{B}\rVert_{\star}∥B∥⋆，∥T∥1\lVert{T}\rVert_{1}∥T∥1分别取代式(6)中的rank(B)rank(B)rank(B)及式(5)中的∥T∥0\lVert{T}\rVert_{0}∥T∥0。使用主成分追踪（PCP）这一思想，有两点优势：
- 对于不同的图像，不需要估计公式（5）、（6）中的kkk，rrr。
- 转化为凸优化问题后，算法不仅对目标的尺寸、亮度变化具有鲁棒性，而且可以适应含不同杂波的背景。
其次，考虑图像中的噪声，问题转换为如下公式.。
minB,T∥B∥⋆+λ∥T∥1,s.t.∥D−B−T∥F≤δ.................(9)\min_{B,T}\lVert{B}\rVert_{\star}+\lambda\lVert{T}\rVert_{1},\quad{s.t.}\quad{\lVert{D-B-T}\rVert_{F}\leq{\delta}}.................(9) B,Tmin∥B∥⋆+λ∥T∥1,s.t.∥D−B−T∥F≤δ.................(9)
公式（9）所示凸优化问题，即从包含噪声的图像中同时分离目标图像T和背景图像B。在背景估计问题中，求解背景图也很重要，例如在一些复杂背景下拍摄的图像，求解背景图可以评估检测的可靠性，也可以用于运动成像系统中的图像配准。式(9)演化为求解下式的对偶问题。
minB,T∥B∥⋆+λ∥T∥1+12μ∥D−B−T∥F2.................(10)\min_{B,T}\lVert{B}\rVert_{\star}+\lambda\lVert{T}\rVert_{1}+\frac{1}{2\mu}\lVert{D-B-T}\rVert_{F}^{2}.................(10) B,Tmin∥B∥⋆+λ∥T∥1+2μ1∥D−B−T∥F2.................(10)
式中，μ\muμ为非负权重，且在本文中取值不固定。式(10)为凸优化问题，本文使用Accelerated Proximal Gradient(APG)算法求解。
完整算法流程
第一步：使用patch-image构建方法，从原始红外图像fDf_DfD构建得到D，即IPI模型。
如下图所示，展示了大小为5∗55*55∗5的patch如何被构造为25∗125*125∗1的列向量。
下图，展示了当图像大小为20∗2020*2020∗20，patch大小为5∗55*55∗5，patch的水平、垂直方向每次的移动步长均为1时，如何由fDf_DfD构造DDD，最终得到的D的大小为：25×(16×16)=25×25625\times(16\times16)=25\times25625×(16×16)=25×256
可以引申出一个公式：当原图像大小为m×nm \times nm×n，patch的大小为pm×pnp_m \times p_npm×pn，patch在水平和垂直方向的移动步长分别为xstep,ystepx_{step},\quad{y_{step}}xstep,ystep时，最终得到的patch数量为：nums=((x−pm)/xstep+1)×((n−pn)/ystep+1)nums=((x-p_m)/x_{step}+1)\times ((n-p_n)/y_{step}+1)nums=((x−pm)/xstep+1)×((n−pn)/ystep+1)，最终得到的patch-image的大小为：(pm×pn,nums)(p_m\times p_n , nums)(pm×pn,nums)。
第二步：使用Algorithm 1 从图像D中分别求目标图T和背景图B。
其中，VtV_tVt 是矩阵 VVV的转置，Sϵ[⋅]S\epsilon[\cdot]Sϵ[⋅]是一个软阈值算子，形式如下：
Sϵ[x]={x−ϵ,ifx>ϵ,x+ϵ,ifx<−ϵ,0,otherwise,........................(11)S\epsilon[x]= \begin{cases} {x-\epsilon},& {if\quad{x>\epsilon},}\\ {x+\epsilon},& {if\quad{x<-\epsilon},}\\ {0},& {otherwise,} \end{cases}........................(11) Sϵ[x]=⎩⎪⎨⎪⎧x−ϵ,x+ϵ,0,ifx>ϵ,ifx<−ϵ,otherwise,........................(11)
式中x∈Rx\in Rx∈R且ϵ>0\epsilon>0ϵ>0，对于算法 1 中矩阵的情况，此运算符通过逐元素应用来扩展。算法1中的参数设置：λ=1/max(m,n)\lambda=1/\sqrt{max(m,n)}λ=1/max(m,n)，η=0.99\eta=0.99η=0.99，μ0=s2,uˉ=0.05s4\mu_0=s_2,\bar{u}=0.05s_4μ0=s2,uˉ=0.05s4， s2,s4s_2,s_4s2,s4分别为patch-image D 第2和第4个奇异值（从大到小排列）。
第三步：使用patch-image B、T分别重构背景图像fBf_BfB，目标图像fTf_TfT。
本文选用v=median(x)v=median(x)v=median(x)实现重构重叠区域的像素值，与mean相比，median的鲁棒性更强；如果不需要对背景进行预测，可以只重构目标图像以减少计算量。
第四步：使用阈值分割对目标图像fTf_TfT进行自适应分割。
自适应阈值 tupt_{up}tup由以下因素决定：
tup=max(vmin,μ+kσ)t_{up}=\max(v_{min},\mu+k\sigma) tup=max(vmin,μ+kσ)
式中，u,σu,\sigmau,σ分别为目标图像fTf_TfT的灰度均值和标准差；k,vmink,v_{min}k,vmin为由实验测得的常量，vminv_{min}vmin是为了降低虚警率。如果只检测"亮"目标，遵循的分割原则是满足fT(x,y)>tupf_T(x, y) > t_{up}fT(x,y)>tup的为目标，否则为背景。
如果既要检测“亮”目标又要检测“暗”目标，使用双阈值分割原则(tup,tdown)(t_{up},t_{down})(tup,tdown)，其中，tdown=min(vmin,μ−kσ)t_{down}=\min(v_{min},\mu-k\sigma)tdown=min(vmin,μ−kσ)是由实验得到的常量，可以降低虚警率。双阈值分割，目标像素值满足：fT(x,y)>tupf_T(x, y) > t_{up}fT(x,y)>tup or fT(x,y)<tdownf_T(x, y) < t_{down}fT(x,y)<tdown ，否则为背景。
第五步：后处理对分割结果进行细化。
可以采用连通域分析或形态学分析来细化分割结果。此外，可以利用通过分析重构背景图像中，目标周围区域的背景复杂度来判断目标检测结果是否可靠，如果目标周围区域背景简单，则检测结果的可靠性更高。
算法复杂度分析
本文所提算法的计算时间来自3个方面：（1）PCP 计算，即从原图D中分离目标T与背景B；（2）图像重构；（3）阈值分割。
算法的时间复杂度为：O(Nkmn⋅log(mn)+rc(p+1))O(Nkmn\cdot \log(mn)+rc(p+1))O(Nkmn⋅log(mn)+rc(p+1))
红外弱小目标检测之“Infrared Patch-Image Model for Small Target Detection in a Single Image”阅读笔记相关推荐
- 《融合视觉显著性和局部熵的红外弱小目标检测》论文复现
1.复现论文概要 复现的论文为<融合视觉显著性和局部熵的红外弱小目标检测>(赵鹏鹏,李庶中等,中国光学2022,http://www.chineseoptics.net.cn/cn/art ...
- 局部对比度结合区域显著性红外弱小目标检测
<局部对比度结合区域显著性红外弱小目标检测> 作者提出了一种区域局部对比度算法,仅在图像的显著性区域中进行局部对比度计算,而非遍历整幅图像. 首先进行基于图像信息熵和局部相似性的红外图像区 ...
- 红外弱小目标检测：常见的评价指标
本文总结红外弱小目标检测领域论文中经常出现的算法评价指标,并对部分评价指标用MATLAB实现. 目前总结的评价指标最为常见,像检测率.ROC曲线这些都要基于大量的实验才能得到数据,进而绘制表格或曲线对 ...
- 2021-03-22 基于视觉显著性的红外弱小目标检测-王警予 |笔记
基于视觉显著性的红外弱小目标检测-王警予 | 阅读笔记 第四章 基于稀疏低秩分解的红外弱小目标检测 key 视觉注意力机制 稀疏低秩分解 针对人类视觉显著性是基于人类视觉注意的特点,将红外图像中显著性 ...
- 弱小目标检测跟踪算法研究（5） 基于顶帽变换（Top_hat）算法的红外弱小目标检测之背景抑制
基于顶帽变换(Top_hat)算法的红外弱小目标检测之背景抑制 1. 前言 2. 顶帽变换(Top_hat)算法 3. Matlab仿真 4. 小结 1. 前言 红外图像中的弱小目标,目标属性包涵&q ...
- 弱小目标检测跟踪算法研究（7） 基于简单平滑滤波算法的红外弱小目标检测之背景抑制
基于简单平滑滤波算法的红外弱小目标检测之背景抑制 1. 前言 2. 平滑滤波算法 3. Matlab仿真 4. 小结 1. 前言 红外图像中的弱小目标,目标属性包涵"弱"和&quo ...
- 弱小目标检测跟踪算法研究（4） 基于双边滤波（BF）的红外弱小目标检测之背景抑制Opencv
基于双边滤波(BF)的红外弱小目标检测之背景抑制Opencv 1. 前言 2. 双边滤波算法 3. Opencv实例 4. 小结 1. 前言 红外图像中的弱小目标,目标属性包涵"弱" ...
- 弱小目标检测跟踪算法研究（4） 基于双边滤波（BF）的红外弱小目标检测之背景抑制
基于双边滤波(BF)的红外弱小目标检测之背景抑制 1. 前言 2. 双边滤波算法 3. Matlab仿真 4. 小结 1. 前言 红外图像中的弱小目标,目标属性包涵"弱"和&quo ...
- 红外弱小目标检测：LoG尺度空间
一.目的 界定红外小目标的尺寸,拒绝多尺度重复计算,算法加速. 利用 LoG尺度空间进行红外弱小目标检测的基本思想如下: 1)当 LoG算子的中心坐标和目标中心坐标重合时,红外弱小目标在 LoG尺度空 ...
最新文章
- App 组件化/模块化之路——如何封装网络请求框架
- Web渗透测试（sql注入 access，mssql，mysql，oracle，）
- Android自定义View研究(四) -- 在XML中定义View
- scala 字段覆盖_Scala中的字段覆盖
- 《飞鸽传书2007怎么用》这种即时通讯技术已开始普及
- 回文串判断（string类：反转reverse）
- Axure中后台管理信息系统通用原型方案 /框架模板/数据仪表/团队协作/会员管理/电商系统/资金统计/数据监控/销量统计/订单管理/客户管理/团队协作/职务管理/业务信息/员工管理/即时通讯
- RN animated缩放动画
- dtree树形结构异步传输
- 用过http api 发送邮件
- 18.2.28阿里前端实习生内推面补坑
- 《java语言程序设计》泽勒一致性问题
- 使用阿里云的ip地址查询服务-使用java调用ip地址查询服务
- 2021-2027全球与中国气溶胶检测器市场现状及未来发展趋势
- 普通人跨考浙大计算机的经验贴（2019）
- 测试wifi覆盖范围的软件
- 微信小程序云开发之收藏文章功能的简单实现
- jkd8 Stream的使用
- [转]《英特尔多核/多线程技术》
- 广和通5G模组FG360系列推出最新迭代版本，持续释放5G FWA商业价值