Image Fusion with Guided Filtering

文章目录

Image Fusion with Guided Filtering
- Two-scale Image Decomposition
- Weight Map Construction with Guided Filtering
- Two-scale Image Reconstruction
- Diagram of the proposed method
- Data
- Comparison with other image fusion methods

Two-scale Image Decomposition

给定待融合图像序列In,n=1,2,....NI_{n},n=1,2,....NIn,n=1,2,....N，均值滤波核ZZZ，滤波核尺寸为31×3131×3131×31：
Bn=In∗ZDn=In−BnB_{n}=I_{n}*Z \\D_{n}=I_{n}-B_{n} Bn=In∗ZDn=In−Bn
其中BnB_{n}Bn为基础层，DnD_{n}Dn为细节层。

Weight Map Construction with Guided Filtering

用3×33×33×3的Laplacian算子LLL从待融合图像序列中获取高频信息HnH_{n}Hn：
Hn=In∗LH_{n}=I_{n}*L Hn=In∗L
为去除噪声的影响，对此高频信息的绝对值做一个简单的低通滤波，即得到本文所定义的Saliency Map SnS_{n}Sn：
Sn=∣Hn∣∗grg,σgS_{n}=|H_{n}|*g_{r_{g},\sigma{g}} Sn=∣Hn∣∗grg,σg
Saliency Map表示了图像序列中的图像所包含的细节信息的显著程度，在融合的过程中，将对细节信息更为显著的图像赋予给高的融合权重，通过比较Saliency Map 得到一个初步的融合权重：
Pnk={1if Snk=max⁡(S1k,S2k,…,SNk)0otherwise P_{n}^{k}=\left\{\begin{array}{cc} 1 & \text { if } S_{n}^{k}=\max \left(S_{1}^{k}, S_{2}^{k}, \ldots, S_{N}^{k}\right) \\ 0 & \text { otherwise } \end{array}\right. Pnk={10 if Snk=max(S1k,S2k,…,SNk) otherwise
当然PPP不能直接用于对待融合图像序列的融合，还需要考虑到图像当中的噪声、边缘等，需要使用Guide Filter对此融合权重进行细化，如下：
WnB=Gr1,ϵ1(Pn,In)WnD=Gr2,ϵ2(Pn,In)\begin{array}{l} W_{n}^{B}=G_{r_{1}, \epsilon_{1}}\left(P_{n}, I_{n}\right) \\ W_{n}^{D}=G_{r_{2}, \epsilon_{2}}\left(P_{n}, I_{n}\right) \end{array} WnB=Gr1,ϵ1(Pn,In)WnD=Gr2,ϵ2(Pn,In)
其中r、ϵr、\epsilonr、ϵ分别对应Guide Filter的滤波核半径核正则化参数，以上权重需要归一化

Two-scale Image Reconstruction

最后的图像融合的步骤，需要分别用以上计算出来的WnB、WnDW_{n}^{B}、W_{n}^{D}WnB、WnD对基础层和细节层进行加权，然后将融合过后的基础层和细节层加起来，得到最终的融合结果：
Bˉ=∑n=1NWnBBnDˉ=∑n=1NWnDDnF=Bˉ+Dˉ\begin{aligned} \bar{B} &=\sum_{n=1}^{N} W_{n}^{B} B_{n} \\ \bar{D} &=\sum_{n=1}^{N} W_{n}^{D} D_{n} \\ F&=\bar{B}+\bar{D} \end{aligned} BˉDˉF=n=1∑NWnBBn=n=1∑NWnDDn=Bˉ+Dˉ

Diagram of the proposed method

下图为本文所提算法的流程图，从流程图可以看出，本文所提算法先将图像分解为基础层和细节层，用Laplacian算法的低通结果计算权重图，最后用权重图对图像序列进行加权，得到最终的融合结果

Data

本篇文章的算法验证用到了Petrovic数据库中的多光谱数据、多对焦数据、多曝光数据，均为公开数据

Petrovic数据库当中的9对测试数据

多对焦数据

多曝光数据 ### Objective Image Fusion Quality Metrics 本文应用到多个常用的融合算法测试指标，$A、B$分别表示待融合图像，$F$表示融合结果

1.Normalized mutual information：用于测量待融合图像中的信息在融合结果中的保留程度
QMI=2[MI(A,F)H(A)+H(F)+MI(B,F)H(B)+H(F)]MI(A,F)=H(A)+H(F)−H(A,F)Q_{M I}=2\left[\frac{M I(A, F)}{H(A)+H(F)}+\frac{M I(B, F)}{H(B)+H(F)}\right]\\ M I(A, F)=H(A)+H(F)-H(A, F) QMI=2[H(A)+H(F)MI(A,F)+H(B)+H(F)MI(B,F)]MI(A,F)=H(A)+H(F)−H(A,F)

其中HHH是计算边缘熵(Marginal Entropy)，H(A,F)H(A,F)H(A,F)是计算交叉熵(Joint Entropy)，MIMIMI是计算互信息(Mutual Information)

2.Yang metric：用于测量待融合图像中的结构信息在融合结果中的保留程度
QY={λwSSIM(Aw,Fw)+(1−λw)SSIM(Bw,Fw)if SSIM⁡(Aw,Bw∣w)≥0.75max⁡{SSIM⁡(Aw,Fw),SSIM⁡(Bw,Fw)}if SSIM⁡(Aw,Bw∣w)<0.75Q_{Y}=\left\{\begin{array}{c} \lambda_{w} S S I M\left(A_{w}, F_{w}\right)+\left(1-\lambda_{w}\right) S S I M\left(B_{w}, F_{w}\right) \\ \text { if } \operatorname{SSIM}\left(A_{w}, B_{w} \mid w\right) \geq 0.75 \\ \max \left\{\operatorname{SSIM}\left(A_{w}, F_{w}\right), \operatorname{SSIM}\left(B_{w}, F_{w}\right)\right\} \\ \text { if } \operatorname{SSIM}\left(A_{w}, B_{w} \mid w\right)<0.75 \end{array}\right. QY=⎩⎪⎪⎨⎪⎪⎧λwSSIM(Aw,Fw)+(1−λw)SSIM(Bw,Fw) if SSIM(Aw,Bw∣w)≥0.75max{SSIM(Aw,Fw),SSIM(Bw,Fw)} if SSIM(Aw,Bw∣w)<0.75
其中www是7×77×77×7的窗口，λw=s(Aw)s(Aw)+s(Bw)\lambda_{w}=\frac{s\left(A_{w}\right)}{s\left(A_{w}\right)+s\left(B_{w}\right)}λw=s(Aw)+s(Bw)s(Aw)，sss是计算方差

3.Cvejic matric：用于测量待融合图像中的重要信息在融合结果中的保留程度
QC=μ(Aw,Bw,Fw)UIQI(Aw,Fw)+(1−μ(Aw,Bw,Fw))UIQI(Bw,Fw)Q_{C}=\mu\left(A_{w}, B_{w}, F_{w}\right) U I Q I\left(A_{w}, F_{w}\right)+\left(1-\mu\left(A_{w}, B_{w}, F_{w}\right)\right) U I Q I\left(B_{w}, F_{w}\right) QC=μ(Aw,Bw,Fw)UIQI(Aw,Fw)+(1−μ(Aw,Bw,Fw))UIQI(Bw,Fw)

μ(Aw,Bw,Fw)={0,if σAFσAF+σBF<0σAFσAF+σBF,if 0≤σAFσAF+σBF<11,if σAFσAF+σBF>1\mu\left(A_{w}, B_{w}, F_{w}\right)=\left\{\begin{array}{cc} 0, & \text { if } \frac{\sigma_{A F}}{\sigma_{A F}+\sigma_{B F}}<0 \\ \frac{\sigma_{A F}}{\sigma_{A F}+\sigma_{B F}}, & \text { if } 0 \leq \frac{\sigma_{A F}}{\sigma_{A F}+\sigma_{B F}}<1 \\ 1, & \text { if } \frac{\sigma_{A F}}{\sigma_{A F}+\sigma_{B F}}>1 \end{array}\right. μ(Aw,Bw,Fw)=⎩⎨⎧0,σAF+σBFσAF,1, if σAF+σBFσAF<0 if 0≤σAF+σBFσAF<1 if σAF+σBFσAF>1

其中σ\sigmaσ表示协方差，UIQIUIQIUIQI是引自《A universal image quality index》的图像质量指标

4.Gradient based index：用于测量待融合图像中的边缘信息在融合结果中的保留程度
QG=∑i=1N∑j=1M(QAF(i,j)τA(i,j)+QBF(i,j)τB(i,j))∑i=1N∑j=1M(τA(i,j)+τB(i,j))Q_{G}=\frac{\sum_{i=1}^{N} \sum_{j=1}^{M}\left(Q^{A F}(i, j) \tau^{A}(i, j)+Q^{B F}(i, j) \tau^{B}(i, j)\right)}{\sum_{i=1}^{N} \sum_{j=1}^{M}\left(\tau^{A}(i, j)+\tau^{B}(i, j)\right)} QG=∑i=1N∑j=1M(τA(i,j)+τB(i,j))∑i=1N∑j=1M(QAF(i,j)τA(i,j)+QBF(i,j)τB(i,j))

QAF=QgAFQoAF;QBF=QgBFQoBFQ^{A F}=Q_{g}^{A F} Q_{o}^{A F};Q^{B F}=Q_{g}^{B F} Q_{o}^{B F} QAF=QgAFQoAF;QBF=QgBFQoBF

其中QgQ_{g}Qg表示融合结果对原图边缘强度的保留程度，QoQ_{o}Qo表示融合结果对原图边缘方向的保留程度，τττ为设定的权重

5.Phase congruency based index：用于测量待融合图像中的显著信息在融合结果中的保留程度
QP=(Pp)α(PM)β(Pm)γQ_{P}=\left(P_{p}\right)^{\alpha}\left(P_{M}\right)^{\beta}\left(P_{m}\right)^{\gamma} QP=(Pp)α(PM)β(Pm)γ
其中p、M、mp、M、mp、M、m分别表示相位一致性、矩的最大值、矩的最小值，α、β、γ\alpha、\beta、\gammaα、β、γ一般设置为1
下图是本文所提算法在以上5个指标的具体表现，其中rrr为guide filter的滤波窗口尺寸，$\epsilon $为正则化参数

Comparison with other image fusion methods

下图分别是本文所提算法与其他算法融合灰度图像、彩色图像效果比较示意图，本文所提算法对细节保留能力较高不产生伪影，且能够在一定程度上避免产生鬼影

下图是本文所提算法与其他算法融合多对焦图像的效果对比示意图，本文所提算法产生的Halo相对较轻

下表是以上三组图像融合结果在上述的5个客观指标与其他算法的比较，综合看来，本文所提算法在性能指标上表现较好

前面验证的待融合图像序列中都仅有两帧待融合图像，下图是8帧待融合数据使用本文方法的融合结果

图像融合：Image Fusion with Guided Filtering相关推荐

图像配准(image registration)与图像融合(image fusion)
在ISP多帧图像降噪过程中第一步就是对采集到的n帧图像进行帧间配准,然后根据各帧的像素值进行时域噪声判断.正确的配准是准确判断时域噪声的关键,否则会因为误判造成去噪过多或去噪不够的问题.而且帧间配准出 ...
图像融合（Image Fusion）简介
图像融合(Image Fusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像.融合结果由于能利用两幅(或多幅) 图像在时空上的相关性及信息上的互补性,并使得融合后得到的图像对场景有更全面.清晰 ...
图像融合（Image Fusion）
图像融合(Image Fusion) 是用特定的算法将两幅或多幅图像综合成一幅新的图像.融合结果由于能利用两幅(或多幅) 图像在时空上的相关性及信息上的互补性,并使得融合后得到的图像对场景有更全面.清 ...
图像融合论文及代码网址整理总结（3）——题目中未加区分的图像融合算法
写在前面的话: 之前写过两篇博文,针对性地整理汇总了多聚焦图像融合和红外与可见光图像融合的算法.之所以这样分类,是基于论文的标题和内容中明确指出了所处理的图像类型. 而本篇博文主要整理那些论文标题中未 ...
【图像融合学习笔记004】图像融合论文及代码网址整理总结（3）——题目中未加区分的图像融合算法
写在前面的话: 之前写过两篇博文,针对性地整理汇总了多聚焦图像融合和红外与可见光图像融合的算法.之所以这样分类,是基于论文的标题和内容中明确指出了所处理的图像类型. 而本篇博文主要整理那些论文标题中未 ...
多曝光图像融合技术_文章和代码总结（Multi-Exposure Image fusion_papers_and_codes）
最近在学习多曝光融合技术,总结了该领域的一些方法,有对应的论文和代码,文末有它们的提取链接. 目录研究背景和意义 MEF分类空间域 spatial domain 变换域 transform dom ...
曝光融合Exposure Fusion 与ghost
1.概述说到EF那我们不得不谈谈HDR.高动态范围(HDR)图像可以表示动态范围跨度很大的真实场景.图像的动态范围(dynamic range)是指一幅图像中可见区域最大亮度与最小亮度的比值.同样的 ...
基于导向滤波的图像融合
Image Fusion with Guided Filtering读后感(附有python代码) 文章目录 **Image Fusion with Guided Filtering读后感(附有pyt ...
图像融合论文及代码整理最全大合集
最全图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] Github项目地 ...
计算机技术中的图像融合,图像融合
图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率.改善计 ...

图像融合：Image Fusion with Guided Filtering