【MEF：深度感知增强（细节增强：色彩映增强）】

Multi-exposure image fusion via deep perceptual enhancement

（基于深度感知增强的多曝光图像融合）

多曝光图像融合 (MEF) 是通过将具有不同曝光的多个镜头集成在一起来解决此问题的有效方法，这在本质上是一个增强问题。在融合过程中，应同时关注两个感知因素，包括信息性和视觉真实感。为了实现这一目标，本文提出了一种用于MEF的深度感知增强网络，称为DPE-MEF。具体来说，建议的DPE-MEF包含两个模块，其中一个模块响应从输入收集内容细节，而另一个模块则负责最终结果的颜色映射/校正。

大多数 (如果不是全部) 现有MEF方法首先将图像的RGB颜色空间切换到亮度和色度分离颜色空间，例如YCbCr，然后仅在亮度 (Y通道) 上应用融合策略。但是，通过这种方式，融合图像的颜色通常会变得相对苍白和失真，因为由于传感器的质量有限，(极度) 曝光不足的图像的颜色信息可能 (严重) 被破坏。基于以上考虑，本研究提出了一种深度神经网络来完成MEF任务。

贡献

1）为了获得信息丰富且视觉上引人注目的融合结果，我们为MEF设计了深度感知增强网，即DPE-MEF。DPE-MEF由两个功能子网组成，分别负责从多个输入收集重要细节。

2）受融合本质的驱动，细节增强模块试图从源输入中全面探索细节。通过寻找最佳的局部曝光来有效地形成增强图像，这些曝光可以作为参考来指导细节增强模块。

3）为了保证视觉质量，引入了色彩增强模块。它能够通过学习同一场景的自然图像中颜色和亮度之间的关系来完善外观，从而使融合图像更加逼真和生动，从而显着提高视觉感知。

4）进行了广泛的实验以证明我们设计的功效，并与最新方法相比揭示了其优势。我们进一步验证了所提出的策略可用于提高单个图像的曝光质量。

相关工作

传统方法
通常包含三个主要组成部分，包括图像变换，活动水平 (信息性) 测量和融合策略设计，主要可以分为基于空间域和基于变换域的技术。
基于空间域直接在像素级别或补丁级别执行融合策略。在像素级工作的方法通常会努力为源图像计算适当的权重图，然后通过加权加法进行融合。作为代表，Liu等人提出了一种基于密集尺度不变特征变换的方法，并应用密集SIFT描述符作为活动水平度量来计算权重图。基于补丁的工作通常首先从不同方面评估源图像中补丁的信息量，然后结合具有最丰富信息的信息来组成融合图像。Ma等人为MEF定制了一种结构斑块分解方法，并利用该分解策略作为优化指标，进一步提出了基于优化的方法。上述方法具有局限性，即基于像素的方法由于缺乏全局信息而经常遭受亮度转变问题，而基于补丁的方法很可能在边界周围引入 (光晕) 伪像。

基于变换域的方法，它们通常对系数执行融合策略，然后逆变换回原始域。Burt等人为MEF设计了一个金字塔分解方案，这可以说是对MEF任务的第一次基于变换的尝试。此外，Mertens等人尝试将对比度，饱和度和良好的曝光性结合起来来测量源图像的质量，然后生成权重图以金字塔的方式融合源图像。Li等人使用引导滤波器将源图像分解为基本层和细节层，然后通过加权平均将它们合并以获得最终融合的图像。许多后续行动都采用其他方法来完成这项工作，例如小波，梯度和PCA。尽管显示出一些合理的结果，但这些传统方法通常依赖于手工制作的功能和手动设计的融合策略。由于特征提取和集成能力不足，大多数需要长序列的源图像，曝光间隔较小，才能产生相对较好的融合结果，需要繁重的计算量，限制了适用的场景。请注意，在曝光变化较大的源图像较少的情况下，通过这些方法融合的结果的质量将大大降低。

Deep learning methods

缓解了对源图像数量和质量的需求，并获得了更好的融合效果。第一次基于DL的尝试可能会追溯到DeepFuse，它构建了一个卷积网络，通过优化无监督度量MEF-SSIM 直接合并源图像的亮度分量，并通过加权融合策略融合色度部分。但是，MEF-SSIM本身不足以确保融合质量，并且缺乏详细的色度处理通常会导致颜色失真。继DeepFuse之后，Qi等人利用多通道MEF-SSIM作为优化目标，以避免颜色空间的转换。Ma等人设计了一个名为MEF-Net的网络，它遵循加权融合线。MEF-Net通过将下采样的源图像馈入网络来生成权重图，从而降低了计算成本。由于其基于像素的权重添加方式，它也与传统的基于像素的方法 (例如俯瞰全局结构信息) 一样存在麻烦。上述基于DL的算法以不同的无监督方式执行。或者，有些作品通过将现有融合方法产生的融合图像作为伪地面真相来将MEF任务转变为有监督的方式。Xu等人为MEF任务使用了生成对抗网络，即MEF-GAN。Zhang等人提出IFCNN，利用两个分支从每个源图像中提取特征，然后采用元素融合规则融合深度特征，最后通过两个卷积层从融合的特征中生成融合图像。显然，这些监督方法的性能受到所涉及的现有方法的限制。不难在参考图像中看到伪影，从而在最终的融合结果中看到伪影。此外，提出了几种基于统一深度学习的方法来服务于各种图像融合任务。这些方法通常使用常见的图像属性作为信息性的度量，然后进行融合以收集信息部分。例如，DIF-Net采用结构张量来评估源图像的结构强度。在PMGI和SDNet中，都使用了梯度和强度，而U2Fusion利用深度特征的梯度来保持融合结果和源图像之间的相似性。尽管这种方法扩大了应用范围，但它们不可避免地会失去针对不同融合场景的特定考虑。此外，由于仅在亮度通道上执行操作以实现多任务多功能性，因此它们还遭受颜色失真的困扰。

Problem analysis

MEF-SSIM是一种基于补丁的度量，它将每个图像补丁x