【Cycle-Interactive GAN:弱光图像增强】

Cycle-Interactive Generative Adversarial Network for Robust Unsupervised Low-Light Enhancement

（基于循环交互式生成式对抗网络的鲁棒无监督弱光增强）

近年来的无监督弱光增强方法摆脱了对成对训练数据拟合的基本限制，在调节图像亮度和对比度方面表现出了优异的性能。然而，对于无监督的弱光增强，由于缺乏对细节信号的监督，残余的噪声抑制问题在很大程度上阻碍了这些方法在实际应用中的广泛部署。本文提出了一种新的用于无监督弱光图像增强的循环交互式生成对抗网络（Cycle-Interactive Generative Adversarial Network (CIGAN)），它不仅能够更好地传递弱光图像与正常光图像之间的光照分布，而且能够处理两个域之间的细节信号，在循环增强/降级过程中抑制/合成真实噪声。特别地，所提出的弱光引导变换将弱光图像的特征从增强GAN的生成器（enhancement GAN (eGAN)）前馈到退化GAN的生成器（degradation GAN (dGAN)）。dGAN通过学习真实微光图像的信息，可以合成出更加真实的微光图像中的各种光照和对比度。此外，dGAN中的特征随机扰动模块学习增加特征随机性，以产生多样化的特征分布，从而使合成的低光照图像包含真实感噪声。实验结果表明了该方法的优越性和CIGAN中各模块的有效性。

介绍

典型地，在低光照条件下获取的图像不可避免地由于各种视觉质量损害而劣化，例如不期望的可见度、低对比度和强噪声。弱光图像增强旨在从观察到的弱光图像恢复正常光潜像，以同时获得理想的可见度、适当的对比度和抑制的噪声。它极大地提高了图像的质量，有利于人类视觉，并且还可以辅助高级计算机视觉任务，例如图像分类、人脸识别和目标检测等。开创性的低光照图像增强方法扩展了低光照图像的动态范围，即直方图均衡化（HE），或者自适应地调整分解的照明和反射层，即基于Retinex的方法。

最近，基于深度学习的方法取得了显著的成功。这些方法中的大多数遵循监督学习的范例，并且严重依赖于准备好的成对正常/弱光图像来训练和评估模型。然而，常见的成对训练数据集受到它们各自的限制。第一，通过简化的模拟成像管道合成的数据可能无法捕获真实的低光图像的固有属性。第二，由专业修图师创建手工修图数据是相当劳动密集型和耗时的。采用这类数据作为训练数据，也要承担修图者个人素质偏差的风险。第三，真实的捕获的数据可能捕获真实的退化，但无法覆盖野外的各种场景和物体。此外，使用预定义设置（即曝光时间和ISO）捕获的地面真实值可能不是最佳的。因此，基于成对数据的有监督方法不可避免地导致训练数据与真实的世界测试数据之间的域转移，进而给真实低照度图像的泛化带来挑战。

近年来，人们提出了一系列无监督的弱光增强方法。这些方法不依赖于成对的训练数据，并且只需要两个不成对的低/正常光图像集合。它们是基于单向生成对抗网络（GAN）或可学习曲线调整构建的。这些方法在亮度/对比度调节方面取得了良好的效果。然而，由于缺乏对细节信号的监控，一些具有挑战性的、带有强烈噪声的真实微光图像的质量并不令人满意。作为一个非常相似的主题，图像美学质量增强受益于CycleGAN，以提供最先进的性能。我们认为，这些CycleGAN不能有效地处理弱光图像增强问题。首先，低光退化引入了信息丢失，这使得增强问题不明确。换句话说，低/正常光图像之间的映射是一对多映射。然而，CycleGAN只能导致一对一的区别映射。第二，低/正常光域的固有维度是不平衡的，因为具有强噪声的低光图像反映更复杂的属性。这种不平衡可能干扰CycleGAN的训练，即退化生成器不能合成真实噪声，并且随后增强生成器不能处理真实退化。

本文提出一种新的循环交互式GAN（CIGAN）算法，用于无监督的微光图像增强，同时实现光照调节、对比度增强和噪声抑制。对图像退化的更全面的考虑导致循环建模中更有效的退化和增强过程。换句话说，在图像劣化中生成的低光图像越逼真和多样，图像增强的结果就越好和越鲁棒。为解决CycleGAN的上述问题，从三个方面进行了努力。首先，我们使我们的CIGAN中的退化和增强生成器相互作用。更具体地说，我们提出了一种新的弱光引导变换，将真实弱光图像的特征从增强生成器转移到退化生成器。在整个训练过程中，以不同真实低照度图像的信息为参考，合成了更多的低照度图像，有利于建立低照度/正常低照度图像之间的多重映射关系。其次，为了解决域不平衡问题，我们在退化发生器中加入了一种新的特征随机扰动。该扰动将可学习的随机仿射变换应用于中间特征，这平衡了两个域中特征的固有维度，并且有利于合成真实噪声。最后，我们设计了一系列先进的模块来提高我们的CIGAN的建模能力，如在生成器端的双重注意模块，在鉴别器端的多尺度特征金字塔，作为增强生成器融合操作的对数图像处理模型。大量的实验结果表明，该方法优于现有的无监督方法，甚至优于现有的有监督方法。

贡献

1）提出了一种新的无监督弱光图像增强算法CIGAN，该算法能够同时实现光照调节、对比度增强和噪声抑制，在图像增强方面表现优异，在图像退化建模方面明显优于以往的大多数工作。
2）我们提出了一种弱光引导变换（LGT），允许退化/增强的生成器进行交互，这有助于生成具有更多样和更逼真的照明和对比度的弱光图像。·
3）我们提出一个可学的特性随机扰动(FRP)产生不同的功能分布,使得生成的低光照条件下的图像更现实的噪音和福利低光照条件下的图像增强的过程。

方法

如图2所示，我们提出的CIGAN旨在通过在不成对数据的监督下同时调整亮度、增强对比度和抑制噪声来提高低光图像的感知质量。它由互补降解型GAN（complementary degradation GAN (dGAN)）和增强型GAN（enhancement GAN (eGAN)）组成。

1)dGAN： 它的目标是从输入的正常光图像

【Cycle-Interactive GAN:弱光图像增强】相关推荐

Toward Fast, Flexible, and Robust Low-Light Image Enhancement(实现快速、灵活和稳健的弱光图像增强)CVPR2022
最前面是论文翻译,中间是背景+问题+方法步骤+实验过程,最后是文中的部分专业名词介绍(水平线分开,能力有限,部分翻译可能不太准确) 图1.最近最先进的方法与我们的方法之间的比较.KinD是一种典型的成 ...
论文速读：自监督弱光图像增强：Self-supervised Image Enhancement Network: Training with Low Light Images Only
Self-supervised Image Enhancement Network: Training with Low Light Images Only Yu Zhang, Xiaoguang D ...
A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images
A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images ...
Deep Light Enhancement without Paired Supervision （非配对数据监督学习用于低曝光图像增强）
Deep Light Enhancement without Paired Supervision 注:本篇总结仅供学习交流 1.Abstracrt 基于深度学习的方法在图像还原和增强方面取得了显著成 ...
【论文】低光图像增强的零参考深度曲线估计
Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement 连接:Zero-Reference Deep Curve Es ...
A Two-stage Unsupervised Approach for Low light Image Enhancement（一种两阶段无监督的微光图像增强方法）
主要参考文献及其收获 Unpaired image-to-image translation using cycle-consistent adversarial networks Deep reti ...
【总结】有三AI所有原创GAN相关的技术文章汇总（2022年8月）
GAN的研究和应用在这几年发展可以说是非常迅猛,无疑是这几年深度学习计算机视觉领域里落地性最酷的技术,包括图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升等. ...
【总结】超100期经典GAN模型的解读，从结构设计到应用，你不动心吗？
GAN无疑是这几年深度学习领域里最酷的技术,不管是理论的研究,还是GAN在图像生成,图像翻译,语音图像等基础领域的应用,都非常的丰富.我们公众号输出过非常多的GAN相关资源,本次做一个简单汇总,并重点 ...
【总结】有三AI所有原创GAN相关的学习资料汇总（2022年12月）
GAN的研究和应用在这几年发展可以说是非常迅猛,无疑是这几年深度学习计算机视觉领域里落地性最酷的技术之一,包括图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升 ...

【Cycle-Interactive GAN:弱光图像增强】

Cycle-Interactive Generative Adversarial Network for Robust Unsupervised Low-Light Enhancement

介绍

贡献

相关工作

Traditional Image Enhancement

Learning-based Image Enhancement

方法

【Cycle-Interactive GAN:弱光图像增强】相关推荐

最新文章

热门文章