摘要

论文
代码

这个题目有点像CVPR2020的论文名称：《Structure-Preserving Super Resolution With Gradient Guidance》

要解决的问题是：虽然现有的CNN-based方法可以去除部分雨纹，但它们很难适应真实场景，并恢复出清晰准确的结构、高质量的无雨图像。本文为了解决这一问题，提出了一个Structure- Preserving Deraining Network (SPDNet) with RCP guidance。SPDNet在RCP的指导下直接生成结构清晰准确的高质量无雨图像，不依赖任何雨合成假设。

具体而言，我们发现，图像的RCP比雨图像包含更准确的结构信息。因此，我们将其引入到我们的去雨网络中，以保护无雨图像的结构信息。同时，提出了一种基于小波的多级模块（WMLM）作为雨天图像背景信息学习的主干网络，并设计了一种交互式融合模块（IFM）以充分利用RCP信息。此外，还提出了一种迭代指导策略，以逐步提高RCP的精度，在渐进路径中细化结果。实验结果在真实场景和合成数据集上都达到了SOTA。

方法

网络结构

SPDNet使用基于小波的特征提取主干作为主要结构，并引入了残差通道先验（RCP）指导机制来保持结构。在SPDNet中，基于小波的特征提取主干用于背景信息的学习，它由一系列基于小波的多级模块（WMLM）组成。然而，仅使用基于小波的特征提取主干很难保持重建图像的清晰结构。因此，在模型中引入RCP以提供额外的辅助信息，从而保留重建图像的结构信息。

Wavelet-based Feature Extraction Backbone

由于雨线的大小和密度是任意的，因此雨线图像中物体的遮挡区域和遮挡程度是未知的。multi-level strategy 可以很好地学习不同尺度的特征。直接采用下采样会造成信息损失，因此采用小波变换，而且小波变换可以捕捉频域和位置信息，有助于结果重建。具体结构图里画的很清楚。细节：

SE-ResBlock就是做超分的RCAN里面的RCAB，SRiR就是RCAN里面的Residual Group
因为小波变换后的通道数发生变化，后面要+的时候用卷积进行通道变换。

RCP Guided Structure-Preserving Deraining

Figure2是文中提到的Residue Channel Prior的可视化，可以看到，雨图的RCP展现的却是背景信息，妙！这个有助于结果的重建。这个RCP计算起来呢也非常简单：which is the residual result of the maximum channel value and minimum channel value of the rainy image.也就是雨图（注意是雨图而不是特征图）的通道值得极差。上图是原文里面关于RCP的理论依据来源。雨图的RCP计算出来以后，经过卷积变换，交给IFM模块。这个模块融合两部分的信息。

Interactive Fusion Module

结构如图5所示。文中所讲上下特征经过conv_3*3变换以后相乘，得到一个similarity map ，这里的相乘是element-wise的，然后经过sigmoid激活后再分别和自身特征相乘与相加。（作者可以把符号这些东西也标到图中，会更明了一些）
Iterative Guidance Strategy
从网络结构可以看到，中途会产生过程图像，继而产生新的RCP，如此的迭代指导有助于结果的重建。此外还发现，在每次计算RCP的时候会将之前阶段的特征也cat起来，也就是图中的skip-connection，在文中被称为ensemble learning，在消融实验中做了和其他方法的对比。Figure 6展示的是RCP随着图像质量的提升，也逐渐清晰。
loss

L2,多阶段都使用。

实验

和SOTA对比

在合成的以及真实数据集上效果都很好。速度也还不错。

Ablation Study

Table 3和4展示的是IFM结构设计和ensemble 以及小波变换模块个数的实验。

Table 5展示的是RCP指导的影响。Figure10是可视化的结果。

同时，文章还做了在目标检测上的实验。

ICCV2021：Structure-Preserving Deraining with Residue Channel Prior Guidance相关推荐

【2021】Structure-Preserving Deraining with Residue Channel Prior Guidance
Abstract 很多方法难以用于真实场景,难以恢复高清结构准确的高质量无雨图图像的RCP比有雨图像包含更准确的结构信息,故将其引入来保护无雨图像的结构信息 Wavelet-based Multi- ...
每日一佳——Structure Preserving Embedding（Blake Shaw et al. ，ICML，2009）
PDF 题目意思:结构保存嵌入,也就是"保存结构信息的图嵌入算法",等等,什么是图嵌入?1.A graph embedding is a particular drawing of ...
【深度学习】何恺明经典之作—2009 CVPR Best Paper | Dark Channel Prior
本文介绍一下中国大陆第一篇计算机视觉顶会的best paper,也是何恺明第一次在计算机视觉领域大放异彩的一篇经典之作-Dark Channel Prior.另外本文在Dark Channel Pri ...
《Single Image Haze Removal Using Dark Channel Prior》一文中图像去雾算法的原理、实现、效果及其他。...
在图像去雾这个领域,几乎没有人不知道<Single Image Haze Removal Using Dark Channel Prior>这篇文章,该文是2009年CVPR最佳论文.作者 ...
Single Image Haze Removal Using Dark Channel Prior 基于暗原色先验的单一图像去雾方法【翻译】
Single Image Haze Removal Using Dark Channel Prior Kaiming He, Jian Sun, Xiaoou Tang The Chinese Uni ...
Single Image Haze Removal Using Dark Channel Prior
单幅图像基于暗通道先验的去雾 Single Image Haze Removal Using Dark Channel Prior Kaiming He, Jian Sun, and Xiaoou T ...
《Single Image Haze Removal Using Dark Channel Prior》一文中图像去雾算法的原理、实现、效果（速度可实时）...
最新的效果见 :http://video.sina.com.cn/v/b/124538950-1254492273.html 可处理视频的示例:视频去雾效果在图像去雾这个领域,几乎没有人不知道< ...
Contrast in Haze Removal: Configurable Contrast Enhancement Model Based on Dark Channel Prior
吐槽吐槽!!!有史以来读的最费劲的一篇文章,各种长句!各种句式!各种缩写!各种实验中夹杂公式!!!各种各种!!!可是是IEEE的文章呢,读了那么多英文文章的如今读到我开始怀疑我的英文水平了,怀疑人生了 ...
《Single Image Haze Removal Using Dark Channel Prior》一文中图像去雾算法的原理、实现、效果及其他。 ...
在图像去雾这个领域,几乎没有人不知道<Single Image Haze Removal Using Dark Channel Prior>这篇文章,该文是2009年CVPR最佳论文.作者 ...

ICCV2021：Structure-Preserving Deraining with Residue Channel Prior Guidance

摘要

方法