文章目录

贡献
思想
网络结构
损失函数
网络特点
扩展的网络结构
实验结果
总结

Zhang, K., Zuo, W., Chen, Y., Meng, D., & Zhang, L. (2017). Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising. IEEE Transactions on Image Processing, 26(7), 3142–3155. https://doi.org/10.1109/TIP.2017.2662206

贡献

提出了一种端到端CNN网络用于高斯去噪网络，称为DnCNN。该网络采用残差学习策略从噪声图片中去除潜在干净图像，而不是用神经网络直接预测干净图像
使用残差学习（residue learning，RL）和批量归一化（batch normalization，BN）加快训练过程，提高去噪性能
可以训练一个单一的DnCNN模型进行盲高斯去噪，也可以很容易地扩展到一般的图像去噪任务，如盲高斯去噪，SISR, JPEG去噪

思想

噪声图片公式化表示 y=x+vy = x+vy=x+v，yyy为噪声图片，xxx为干净图片，vvv为图片噪声
通过DnCNN学习得到R(y)≈vR(y) ≈ vR(y)≈v，x=y−R(y)x = y − R(y)x=y−R(y)即得到干净图片

网络结构

DnCNN以VGG网络为基础，加入了残差学习(RL)和批量归一化(BN)。为了保持输出图片的尺寸，去除了池化层

橙色：first layer: conv+relu, 64x3x3xC
蓝色：2-(d-1) layers: conv+bn+relu, 3x3x64
橘红：last layer, Cx3x3x64
输出：图像噪声R(y)R(y)R(y)

其中64表示卷积核个数；c表示图片通道，c=1或c=3；卷积核大小为3x3

损失函数

该损失函数计算的是，期望残差图像与噪声输入估计残差之间的平均均方误差

R(yi;Θ)R(y_i;\Theta)R(yi;Θ)是网络预测的残差图像
yi−xiy_i-x_iyi−xi 表示噪声图片减去干净图片，得到噪声的GT

网络特点

对于不同类型的噪声，网络的深度不同。如对于确定噪声级别（noise level）的高斯去噪，设置网络深度为17层；对于一般噪声，设置网络层数为20层。噪声级别越大，effecive patch size（相当于感受野）设置越大，增加感受野可以利用更大图片区域的上下文信息。网络感受野(2∗d+1)(2∗d+1)(2*d+1)(2*d+1)(2∗d+1)(2∗d+1)
输入是c通道，输出为c通道，不改变图片的尺寸
图片\特征图在卷积之前，进行全零填充，用于消除边界伪影
使用BN解决训练过程中内部协变量偏移问题；RL使DnCNN从隐藏层种隐式删除潜在干净图像，使得每层输入数据都尽可能服从高斯分布

扩展的网络结构

DnCNN-S
已知noise level的高斯去噪。设置 σ=15,25,50\sigma=15,25,50σ=15,25,50，patch size为40×40，裁剪128×1600个patch来训练模型

DnCNN-B
盲高斯去噪。设置noise level为σ∈[0,55]\sigma∈[0,55]σ∈[0,55]，patch size为50×50，裁剪128×3000个patch来训练模型

CDnCNN-B
盲彩色图像去噪模型。用Berkeley segmentation数据集的用432张彩色图像训练，BSD68数据集的彩色图像进行测试。设置noise level在[0,55]，patch size为50x50，裁剪128×3000块训练模型

DnCNN-3
这是针对去噪、SISR和JEPG图片解压缩三种任务训练的网络

实验结果

在Titan X上分别训练DnCNN-S、DnCNN-B/CDnCNN-B和DnCNN-3大约需要6小时、1天和3天

针对已知noise level 的高斯噪声，结果如下。从图中可知在σ=15，25，50\sigma=15，25，50σ=15，25，50 时，所提出的DnCNN在大多数图像上都有最高的PSNR。 DnCNN在大多数图像上的表现都比其他方法好0.2 ~ 0.6dB，只有“House”和“Barbara没有达到最好的效果，这两幅图像以重复结构为主。原因是，基于非局部相似性的方法通常对规则和重复结构的图像效果更好，而基于判别训练的方法通常对纹理不规则的图像效果更好。这是因为具有规则和重复结构的图像很好满足非局部相似性先验; 相反,图片中不规则的纹理会削弱这种特定先验的优势，从而导致结果较差。

对3种分辨率的图片进行降噪处理所需要的时间，CPU耗时/GPU耗时。DnCNN算法效率很高，它可以在60ms内对大小为512×512噪声水平未知的图像进行去噪，而且处理之后的图像质量较高，而且没有伪影，相对于TNRD具有明显的优势

DnCNN-3在三种不同任务与其他方法的对比，可以看出该网络在3种任务中都优于之前的方法，在高斯去噪和JPEG图片解压的效果尤为明显。这说明用一种网络结构处理多种不同类型的图片噪声是可行的。

总结

本文提出DnCNN降噪网络，采用残差学习和批量归一化训练一个端到端的CNN网络，使网络能够学习到加性高斯白噪声。网络不仅对noise level 已知的高斯去噪有效，也适用于盲高斯噪声去噪。网可以用于SISR和JPEG iamge deblocking的任务，为去除图像一般去噪提供了新的思路。

【论文笔记】Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising相关推荐

Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising
摘要: 用于图像去噪的判别模型学习由于其有利于去噪性能而最近吸引了相当大的关注.在这篇文章中,我们通过研究前馈去噪卷积神经网络(DnCNN)的结构向前迈进了一小步,将非常深的结构.学习算法和正则化方法 ...
论文笔记：Meta-attention for ViT-backed Continual Learning CVPR 2022
论文笔记:Meta-attention for ViT-backed Continual Learning CVPR 2022 论文介绍论文地址以及参考资料 Transformer 回顾 Self- ...
论文笔记VITAL: VIsual Tracking via Adversarial Learning
论文笔记VITAL: VIsual Tracking via Adversarial Learning 1. 论文标题及来源 2. 拟解决问题 3. 解决方法 3.1 算法流程 4. 实验结果 4.1 ...
论文笔记——Fair Resource Allocation in Federated Learning
论文笔记--Fair Resource Allocation in Federated Learning 原文论文链接--http://www.360doc.com/content/20/0501/1 ...
论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括摘要 1 介绍 2 大规模并 ...
最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022
Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems 可译为"利用区块链实现隐私保护的拜 ...
论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning
论文来源:WWW 2022 论文地址:https://arxiv.org/pdf/2201.11332.pdfhttps://arxiv.org/pdf/2201.11332.pdf 论文代码:暂未公 ...
[论文笔记]CVPR2017_Joint Detection and Identification Feature Learning for Person Search
Title: Joint Detection and Identification Feature Learning for Person Search; aXiv上该论文的第一个版本题目是 End- ...
论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition
原论文:Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition(暂未开源) Dyna ...
【论文笔记】Towards Universal Sequence Representation Learning for Recommender Systems
论文详细信息题目:Towards Universal Sequence Representation Learning for Recommender Systems 作者:Yupeng Hou a ...

【论文笔记】Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising