一、相关工作

1.1、Noise2Noise

二、本文方法——Neighbor2Neighbor

2.1、训练图像对的生成

2.2、有规律的自监督训练

三、实验

一、相关工作

这篇文章的工作同样是图像去噪，但是本文方法是不需要干净图像的无监督方法。本文工作是受Noise2Noise的启发。首先简要介绍Noise2Noise。

1.1、Noise2Noise

Noise2Noise是一种不需要真实干净图像训练的去噪方法，该方法只需要相同场景的独立噪声图像对。给定同一个地面真实图像x的两个独立的噪声观测值y和z, Noise2Noise试图以θ的形式最小化以下损失

其中f是去噪网络。

下面介绍关于噪声图像对的信息：

虽然不用干净的图像，但是捕获一个场景的多个噪声观测仍然是一个非常具有挑战性的问题。由于遮挡、运动和光线变化，两种噪声观测的真实情况很难相同。因此，作者将式(1)扩展到底层干净图像之间的间隙 $\epsilon := \mathbb{E}_{z|x}(z)- \mathbb{E}_{y|x}(y)\neq 0$ 。

定理1 设y和z是两个以x为条件的独立噪声图像，并假设存在 $\epsilon \neq 0$ 使得 $E_{y|x}(y) = x$ 和 $E_{z|x}(z) = x + \epsilon$ 。设z的方差为 $\sigma_z^2$ ，则满足

定理1指出，当间隙 $\epsilon \neq 0$ ，因为 $\mathbb{E}_{x,y}(f_\theta (y)-x)\not\equiv 0$ ，优化 $\mathbb{E}_{x,y,z}||f_\theta (y)-z||_2^2$ 不能得到与监督训练损失 $\mathbb{E}_{x,y}||f_\theta(y)-x||_2^2$ 相同的解。但是，如果ε→0，这意味着差距足够小， $2\epsilon \mathbb{E}_{x,y}(f_\theta(y)-x)\rightarrow 0$ ，所以用噪声图像对(y,z)训练的网络作为监督训练网络的合理近似解。注意当ε = 0时，因为 $\sigma _z ^2$ 为常数，使式(2)两边最小，得到 $arg\ min_\theta\ \mathbb{E}_{x,y,z}||f_\theta(y)-z||_2^2$ ，这也是Noise2Noise的目标。

接下来扩展到单个噪声图像：

受Noise2Noise的启发，其中训练对是相同场景的独立噪声图像对，本文进一步提出通过从单个噪声图像y中采样生成独立的训练对。

具体来说：

一个图像对采样器 $G=(g_1,g_2)$ 被用来从单个噪声图像里生成一个噪声图像对 $(g_1(y),g_2(y))$ 。两个采样图像 $(g_1(y), g_2(y))$ 的内容非常相似。与式(1)相似，作者尝试将采样后的图像对作为两个噪声观测，得到：

与Noise2Noise不同，两个采样的噪声图像 $(g_1(y),g_2(y))$ 的真实图像是不同的，即 $\epsilon=\mathbb{E}_{y|x}(g_2(y))-\mathbb{E}_{y|x}(g_1(y))\neq 0.$ 根据定理1，直接应用(3)式是不合适的，会导致过度平滑。因此，作者考虑了非零间隙ε。

考虑到用干净图像训练的最优(理想)去噪器 $f^*_\theta$ ，给定x，它满足 $f^*_\theta(y)=x$ 和 $f^*_\theta (g_{l} (y))=g_l(x), for \ l \in \{1,2\}.$ 因此，对于最优网络 $f^*_\theta$ 成立如下：

对于式(4)中的后两项，考虑训练图像对的真实图像之间的间隙。如果间隙为零，则式(4)中后两项的减法消失，式(4)成为式(1)中Noise2Noise配对训练的特例。但如果间隙不为零，则这两项作为修正式(4)中前两项的ground truth gap，迫使式(4)为零。

因此，式(4)提供了一个当去噪器 $f_\theta$ 为理想 $f^*_\theta$ 时满足的约束。为了利用这个(理想)约束，作者不直接优化式(3)，考虑以下约束优化问题：

利用方程 $\mathbb{E}_{x,y}=\mathbb{E}_x \mathbb{E}_{y|x}$ ，作者进一步将其改写为如下正则化优化问题：

二、本文方法——Neighbor2Neighbor

在本节中，基于上一节的动机，作者提出了Neighbor2Neighbor，这是一个自监督框架，用于从单个噪声图像观察训练CNN去噪，由两部分组成。第一部分是利用随机邻域子采样器生成噪声图像对。在第二部分中，虽然下采样图像对用于自监督训练，作者进一步引入正则化损失来解决下采样噪声图像对之间的非零地面真值差距。正则化损失由重建项和正则项组成。框架如图1所示。

2.1、训练图像对的生成

首先引入一个相邻的子采样器，从单个噪声图像y中产生噪声图像对 $(g_1(y),g_2(y))$ 进行训练，满足之前讨论的以下假设：(1)给定y的基础真值x，下采样的成对噪声图像 $(g_1(y),g_2(y))$ 是条件独立的;(2)底层地面真实图像 $g_1(y)$ 和 $g_2(y)$ 之间的差距很小。

利用相邻子采样器生成图像对的示意图如图2所示。

将图像表示为y，宽度W，高度h。相邻子采样器 $G=(g_1,g_2)$ 的细节描述如下:

1、图像y被分为⌊W/k⌋×⌊H/k⌋单元格，每个单元格的大小为k × k。根据经验，设置k = 2。

2、对于第i行和第j列单元格，随机选择相邻的两个位置。分别取它们作为子采样器 $G=(g_1,g_2)$ 的第(i, j)个元素。

3、对于所有[W/k] x [H/k]单元，重复步骤2。然后生成相邻子采样器 $G=(g_1,g_2)$ 。给定图像y，导出两个下采样图像 $(g_1(y),g_2(y))$ ，大小为⌊W/k⌋×⌊H/k⌋。

这样就可以利用不同的随机邻域子采样器从单个带噪声的图像中生成带噪声的训练图像对。配对图像 $(g_1(y),g_2(y))$ 的ground-truth是相似的，因为 $(g_1(y),g_2(y))$ 的成对像素在原始噪声图像y中是邻居。此外，如果进一步假设噪声图像y在给定地面真实值x的情况下是有条件像素独立的，则满足 $(g_1(y),g_2(y))$ 的独立性要求。

2.2、有规律的自监督训练

上一节已经使用提出的邻域子采样器从单个噪声图像中生成了训练图像对，这里将介绍带有噪声训练输入和目标的自我监督训练策略。

给定一对来自噪声图像y的下采样图像 $(g_1(y),g_2(y))$ ，使用之前提出的以下正则化损失来训练去噪网络:

具体算法如下：

三、实验

代码：GitHub - TaoHuang2018/Neighbor2Neighbor: Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

Neighbor2Neighbor:从单个噪声图像进行自监督去噪相关推荐

Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用单张图像进行自监督学习去噪】
文章目录 Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image[使用单张图像进行自监督学习去噪] 一 ...
Pixel2Mesh从单个RGB图像生成三维网格ECCV2018
目录摘要 1.Introduction 2.Related Work 3.Method 3.1.准备工作:基于图的卷积 3.2.系统概述 3.3.初始椭球 3.4.Mesh deformation ...
Matlab 频域滤波处理周期噪声图像（带阻滤波器滤波）
带阻滤波器的传递函数为: D0为截止半径(或是截止宽度) D1.D2由下式确定,表示与(u0,v0)和(-u0,v0)点的距离,此时(u0,v0)是在频域中心为坐标原点表示的,所以是对称关系. 使用二 ...
R语言ggplot2可视化：jupyter中设置全局图像大小、jupyter中自定义单个ggplot2图像结果的大小
R语言ggplot2可视化:jupyter中设置全局图像大小.jupyter中自定义单个ggplot2图像结果的大小目录
MATLAB加柯西分布噪声图像和加柯西分布噪声图像直方图
clc,clear,close all warning off feature jit off im = imread('coloredChips.png'); Z0 = imnoise_Cauchy ...
c语言给图片添加椒盐噪声,图像添加高斯噪声、胡椒噪声、盐噪声和椒盐噪声...
1.盐椒噪声图像加入椒盐噪声开始,椒盐噪声其实就是使图像的一些随机的像素为黑色(0)或者白色(255): 盐噪声又称白噪声,在图像中添加一些随机的白色像素点(255):胡椒噪声是在图像中添加一些随机 ...
matlab 伽马噪声,使用Matlab中的randg Gamma定律创建噪声图像并消除噪声？
我想在Matlab中使用"randg"函数为图像添加乘法伽马噪声,并消除噪音.我们必须记住,噪声应该是平均值1和等级4.它应该遵循Gamma定律(具有Gamma概率分布函数). 添 ...
Matlab对含噪声图像的滤波操作_两种噪声_三种滤波器_两种方法
注释很重要 Matlab对含噪声图像的滤波操作. 噪声: 高斯噪声(正态分布) 均匀噪声用到的滤波器: 高斯滤波器盒型滤波器中值滤波器用到的两种方法: 直接conv2 fft2 %%C1 fi ...
维纳滤波复原噪声图像
一．实验设备计算机,MATLAB软件二．实验目的 1.理解并掌握维纳滤波复原噪声图像的原理. 2.学习使用matlab对图像进行加噪声的操作. 3.学习使用matlab对噪声进行维纳滤波恢复原图像 ...

Neighbor2Neighbor:从单个噪声图像进行自监督去噪

一、相关工作

1.1、Noise2Noise

二、本文方法——Neighbor2Neighbor

2.1、训练图像对的生成

2.2、有规律的自监督训练

三、实验

Neighbor2Neighbor:从单个噪声图像进行自监督去噪相关推荐

最新文章

热门文章