2021-11-11SR-DRN

闭环问题：单张图像超分辨的对偶回归网络（DRN)

SR主要是要学习LR和HR之间的某种映射来重建相应的HR图像。

一、SISR存在的两个潜在的问题：

1.学习从LR到HR的映射是一个病态的逆问题。一张LR图像可以对应多张HR图像，也就是说存在不唯一的HR图像能够获得同一张LR图像；
2.现有的SR方法大多数是基于成对的LR-HR图像的，而现实中，我们很难获得成对的图像，因此SR方法往往会出现适应性的问题。
问题一意味着LR到HR的映射是不唯一的，其解空间是很大的进而导致获得一个比较好的SR映射并不是很容易的。问题二指出了SISR方法在实际应用时要考虑的模型泛化问题。

二、本文提出的解决方法

1.对于问题1，本文提出了添加了对偶回归的模块。对偶回归模块学习了HR到LR的映射，而重建的HR图像的效果可以通过对其施加某种退化模型获得的LR图像与真实LR图像之间的差距来评价，也就是说重建HR图像获得的LR图像与真实LR图像的差距越小那么就说明重建的HR图像效果越好。这样通过额外添加的对偶回归模块可以减小LR到HR映射的搜索空间。
2.对于问题2，现有的SR方法大部分是基于成对的HR-LR数据来训练的，属于监督SR，本文提出的DRN网络训练时使用了不成对的LR图像，使用半监督学习策略,将该方法运用到现实生活中的数据中。
主要工作：
1）提出了dual regression策略，增强了SR效果，对DR进行了泛化能力的分析；
2）使用不成对的数据，增强了模型的泛化能力

三、相关工作

在介绍DRN网络结构之前，先介绍该网络中相关模块和相关的学习策略
1.Dual Learning 对偶学习
对偶学习起源于机器翻译。对偶学习包括原始模型和对偶模型两部分，通过同时学习两个相对应的映射来增强语言翻译的效果。
2.RCAB residual channel attention block
RCAB是在ECCV2018年的RCAN中提出的模块
RCAB的结构如图所示主要是添加了CA层

CA通道注意力机制如下图所示

本质上是对每个通道通过自学习的方法获得相应通道的权重并和通道信息进行组合获得具有不同权重的通道信息。CA不会改变特征图的尺寸和通道的数目。

四、DRN

1.DRN的网络结构
DRN的网络结构如图所示

黑色的箭头连接的表示的是原始的回归，红色则表示对偶回归，其中虚线表示的是短接。DRN左侧部分表示可以看作一个下采样的过程，右侧则是相当于一个上采样的过程。右侧使用到的RCAB模块已经在前面介绍过了，PixelShuffle是图像超分辨的一种上采样的方式也就是子像素上采样方法。就假设先在有一张HxWxC的LR图像，缩放因子为r，通过卷积将通道数变为r的平方倍，然后通过周期筛选获得最后的rHxrWxC的期望结果。
2.DRN的损失函数
DRN的损失函数分为成对训练数据和不成对训练数据两者情况。首先是对于常用的超分辨成对数据集来说其损失函数如图所示

而对于不成对的现实数据来说其损失函数则为

这里论文中使用了部分合成的成对的数据，m,n分别表示训练中成对样本和不成对样本的数目。通过对比加入合成数据和不加入合成数据的实验结果也说明了加入合成数据的原因。
3.DRN训练数据的设计
在损失函数中也提到了在不成对的数据的训练中存在合成数据和不成对数据两中情况。
4.DRN超参数选取以及消融实验
论文中也对对偶回归策略进行了相应的消融实验证明了该策略的有效性。
此外，在整个网络中存在两个比较重要的参数，原始回归和对偶回归的平衡参数、不成对数据训练时的不成对数据的占比，论文中同样对其进行了最优值的探索。

五、DRN性能

六、结论

论文主要时通过增加了对偶回归部分来尝试解决SISR中的两个问题，并考虑到了将不成对的数据加入训练集，实现半监督的SR，给出了比较好的超分结果。

2021-11-11SR-DRN相关推荐

史上最详细微信小程序授权登录与后端SprIngBoot交互操作说明，附源代码，有疑惑大家可以直接留言，蟹蟹 2021.11.29完善更新小程序代码，
2021.11.29 更新文章你好,我是博主宁在春,一起学习吧!!! 写这篇文章的原因,主要是因为最近在写毕业设计,用到了小程序,这中间曲曲折折,一言难尽啊.毕业设计真的让人麻脑阔
读论文——Pre-Training with Whole Word Masking for Chinese BERT（2021 11.25）
第一遍标题以及作者(2021 11.25) 摘要本文基于BERT,在RoBERTa上进行一系列改进,提出了用于中文的预训练模型MacBERT. 提出了一种新的掩码策略,MLM as correct ...
首页推荐流支持快捷修改兴趣标签，问答支持展示gif【2021.11.8】
hello,大家好,这里是「CSDN产品周报」第17期.本次更新主要涉及首页和问答两个产品模块,具体细节请往下看. 一.首页优化 1.「推荐」信息流新增「修改兴趣标签」按钮从用户需求的角度考虑,对内 ...
【报告分享】小红书平台2021 11.11期间行业投放分析报告-千瓜数据(附下载)
摘要:随着平台多元化发展,用户体量增加,小红书逐渐拥抱了更多的年轻用户群体,也给更多的品牌带来了增长机会.据小红书方透露,2021年小红书平台的单日笔记曝光已经超100亿次,且男性用户占比已经达到了3 ...
2021.11.8-11.14 AI行业周刊（第71期）：AI行业经验
篇章一:行业经验不同的AI公司,对于AI产品的场景定位不同. 有的公司是面向C端产品.有的公司专门做B端用户. 当然大白所在的公司,也有具体的定位,主要面向智慧金融.智慧机场.智慧城市. 之前,一直 ...
第13期微生物组-宏基因组分析(线上/线下同时开课，2021.11)
福利公告:为了响应学员的学习需求,经过易生信培训团队的讨论筹备,现决定安排扩增子16S分析.宏基因组.Python课程和转录组的线上直播课.报名参加线上直播课的老师可在1年内选择参加同课程的一次线下课 ...
【不忘初心】Win10_LTSC2021_19044.1381_X64_可更新[纯净精简版][2.52G](2021.11.20）
此版可正常更新补丁,母版来自UUP WIN10_LTSC2021 19044.1288集成补丁到19044.1381为了保证稳定初心的系统全部都是离线精简和优化,非二次封装.系统纯净.流畅.进程少无任 ...
微生物组-宏基因组分析(线上/线下同时开课，2021.11)
福利公告:为了响应学员的学习需求,经过易生信培训团队的讨论筹备,现决定安排扩增子16S分析.宏基因组.Python课程和转录组的线上直播课.报名参加线上直播课的老师可在1年内选择参加同课程的一次线下课 ...
《星科快报》2021.11.11何为NFT
<星科快报>2021.11.9---何为NFT 艺术经销商.Artnet专栏作家和自称为NFT的传播者Kenny Schachter认为,数字作品可能会在五年内让传统艺术市场黯然失色. 本 ...
2021/11/27大数据1+XJava答案
2021/11/27 步骤二 //已经提供Student类的属性,补充完成该类的有参(五个参数)及无参构造方法public Student(){}public Student(String name, ...