超分(Super-Resolution, SR )
知乎有一篇帖子总结了几篇超分的论文,写的很好:https://zhuanlan.zhihu.com/p/25532538?utm_source=tuicool&utm_medium=referral
下面针对上面没有提到的论文进行补充:
6. PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION
论文:https://arxiv.org/abs/1710.10196 [PGGAN]
代码:https://github.com/tkarras/progressive_growing_of_gans
第三方pytorch实现:
https://github.com/nashory/pggan-pytorch
https://github.com/github-pengge/PyTorch-progressive_growing_of_gans
Motivation:
GAN在做SR时,放大个4倍还行,一旦放大倍数高了,想生成高分图像如从随机高斯分布的512维随机变量生成 1024*1024高分的图像,就会导致生成高分图像不稳定(对抗不起来)。于是作者提出步进的生成图像,也就是一布不行就慢慢来。
具体内容参考: https://zhuanlan.zhihu.com/p/33710326
我们这里只对上述链接中没有提到的部分做补充:
除了PGGAN网络外,作者还提出了很多trick:
INCREASING VARIATION USING MINIBATCH STANDARD DEVIATION
- 干啥的? 对于分辨率variation问题,不仅需要对单张图像操作,还有对一个minibatch中的所有图像操作才能生成更好的效果。
- 以前怎么做? 在一个minibatch中,为每个样本生成一个离散的统计数据,concat到(该样本的)输出上
- 我们怎么做? 首先计算每个特征在每个空间位置上的标准差。然后我们对所有特征和空间位置的这些估计进行平均,得到一个单独的值。我们复制该值,并将其连接到所有空间位置和minibatch上,生成一个额外的(不变的)特征映射。这一层可以插在鉴别器的任何地方,但插在最后面的效果最好。
- 得到了什么? 生成数据的分布和训练数据更一致了,鉴别器见到了更多的图像,模式崩溃得到了很好的缓和。
EQUALIZED LEARNING RATE
- 干啥的? 其实对同一层的参数而言(如一个卷积层的滤波器里的所有参数),它们变化范围是不同的,设置的学习率对有些参数合适,而对有些偏大,对另一些又偏小
- 怎么办? 全部归一化到相同的变化范围不就行了,也就是
- 效果? 收敛地更好,更快
PIXELWISE FEATURE VECTOR NORMALIZATION IN GENERATOR
干啥的? 生成器和鉴别器之间存在不良竞争
怎么办?生成器中做如下操作:
效果? 避免了不良竞争
新评价指标
- MS-SSIM为啥不行? MS-SSIM能可靠发现大规模模式崩溃,但不能有效反映较小的影响,如颜色或纹理的变化损失的差异,也不直接评估训练集相似的图像的质量。具体如下图:
ab效果很差,而MS-SSIM却了很高的分,而作者的指标就更合适。 - 作者啥指标?有啥要求? 作者提出要基于图像的局部(不是整体),局部要和原始训练图像接近,而对于具体的指标其实就是多个尺度上基于局部块之间的W距离。
效果很好,就是费卡,官方code指出8卡还得训练两天,谁让人家英伟达的呢。
超分(Super-Resolution, SR )相关推荐
- CV之SR:超分辨率(Super resolution)的简介、使用方法、案例应用之详细攻略
CV之SR:超分辨率(Super resolution)的简介.使用方法.案例应用之详细攻略 目录 超分辨率(Super resolution)的简介 超分辨率(Super resolution)的使 ...
- Google Pixel 超分辨率--Super Resolution Zoom
Google Pixel 超分辨率–Super Resolution Zoom Google 的Super Res Zoom技术,主要用于在zoom时增强画面细节以及提升在夜景下的效果. 文章的主要贡 ...
- 图像超分辨率Super Resolution基本介绍与常用方法:插值、稀疏编码、卷积网络、生成对抗网络
活动地址:CSDN21天学习挑战赛 0.难点 从低分辨率图像生成高分辨率图像,理论上有无数种解 相关的数据集少,一般都是从高清图像去制作模糊图像,然后作为数据集,但不同领域的模糊原因不同,模糊 ...
- 图像超分辨率:小米低功耗超分,适用于移动端Extreme Low-Power Super Resolution Network For Mobile Devices
4. ELSR: Extreme Low-Power Super Resolution Network For Mobile Devices 小米的论文,网络很简单很快,训练步骤比较多.
- 【Super Resolution】超分辨率——SRCNN
SRCNN 01 闲聊--图像的超分辨率 02 SRCNN--超分和DL的结合 02-1 双三次插值 02-2 SRCNN的网络结构 02-3 Training 训练阶段 03 EXPERIMENTS ...
- real-word super resulution: real-sr, real-vsr, realbasicvsr 三篇超分和视频超分论文
real-world image and video super-resolution 文章目录 real-world image and video super-resolution 1. Towa ...
- 2020CVPR超分系列二Deep Unfolding Network for Image SR+Meta-Transfer Learning ZSSR+Res FeatureAggregation
1.Deep Unfolding Network for Image Super-Resolution 代码传送门 1.1 总结 作者认为: learning-base方法目前展现出相比传统model ...
- 漫谈深度学习在Super Resolution(超分辨率)领域上的应用
1.前言 清晨,师兄推荐给我一篇文章,关于利用DeepLearning思想进行图像超分辨恢复的.超分辨这个话题几年之前还是比较火爆的,无论是BiCube.SP.A*都给出了令人振奋的结果.但是细节恢复 ...
- AMD 显卡Radeon Super Resolution(Radeon显卡超分辨率) 功能,你开启了么?
AMD 每年带来的鸡血驱动给它带来了"A 卡战未来"的名号,在早些时候的 CES 上AMD 低调公布了新功能RSR(Radeon Super Resolution),作为 FSR ...
最新文章
- hdu5025 状态压缩广搜
- Android学习笔记36:使用SQLite方式存储数据
- 0709-To Lower Case(转换成小写字母)
- 简易贪吃蛇c语言贴吧,熬书几个月,终于编出简易的贪吃蛇了,VS2013
- uni.share失效 无法唤醒微信 而且还卡住的情况
- 【数据结构笔记18】堆中的路径与C实现(堆元素到根的路)径)
- python基础篇——列表与列表算法(下)
- 查看dll是32还是64
- C# dataGridView控件 字体配置问题 字体大小 修改字体
- linux识别新显示器,Linux 显示器未正确识别 最佳分辨率 Ubuntu 10.10 X11
- 二维几何图形创作方法(Geometry2D)
- 基于JAVA郑州卷烟厂库存管理系统计算机毕业设计源码+系统+mysql数据库+lw文档+部署
- IDA使用初探-1.启动IDA
- 数组实现链表(C++代码+图解)
- [视觉实战案例]Qt下BYTE、QImage、HObject、Mat等图像格式的转换和图像显示方法
- C++高阶 RAII机制(以对象管理资源)
- 【无标题】解决“该项目不在请确认该项目位置,然后重试” 文件无法删除问题
- 6阶群的非平凡子群_简明算术教程——第二章 群——第9节 可解群
- 微喜帖,微信喜帖,电子喜帖,电子请柬 - 一生一世微信电子喜帖 卡美美
- 迎新年,心仪脑新年福利大放送
热门文章
- 阿里云ACP专业认证考试流程
- 12.10 快手 滑块js逆向 did 设备注册 滑块验证 技术交流
- 期末前端web大作业——我的家乡陕西介绍网页制作源码HTML+CSS+JavaScript
- padavan搭建网页认证服务器,搭建 LNMP 的 Wifidog 网页认证服务 教程 感谢 elinpr0s 提供...
- 美团打车改变策略推聚合模式 超级平台能否让网约车业务做起来?
- [转载]Ghost硬盘对拷图解教程(双硬盘克隆)_RWERWERWE_96921_新浪博客
- Android 进阶——MultiDex分包与动态加载原理剖析
- poj1265皮克定理
- 挂单盯盘核心——从买盘和卖盘看庄家意图
- 关于uniapp开发微信小程序,实现聊天消息,最新消息最底部展示