Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning
Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning
本文提出了一种幻象引导质量回归网络来模拟人类视觉系统(HVS)的行为,利用畸变图像与幻象参考之间的感知差异信息,对HVS进行精确预测。如图2所示,首先从失真图像生成高分辨率场景幻象。然后,可以得到一幅自然编码畸变图像与幻象参考图像差异的差异图,指导回归网络的学习。通过引入强而清晰的差异信息,NR-IQA的不适性可以得到显著的克服。因此,即使使用普通的数据扩充,我们的方法也可以比所有传统的复杂方法获得更好的性能。
由于幻象参考的结果对最终预测至关重要,不良的幻象会引入较大的偏差,从而导致回归结果进入次优值。我们提出从低到高的两种机制来解决这一问题:(1)我们将敌对学习思想引入到幻象参考生成和质量预测中,并采用一种新的IQA鉴别器,一方面,鼓励产生的幻象场景在感知上难以与真实参考图像区分,另一方面,在低层语义下,约束不良幻象对质量回归网络的影响。(2) 提出了一种新的高级语义融合机制,进一步降低了由幻象模型引起的质量回归网络的不稳定性。探讨了幻象网络内隐式的排序关系,作为指导,帮助回归网络自适应地调整图像质量预测态度。那个质量感知生成网络、幻象引导质量回归网络和iqa鉴别器可以以端到端的方式联合优化。
在四个IQA常见的数据集上进行了实验LIVE,CSIQ,TID2008,and TID2013,图像大小为256*256,在实验时对其随机采样32的patch进行训练,实验结果如下表:
我们还列出了上述实验中使用地面真实参考的结果作为理论界,称为“ours+oracle”,以进一步验证所提出的对NRIQA的幻象参考的有效性和潜力。oracle在所有数据集中的性能都优于所有的方法。这些结果证明了幻象信息的有效性,并且如果能够很好地生成幻象信息,则显示出巨大的潜在性能增益。
Ours:
Ours+Oracle:
生成网络 采用 stacked hourglass 网络
前半部分惩罚幻觉图像与真实参考图像的像素差异,比如MSE,其可以测量图像间的整体内容;后半部分惩罚幻觉图像与真实图像的感知差异,这里采用特征空间的损失作为感知约束。
辨别网络
当回归网络预测出来的分数与真实质量分数的差距大于阈值时,幻觉图像降低了回归网络的性能,d(fake)为0,带入损失函数,此时为使损失函数取得最大值,需要辨别器将生成图像辨别为0,将真实图像辨别为1,当回归网络预测出来得分数与真实质量分数得差距小于阈值时,幻觉图像提升了回归网络的性能,d(fake)为1,带入损失函数,此时为使损失函数取得最小值,需要辨别器将生成图像和真实图像均辨别为1。
在生成对抗网络中,生成器的目的是通过产生对回归网络有提升作用的图像来欺骗辨别器,因此在GAN中生成网络的损失函数为
综合生成网络本身的损失函数,得到最终生成网络的损失函数:
回归网络
BaseLine: Res-18
差异图:将失真图像和差异图作为输入进行回归网络的训练,公式如下:
高阶语义融合:生成图像对回归网络有十分重要的作用,因此将生成网络中的编码块部分和回归网络的最后部分进行concat,再对融合部分进行最后的全连接产生质量分数。,公式如下:防止生成无意义的伪参考图影响R质量回归
Ablation study的结果如下图:BL是基准的IQA网络,HCM是增加幻想图部分,QSL为在基础上增加了特征级别的loss,ADV增加了对抗学习的部分,HSF就是增加了特征融合部分,所有根据下图来看幻象图和对抗学习的增加效果明显
Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning相关推荐
- No Reference Video Quality Assessment with authentic distor-tions using 3-D Deep Convolutional Neura
摘要: 视频质量评估(VQA)是从视频流媒体到相机制造等多个行业的一个重要课题.本文提出了一种新的无参考VQA方法.这个框架速度很快,不需要提取手工制作的特性.提取3-D C3D卷积神经网络的卷积特征 ...
- 图像质量评价(Image Quality Assessment,IQA)
这篇blog是我记录自己开始做科研的一些笔记.多是从论文和各种博客的集合,偶有一些自己的思考和想法.由于网上相关图像质量评估的整理资料相对较少,如果能帮到看到这篇文章的你,那真是非常棒!会持续更新补全 ...
- A Survey for Image Quality Assessment(综述)
图像质量评价相关内容总结,旨在回顾近二十年来的发展历程,供参考. 一.主观图像质量评价 (1) 主观图像质量评价实验:absolute category rating.pair comparison ...
- Quality Assessment Paper List(研二)
从2018年5月到2019年5月,大概一年(研二)的时间里学习的有关quality assessment的论文.(共128篇) <PS:红色标注为经典论文> 相关代码可以在以下百度云盘链接 ...
- 【机器学习】 - 关于图像质量评价IQA(Image Quality Assessment)
图像质量评价(Image Quality Assessment,IQA)是图像处理中的基本技术之一,主要通过对图像进行特性分析研究,然后评估出图像优劣(图像失真程度). 主要的目的是使用合适的评价指标 ...
- 图像质量评价(Image Quality Assessment,IQA)
图像质量 图像质量的含义主要包含两个方面,一个是图像的逼真度(fidelity),另一个是图像的可懂度(intelligibility). (1)图像的逼真度(fidelity) 描述被评价图像与标准 ...
- 【论文review+总结】屏幕内容图像质量评估SC-IQA(Screen Content Image Quality Assessment)
目录 论文review 2017年论文 2018年论文 2019年论文 总结 主要思路 主要方法总结 全参考FR-IQA 弱参考RR-IQA 无参考NR-IQA 多内容(不只局限于SCIs--基于cr ...
- [2020-ECCV]PIPAL-a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration论文简析
[2020-ECCV] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration 论 ...
- Transformer for image quality assessment阅读笔记
Transformer for image quality assessment阅读笔记 Abstract 提出一种在由CNN提取的特征图上使用浅层Transformer编码器的机构.Transfor ...
最新文章
- 程序员老在改Bug,就不能一次改好吗?
- Linux下的几款svn gui工具
- C#常用集合总结-2
- 一种求任意多边形内部水平方向似最大矩形的算法
- Autograd:自动求导
- windows server 2012 RC download.
- 草原深处的“那达慕”
- 看看老司机是如何提升B端产品架构能力的
- Fiddler基本介绍
- tween.js 中文使用指南
- 关于 Backup Exec 中的介质
- 如何防止亚马逊账户关联?
- 电脑上的歌曲怎么传到苹果手机上面,怎么把电脑上的歌导入苹果手机
- FZU 2213 Common Tangents(公切线)
- spark MLlib 概念 2:Stratified sampling 层次抽样
- 我为何一直强调外包公司别去
- python乱码系列1
- python小球游戏代码
- 这帮死磕技术的理工男造了一支笔
- 手机便签内容如何保存到电脑