[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析

论文链接：https://arxiv.org/abs/1911.11419

本文探索从自监督的角度进行美学评估。基于一个基本的动机：一个好的美学特征表示应该能够辨别出不同的专家设计的图像篡改的方法。本文设计了一个针对于美学评估的自监督pretext task。

如上图所示，在自监督pretext task预训练阶段，将原图块和进行不同方法不同参数的降质之后的图块输入网络，模型需要完成两项任务，首先是分类，判断输入的降质图块是来自哪一种降质方法，然后是在同样降质方法，不同降质参数的图像上，模型需要最小化一个三元组损失，使得原图块与降质较轻的图块的相似度比重度降质图块的相似度更大，以避免某些降质方法过于容易辨认的问题。

另外，本文还设计了一个基于熵的取样加权策略，熵值更高的图块会有更对不确定的视觉美学因素，因此在训练中应当被分配更小的权重。

在预训练完成后，在固定住特征提取器的参数，在美学数据集上微调分类器，如图所示，本文中将特征提取器的各层的输出都拿出来做了对比，结果如下（表中所展示的指标均为美学二分类准确率）。作者还选取了几种经典的自监督pretext task与本文设计的美学相关任务做了对比。

作者根据各层的性能表现对各中间层特征的层次做了分析。

比较有关键的是low data adaption部分实验，因为这里应该是体现自监督学习的优越性的地方，即在预训练阶段可以使用大量的图像（因为不需要标注），根据自己设计的pretext task来进行训练，在downstream task 微调时，由于根据预训练时的pretext task，已经得到了一个对于下游任务比较有针对性的特征提取器，这样应该只需要较少的有标签训练数据就可以得到比较好的性能。

上面两图是作者汇报的实验结果，可以看到在较少数量的有标签数据时，本文方法基本是全面领先于无预训练和有监督分类预训练的方法的。

作者的另一实验称在使用非线性分类器的情况下，本文的自监督预训练（未使用任何人工标注标签）的最高性能基本能够达到与有监督预训练（用了大量人工标注标签）相近。

最后作者的消融实验分别说明了pretext task，不同image editting operation 和 entropy-based weighting各部分的作用。

[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析相关推荐

[2020-ECCV]PIPAL-a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration论文简析
[2020-ECCV] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration 论 ...
AAAI 2017论文简析:利用可拍照移动设备感知空气质量---Crowdsensing Air Quality with Camera-enabled Mobile Devices
AAAI 2017论文简析:利用可拍照移动设备感知空气质量论文思想论文背景论文工作解决方法总结补充论文思想利用群智感知的思想通过可拍照的移动设备去监测环境空气质量 (即将智能移动设备转 ...
论文阅读：(2020 AAAI) Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning (2020 AAAI) Dezhao Luo, Chang Liu ...
NeurIPS 2020 | 腾讯 AI Lab 解读机器学习及计算机视觉方向入选论文
本文转载自腾讯AI实验室. 感谢阅读腾讯AI Lab微信号第113篇文章.本文将介绍解读 NeurIPS 2020 中腾讯 AI Lab 的14篇入选论文. 神经信息处理系统大会(NeurIPS)是人 ...
Python4班平均成绩统计_郑州十一中2020届高考成绩简析（含新疆内高班）
郑州十一中2020届高考成绩简析(含新疆内高班) 实际上十一中今年是小三甲中最为低调的一家,至今没有公布出红榜明细,陆续从家长口里传出的零星消息也都说明了十一中今年成绩不理想.笔者只能就十一中公布的简 ...
2020年中国各省GDP简析
2020年中国各省GDP简析 2020年,疫情冲击之下,中国经济逆势转正,成为唯一正增长的主要经济体.由于疫情冲击不一,各省市经济发展情况不一,省域经济发生了巨大变化. 这是2020年中国内地31省份 ...
西电计算机学院毕设答辩,关于2020年（2016级）第二批本科生毕业设计（论文）盲审及答辩工作安排的通知...
关于2020年(2016级)第二批本科生毕业设计(论文)盲审及答辩工作安排的通知各学院: 根据我校<西安电子科技大学关于2016级本科生毕业设计(论文)工作安排的通知>(本字[2019 ...
美学评价：Image Aesthetic Assessment: An Experimental Survey（计算机视觉美学评估综述）
此论文出版于2017年,是对计算机视觉中的美学评价的一个综述,介绍了传统方法(手工制作特征)和深度学习方法.本博文以介绍论文的思想和简略要点为主. Introduction 图像美学质量评估常以摄影规 ...
一片哗然！ICLR 2020被曝47%的审稿人没发过相关论文
乾明鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 决定你论文是否中选顶会的人,可能自己都没有发过相关论文. 这不是开玩笑,而是正在发生的事情. 出现这种情况的,正是深度学习领域的顶级会 ...

[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析

[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析

[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析相关推荐

最新文章

热门文章