摘要：

针对这一问题，我们利用高级语义学，提出了一种新的对于真实模糊图像的无参考图像质量评价方法。1.将整个图像分成多个重叠的补丁；2.每个补丁由从训练好的DCNN模型提取高级语义特征；3.采用三种不同的统计结构对来自不同的补丁信息进行统计，主要包含一切常见的统计方法；4聚集的特征作为线性回归模型的输入预测图像质量。

1.提出的方法

图像表示、特征提取、特征聚合和质量预测

1.1图像表示

预先训练的 dcnn 模型(例如 alexnet)需要一个固定的输入大小。为了满足这个要求，图像可以裁剪，或者缩放到固定大小。由于缩放操作会引起几何变形，从而影响图像质量，这不是一种好的方法。同时，仅剪切中心区域不足以覆盖大图像的信息。针对这两个问题，考虑使用多重重叠片来表示图像，既能覆盖整个图像的信息，又能避免引入几何变形。

比较了四种不同图像表示法的影响，包括裁剪、缩放、填充和多补丁表示法。裁剪表示法使用中央补丁表示图像。填充表示通过将较大的维度调整为所需的长度，然后将零填充到较小的维度来保留长宽比。缩放表示直接调整图像大小，而不保持原始的长宽比。多片表示生成多个重叠片，该重叠片以一个采样步长均匀采样于整个图像。

对比实验：我们选择经典的事先训练的 dcnn 模型 alexnet 并从经常使用的完全连接层(即，fc6，fc7和 fc8)中提取特征。对于特征聚合，为了简单起见，我们选择了平均特征向量。 PLSR用于质量预测。对BID训练数据其中20% 的训练数据用作验证数据，并用验证集的性能进行比较。可以看出，多片重叠补丁效果好。

1.2特征提取

给定一个图像I，我们用一组多重重叠的补丁{ p1，，，pn }表示它，然后将这些补丁提供给现成的 dcnn 模型以提取特征。对于每个拼图 pj，提取的特征表示为

L：表示哪一层提取特征；训练网络的参数

1.2.1高层语义特征的角色

进行了比较研究，以探讨高层次的语义在数字图像质量保证中的作用。我们把 alexnet 作为预先训练好的模型，多补丁的特征提取来自该模型的conv_1-5、fc6-8。PLSR将平均特征向量映射到质量得分。

从顶层(fc8)提取的特征略差于第二层和第三层(fc7，fc6)。这是因为顶层直接链接到分类器，提取的特征是任务特定的，可能只包含分类信息。在我们的框架，我们考虑第二或第三顶层接近最后的卷积层提取特征。

1.2.2不同的预训练过的 dcnn 模型的影响

我们还比较了不同的预训练 dcnn 模型，包括 alexnet，googlenet和resnet-50，其中特征分别提取自 fc6，pool5/7 × 7—_s1和 pool5层。质量预测还是选择之前的模型。

resnet-50中的显著增益可能是由于残差学习，我们选择 resnet-50作为特征提取器。

1.3特征聚合

根据提取出来的特征，我们需要把它们聚合成一个特征。一个简单的方法是将所有这些特征连接成一个长的特征向量，例如

然而，这将导致一个非常高的特征空间维数。此外，级联特征向量的维数取决于图像的斑块数，不同分辨率的图像之间的斑块数不尽相同。为了避免这个问题，我们可以取每个维度中所有特征的平均值,

平均聚合结构丢失了特征集的重要信息(例如，每个维度的标准差)。因此，我们提出了三种不同的特征聚合统计结构，即均值和标准聚合、分位数聚合和矩聚合。

1.3.1

进一步考虑了每个维度的标准差，第一个聚合特性f1获得：

1.3.2

特征数为5 维数为3

1.3.3 不同统计聚合结构的贡献

resnet-50作为多个补丁的特征提取器，采用 PLSR 作为回归模型。

最后一种聚集效果好

1.4质量预测

利用特征聚合的统计结构，降低了特征空间的维数(nl →2l，4l，5l) ，使维数与补丁数无关。然而，在预先训练的 dcnn 中，l是一个很大的数字(l = 2048 in resnet-50’spool5 layer)由于特征空间的维数远远大于我们训练样本的数量，因此我们考虑线性回归模型。由于偏最小二乘回归(plsr)[28]具有较低的复杂度和较强的处理高维数据的能力，因此在我们的工作中被采用。Plsr 将输入的高维特征降低为几个不相关的潜在分量，然后对这些分量进行最小二乘回归。在 plsr 中只有一个参数 p (组件数) ，可以通过交叉验证来确定。

该方法利用多个重叠斑块来表示图像，并从预训练的 resnet-50模型的pool5提取特征，以及平均值和标准值聚合、分位数聚合和矩聚合的得分。

2.实验：

使用Caffe框架从预先训练的DCNN模型中提取特征。

阅读笔记：Exploiting High-Level Semantics for NR Image Quality Assessment of Realistic Blur Image相关推荐

论文阅读笔记之——《FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction》
本文是对欧阳老师的paper的阅读笔记先给出论文的地址http://papers.nips.cc/paper/7356-fishnet-a-versatile-backbone-for-image- ...
DGP 论文阅读笔记
DGP 论文阅读笔记论文题目:Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation Ex ...
[论文阅读笔记53]2021深度神经方法的关系三元组抽取综述
1. 题目 Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey Tapas Nayak†, N ...
Yii源码阅读笔记 - 日志组件
2015-03-09 一 By youngsterxyf 使用 Yii框架为开发者提供两个静态方法进行日志记录: Yii::log($message, $level, $category); Yii: ...
DnCNN论文阅读笔记【MATLAB】
DnCNN论文阅读笔记论文信息: 论文代码:https://github.com/cszn/DnCNN Abstract 提出网络:DnCNNs 关键技术: Residual learning an ...
【计算机视觉】运动目标检测算法文献阅读笔记
先前在博客中对常见的运动目标检测算法有写过一篇总结,详情请参考:http://blog.csdn.NET/kezunhai/article/details/8830787.本文是在校期间写的部分阅读笔 ...
STM32H7 DMA阅读笔记
DMA阅读笔记 DMA 的主要特性 DMA 功能描述 FIFO FIFO flush Direct Mode DMA 传输 Peripheral-to-memory mode Memory-to-pe ...
Dynamic Head Unifying Object Detection Heads with Attentions 论文阅读笔记
Dynamic Head Unifying Object Detection Heads with Attentions论文阅读笔记这是微软在CVPR2021发表的文章,在coco数据集上取得了目前 ...
CYCADA: cycle-consistent adversaial domain adaption阅读笔记
CYCADA: cycle-consistent adversaial domain adaption阅读笔记目录 CYCADA: cycle-consistent adversaial domai ...

阅读笔记：Exploiting High-Level Semantics for NR Image Quality Assessment of Realistic Blur Image