Hallucinated-IQA

算法概述

在失真图像的基础上产生了一个幻觉参考图像，将失真图像和幻觉参考图像成对输入回归网络中，同时结合生成网络中提取的部分信息，最终产生图像的质量分数。

创新点

首先在回归网络中，该网络将感知差异信息融合入回归网络中，这克服了“无参考”的弊端。
在生成网络中提出了质量感知损失函数，该函数包含了纹理特征相似性和质量特征相似性，从而可以产生高质量的幻觉参考图。
幻觉参考图像对最终的预测结果是十分重要的，因此辨别网络和隐式的排名关系融合机制被引入来引导好的幻觉参考图像的生成，并且抑制差的幻觉图像的生成。

具体实施

正如上图所示，该大网络中总共包含三个部分，生成网络，对抗网络和回归网络。
生成网络
生成的幻觉参考图像弥补了参考图像缺失的问题，因此该幻觉图像与真实图像的差距越小，回归网络效果也会越好，为了生成分辨率更高的幻觉参考图像，采用堆叠沙漏作为生成网络的baseline。在此提出了一个损失函数：

前半部分惩罚幻觉图像与真实参考图像的像素差异，比如MSE，其可以测量图像间的整体内容；后半部分惩罚幻觉图像与真实图像的感知差异，这里采用特征空间的损失作为感知约束，定义如下：

VGG19网络在大多数情况下用于分类的语义特征提取，并且其对输入是噪声不敏感的，因此将VGG19作为特征提取器。但其噪声不变性也会在生成图像的过程中保留部分噪声影响，为了解决这个问题，提出了质量感知损失，其将回归网络的特征动态的融入。因此上式的损失函数可表示为

上式分别表示特征部分和质量感知部分，下标j和q分别表示VGG19网络和回归网络的第j和q层。VGG19网络可以提取图像的语义相似性，而回归网络可以提取图像的质量相似性。综合以上情况可知最终的生成图像的损失函数是由三部分组成，像素差异，语义差异和质量差异。
辨别网络
传统的GAN是训练生成器来欺骗辨别器，训练辨别器来区别生成图像和真实图像。而GAN受限于生成器的分辨率，直接将生成的图像提供给辨别器时会引入不稳定的优化。在此我们需要知道我们算法的目的，我们最终是要提高回归网络的性能，因此这里用的辨别器的作用在于，如果生成图像提高了回归网络的性能，那么就将其认为真实图像，若生成图像降低了回归网络的性能则将其认为假图像。公式如下

理解一下该公式，当回归网络预测出来的分数与真实质量分数的差距大于阈值时，幻觉图像降低了回归网络的性能，d(fake)为0，带入损失函数，此时为使损失函数取得最大值，需要辨别器将生成图像辨别为0，将真实图像辨别为1，当回归网络预测出来得分数与真实质量分数得差距小于阈值时，幻觉图像提升了回归网络的性能，d(fake)为1，带入损失函数，此时为使损失函数取得最大值，需要辨别器将生成图像和真实图像均辨别为1。
在生成对抗网络中，生成器的目的是通过产生对回归网络有提升作用的图像来欺骗辨别器，因此在GAN中生成网络的损失函数为

综合生成网络本身的损失函数，得到最终生成网络的损失函数：

回归网络

差异图：将失真图像和差异图作为输入进行回归网络的训练，公式如下：
高阶语义融合：生成图像对回归网络有十分重要的作用，因此将生成网络中的编码块部分和回归网络的最后部分进行concat，再对融合部分进行最后的全连接产生质量分数。，公式如下：