HDR图像评价指标：HDR-VDP-2.2（Q-Score）

本文仅用于记录自己学习HDR-VDP-2.2过程中的一些总结。

HDR-VDP-2.2是HDR图像评价的一个常用指标。说到图像评价，常见的有MSE, PSRN, SSIM等，这些网上资料很多。但HDR-VDP-2.2（Q-Score）相关内容却极少。为此，查阅了相关资料整理如下。

HDR-VDP官方网页：http://hdrvdp.sourceforge.net/wiki/

HDR-VDP

显然最后的2.2是指2.2版本，那必然有v1和v2，为此查到了HDR-VDP的第一篇论文[1]。论文[1]是对当时已有的VDP(Visual Difference Predictor)做了扩展，使其能够适用于HDR图像。文中指出，常见的两种描述人眼感受差异的指标为：Daly’s Visual Difference Predicator (VDP) 和Sarnoff Visual Discrimination Model，作者选择改进了前者。

上图是Daly的VDP框架，简单来是输入mask image（参考图像）和target image（目标图像，即需比较差异的图像），经过一些预处理(CSF)，之后在经过仿人眼感知的一些变换(Cortex Transform…)，得到在orientation和spatial上一系列图像，然后做差，选择(pooling)一些维度最终得到相似性。

Daly的Amplitude Compression和CSF(Contrast Sensitivity Function)不适用HDR场景，所以作者主要对这两个模块重新进行了建模。具体涉及内容不展开。

经过改进，最终输出结果是target和mask图不同区域的相似程度，如下图。从左到右依次是：原图，加竖线噪声，Daly评价，HDR-VDP评价。看起来貌似没有太大差距，但仔细看HDR-VDP版本更精细一点吧。

HDR-VDP-2.0

其实从提出HDR-VDP后，有不少作者进行了赶紧，什么1.7版本balabala。同一个作者后来提出了2.0版本[2]。作者指出，2.0并不是对1.0版本的小修，而是一个overhaul。因此可以完全不顾1.0的框架。新的框架如下：

但其实还没有跳出VDP的大框架，首先经过了一个Optical and retinal pathway模块，再经过Multi-scale decomposition，做差后经过neural noise处理，产生了两个测度：visibility metric和quality metric。

Optical and retinal pathway还是仿人眼对原始图像做了一系列的处理，具体环节在右上角绿色中。decomposition还是将图像分解到orientation和spatial多个维度，然后做差。一个显著的不同就是，不仅有类似1.0版本的可视化结果，还有一个归一化的评价指标，即Quality metric。这个在后面的论文中被称为Q-Score。

这里不展开介绍各个模块的原理和过程。只介绍一点，这里的Q-score是通过从不同的维度图像中通过pooling和加权得到的一个归一化指标，计算公式见下图。

其中D的计算式如下，其中B_T表示"f-th spatial frequency band and o-th orientation of the steerable pyramid is given as B_T/R [f,o] for the test and reference images respectively"即不同频率、orientation下的一些误差，归一化之后得到D。eps为1e-5避免奇异，wf为不同频率的权重。即理解为作者选择了某些层面的数据加权求和，得到了一个数值结果。

HDR-VDP-2.2

上面提到，Q-Score的计算方式利用的是式(24)，这个式子是经验公式，通过一些数据集结果拟合出来的参数。作者对这个拟合过程进行了改进，避免了过拟合等，改进得到了2.2版本[3]。其实没啥意思。

小结

HDR-VDP是对VDP在HDR图像上的一个扩展，从提出到改进经过了十多年。其中2.0版本奠定了现在的基础，2.2是目前最新的改进。

后记与补充说明

2022.06.16，做了一些实验有了进一步的了解。
我的理解，HDR-VDP是一种“人眼看起来的差异”有多大的评价指标，并不是“图片本身有多大的差异”。区别为，人眼看起来，距离图片的距离、图片的显示大小、显示设备的亮度等均会影响结果。所以在计算时的代码有一些参数，需要指定显示设备对角线的尺寸、设备的分辨率、观测距离等，这些参数也显著影响了评分。

一个参考的配置如下：
https://github.com/gfxdisp/FovVideoVDP/blob/main/fvvdp_data/display_models.json

如果用普通24寸显示器，办公室日光环境，0.6m观测，参数如下：

"resolution": [1920, 1080],
"viewing_distance_meters":  0.6,
"diagonal_size_inches": 24,

参考文献

R. Mantiuk, K. Myszkowski and H. -. Seidel, “Visible difference predicator for high dynamic range images,” 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583), 2004, pp. 2763-2769 vol.3, doi: 10.1109/ICSMC.2004.1400750.
Rafał Mantiuk, Kil Joong Kim, Allan G. Rempel, and Wolfgang Heidrich. 2011. HDR-VDP-2: a calibrated visual metric for visibility and quality predictions in all luminance conditions. ACM Trans. Graph. 30, 4, Article 40 (July 2011), 14 pages. DOI:https://doi.org/10.1145/2010324.1964935
Narwaria, M., Mantiuk, R., Silva, M. D. & Callet, P. L. (2015). HDR-VDP-2.2: A calibrated method for objective quality prediction of high-dynamic range and standard images. Journal of Electronic Imaging, 24(1). doi: 10.1117/1.JEI.24.1.010501