Chapter6、低动态范围内容的扩展算子
本章介绍了许多从LDR生成HDR内容的方法
将LDR内容转换为HDR内容来的算子简称为EO(Expansion Operator)
通常，一个EO有如下步骤：
1、线性化. 在真实辐照值和记录的像素之间建立线性关系（一般不为线性关系，后面还要处理的）
2、扩展像素值. 增加图像的动态范围，通常低的像素值被压缩，高的像素值被扩展，中等像素值保留。
3、过/欠曝光重建. 生成在LDR图像的过度曝光或不足曝光区域中缺失的内容。
4、减少伪影. 减少由于量化或图像压缩造成的伪影(即JPEG和MPEG伪影)，在像素值扩展后可视。
5、颜色校正. 保持在原始的LDR图像中的颜色。在像素值的扩展过程中，颜色可以被去饱和度。这是与在色调映射中发生的事情相反的问题。
研究人员还提出了在线性化步骤之前的一个可选的颜色校正步骤。在这一步中，像素的亮度和色度被增强。通常利用空间一致性和在过曝光像素附近的曝光良好的像素。这些算法的输出要么是LDR图像，要么是具有中等动态范围的图像。 这些算法不应该与EO算法相混淆。通常，当过曝的区域相对较小，即占图像的1-5%时，这些算法会极大地增强图像；见图6.2。否则，它们可能会产生一些伪影，比如一种偏移的颜色。
和TMOs的情况一样，色域在动态范围扩展的时候被改变并获得了不饱和的颜色（不知道是不是这么翻译，desaturated color）。为了解决这个问题，可以应用一种直接的技术，如颜色指数（式子为第三章的3.2式）
在这指数s需要设置在区间（1，+∞）（而不是（0,1]），以增加饱和度。然而，色彩管理的内容扩展还没有得到详尽的研究。第一批研究中基于主观评价的一个，表明扩展方法结合色度调整变换得到更可靠的结果。这项研究也表明，还需要对这一课题进行更多的研究。
EOs在文献中经常被称为逆色调映射算子(iTMOs)[48]或反色调映射算子(rTMOs)。然而，这两个术语都不是严格正确的，而且它们并没有完全捕获将LDR内容转换为HDR内容所需的复杂操作。本研究采用iTmos的命名法为反TMOs的EOs。然而，许多Tmo不是可逆的，因为它们需要偏微分方程(PDE)的逆，或其他非可逆操作。这些TMOs的例子有LCIS、快速双边滤波器TMO、梯度域压缩TMO等。另一方面，rTMO只指那些反转TMO操作顺序的EO。
6.1、EO的MATLAB框架
主要是程序上的一些写好的轮子，有关HDR的代码以后再写。
6.2、使用单个图像进行信号线性化
信号的线性化在许多EOs中是一个非常重要的步骤，因为在线性空间中工作意味着对扩展有更多的控制和可预测性。在一个未知的空间中，预测一个扩张的行为可能是困难的。图6.3显示了此问题的一个典型示例。此外，为了恢复场景的平均值、几何平均值、标准差等统计数据，还需要精确/估计的场景辐射测量。
如第6.1节所述，线性化的标准直接解决方案涉及使用逆伽马，特别是当TV和DVD信号下伽马的值为2.2。对于其他情况，访问或得知的设备，它捕获的内容进行扩展，可以提高线性化步骤的效率。在这种情况下，通过对采集装置的CRF的估计来执行线性化。该函数可以使用2.1.1节中的方法计算。此外，RAW数据捕获可以避免这一步骤，因为RAW是线性存储的。然而，最困难的情况是，当数码相机的CRF不可用时。接下来的小节描述了从单个帧/图像中估计CRF的各种解决方案。
图6.3 (a)线性域的传感器的测量值 (b)对(a)使用的扩展信号 (c)使用未知CRF的传感器的测量值 (d)使用f对(c)进行扩展
6.2.1、盲逆伽马函数（Blind Inverse Gamma Function）
计算机生成的图像或处理过的原始照片通常通过伽马校正来存储。Farid提出了一种基于多光谱分析的算法，使对图像进行伽马校正时的信号盲线性化。他观察到伽马校正在一个信号中增加了新的谐波。例如，给定一个信号y(x)=a1sin(ω1x)+a2sin(ω2x)，如果y(x)使用Taylor进行了伽马校正和泰勒展开第二项，结果为（后面的为新增加的谐波）：
新的谐波与原式的谐波相关：
在一维信号y(x)中，由伽马所引入的高阶相关性可以用高阶光谱来估计。例如，一个归一化的双谱相关性估计了三阶相关性
其中Y是y的傅里叶变换，的值可以利用原始信号y的重叠段来估计
是第k段的傅里叶变换，N是总段数。
最后，通过对伽马校正图像应用一个逆伽马范围，并选择使三阶相关性的度量最小的值来估计图像的伽马：
利用分形图像和自然图像对该技术进行了评估，结果表明，恢复的γ的平均误差在5.3%到7.5%之间。
6.2.2、单个图像的辐射测量校准
Lin等人提出了一种使用单一图像进行线性化的一般方法，这种方法利用图像边缘的信息来估计CRF。
由图6.4可知，我们的CRF(M=f(I))不是线性的，为了使信号线性化，逆CRF:必须将测量值M(x)映射到由g（M1）和g（M2）定义的一条线上。这可以通过找到一个g来解决，其中对于该区域内的每个像素M(x)，Ω尽量减少从
到线
的距离：
这个算法非常适合于边缘区域，从不重叠的15×15窗口中选择，沿边缘有两种不同的均匀颜色，边缘使用Canny滤波器来探测。利用方差法计算了一个区域内的两种颜色的均匀性。为了提高质量，完成式6.1中g缺失的部分，利用来自真实摄像机的逆CRFs增加了一个贝叶斯估计步骤。
Lin和Zhang推广了Lin等人的方法来处理其方法无法应用的灰度图像。g现在使用一个将M的非均匀直方图映射为均匀直方图的函数来估计，见图6.5。他们提出了一种方法来确定一张图像的直方图H的均匀性，被定义为：
其中是直方图H的像素数目，
是强度为k的像素数，b是灰度级的数目，β是一个经验参数，
和
是直方图H的最小和最大强度，
是一个累积函数被定义为：
逆CRF的计算方法类似于Lin等人的方法，其中g是一个使每个边缘区域的直方图均匀性最小化的函数：
其中是一个更重视密集直方图的权重。区域按照Lin等人的方法进行选择，g按照之前的工作进行细化。该方法可应用于每个彩色通道，从而应用于彩色图像。
6.3、高对比度显示器的去轮廓模型
Daly 和 Feng 提出了两种扩展位深度的方法，用于10bit显示器的经典8bit图像和视频（由于 MPEG-2 压缩，实际上是6bit）。新的LCD显示器展现出了更高的对比度，通常在1000:1左右，并且通常能达到400cd/m^2的高峰值亮度。这意味着不经任何细化来显示 8 位数据，将需要对内容进行线性扩展以获得更高的对比度，从而导致诸如条带和轮廓等伪影。Daly和Feng 的方法的目标是创建一个中等动态范围的图像，去除过渡区域的轮廓，没有特别强调过曝和欠曝的区域。
6.3.1、幅度抖动
Daly和Feng提出的第一种方法是基于Roberts的幅度抖动。幅度抖动，或噪声调制是一种在量化之前简单地向图像添加噪声模式的抖动技术。
当图像需要被可视化时，这个噪声模式就会被去除。位深度被认为比真实的高，因为随后在显示器和 HVS 中进行平均。Robert的技术被Daly和Fang修改以应用到高对比度显示器，见图6.6。使用减性噪声代替加性噪声，因为在可视化过程中显示器不能去除它。作者通过结合固定模式显示噪声的影响和 HVS 感知的噪声对噪声进行建模，使噪声不可见。他们使用了 CSF，这是一种通过心理物理实验得出的二维各向异性函数
6.3.2、轮廓移除
Daly和Feng提出的第二个算法提出了一种不同的方法。在这种情况下，轮廓被去除，而不是被看不见的噪声所掩盖。该算法的第一步是使用低通滤波器对p bit的起始图像进行滤波，见图6.7。
滤波器需要足够宽来跨越伪轮廓。请注意，此操作会将位深度增加到 n > p。因为，在平均过程中，需要比原始值更高的精度。然后，该图像被量化为p位。其中出现的任何轮廓都是伪轮廓，因为这一图像没有高频部分。然后，从原始图像中减去伪轮廓，加入p位的过滤后的图像以恢复低频分量。该算法的主要局限性是它不能消除高频处的伪影。但是由于频率掩蔽，它们无论如何都很难被 HVS 检测到。
6.4、全局模型
全局模型是指对整个图像中每个像素的LDR内容应用相同的单一全局展开函数的模型。
6.4.1、一种范围扩展的幂函数模型
Landis提出了第一个这种模型，这种扩展方法主要用于从图像中重新生成数字三维模型（见第7章），它是基于幂函数的。这一亮度扩展被定义为：
R是扩展阈值（在原始工作中等于0.5） ，是用户对扩展图像所需的最大亮度，α是控制色调曲线拉伸的下降指数。
而这种技术可以为IBL生成合适的HDR环境映射，见图6.8，它可能不能产生可以在HDR显示器上可视化的高质量的图像/视频。这是因为阈值设置可能会产生突变，从而导致不理想的图像。
注意到来自太阳的定向阴影现在可见。
6.4.2、HDR显示器的线性缩放
为了研究HDR显示器对LDR内容的支持程度，Aky¨uz等人进行了一系列的主观实验。这些实验使用Brightside DR-37p HDR 显示器来评估色调映射图像、单曝光图像以及HDR图像。实验涉及本土的20到40岁的参与者。在所有的实验中，使用了10张HDR图像，从室外到室内，从昏暗到非常明亮的光线条件下。HDR图像的亮度是大约5个数量级，以便直接映射到Brightside DR-37pHDR显示器。做的第一个实验是让参与者至少观察2s给出的HDR图像、色调映射后的LDR图像和自动曝光图像等。结果表明，参与者偏好HDR图像。
在第二个实验中，作者将扩展单曝光与HDR 和单次曝光图像（自动并由飞行员选择）进行了比较。 为了扩展单曝光图像，他们在方程式中采用了以下扩展方法：
k是HDR显示器的最大亮度，γ是非线性缩放因子。 本实验生成了不同γ值分别为1、2.2和0.45的图像。设置和排名任务与第一个实验相同。结果表明，较亮的曝光扩展图像优于HDR图像，当平均亮度相同时反之亦然。（说明还是平均亮度优于对比度）。 并且还得出结论，γ=1的线性缩放产生最令人喜爱的图像，表面线性缩放足以获得良好的HDR体验。
6.4.3、对过曝光LDR图像进行gamma扩展
Masia等人提出了一种基于输入LDR图像的动态内容的自动定义γ的方式。类似于Aky¨uz and Reinhard的方法，k值被计算为：
k值是一个统计量，有助于分辨输入的图像主观上是暗的还是亮的。
为了预测γ值，通过群众实验，最终得到经验拟合模型：
这一技术有一些缺陷：它可能不能充分利用动态范围，并且这一拟合模型过拟合（仅仅只在自己测试过的图片上有效，有时γ为负值）。于是Masia用多线性回归修正了他们的模型：
是过曝光像素的百分比（值超过254），这种新的拟合减少了γ为负值时的情况，但当输入图像非常暗时，仍然可能出现负值。
最近，Bist等人发现图像的照明风格和γ值显著相关，于是他们提出了新的表达式：
为夹在[0.05,0.95]中的LDR图像的归一化中值亮度值。结果显示，当内容在1000 cd/m^2的HDR电视上显示时，上式优于以前的伽马方法和Aky¨uz等人的。
6.5、分类模型
分类方法将图像或视频帧识别或分类为不同的部分，例如漫反射区域、高光、光源等。每一个被分类的部分使用各自恰当的方法进行扩展达到最小化伪影（如量化误差、轮廓等），并且，这些方法旨在避免把不该扩展的区域给扩展。例如，一个灯泡应该扩展，但一面白色的墙不应该扩展。
6.5.1、HDR显示器的高光再现
计算完后使用下面的函数对亮度通道进行扩展：
该算法是为特定任务设计的——在HDR监视器上重现高光。将该方法用于其他任务，如对视频进行增强，需要一个分类器。
6.5.2、增强 HDR 显示器的明亮视频功能
Didyk等人提出了一种交互式系统来提高LDR视频的亮度，针对DVD内容显示结果。
系统主要由三部分组成，预加工、分类、截断区域(clipped regions)的增强。
预加工过程产生分类过程中所需的数据，分类过程依靠2000个人工分类区域的训练数据集，然后使用支持向量机SVM进行分类，并且用运动检测来提升估计精度。截断区域的增强就是用非线性自适应色调映射了。
6.6、扩展映射模型
在过曝光区域信息是丢失的，并且不能再重建了。研究人员尝试通过引导映射(guidance map)来插入/乘一个扩展的LDR图像/帧来估计这些损失的信息，能够在过曝光区域估计丢失的低频外形。根据Banterle等人在中使用的术语，这些指导方法被称为expand maps（扩展映射）。
6.6.1、基于扩展映射的强度估计
第一步是线性化输入图像，如果CRF已知的话，将其逆CRF应用到输入图像上。否则应用单图像方法（见6.2.2节）。在Banterle的实现过程中，其用了Reinhard等人的算子的逆，这是因为这个算子仅有两个参数，并且可以以一种直接的方式来控制范围扩展。其逆TMO被定义为：
在范围扩展后，扩展图E被计算 ，这个扩展图是一个在图像高亮度区域展示低频部分的平滑的区域。其有两个主要的目标，第一个是在过曝光区域重建图像丢失的亮度外形，第二个是减弱在扩展过程中被增强的量化或压缩伪影。
该扩展图是通过对使用重要采样（如中值切割采样）生成的样本S（具有强度和位置）进行密度估计来实现的。
最后，扩展的LDR图像和原始的图像可以被结合为：
上式保持了和原始值一样的低亮度值，这避免了当被设置成高值时对低值的压缩。否则可能会出现伪影。
6.6.2、边缘停止展开映射
该方法的第一步是使用较小值和空间核的双边滤波器来去除伪影，考虑到实时性并没有使用复杂的去除伪影的方法，下一步是使用逆gamma函数来线性化信号。然后对比度被线性扩展为：
为了在明亮区域提升亮度，一个亮度提升函数（BEF）内应用。为了提升边缘周围的对比度，使用了边缘通知函数
6.6.3、基于双边滤波器的解决方案
6.7、基于用户的模型：HDR 幻觉（HDR Hallucination）
由于使用自动方法可能并不总是可能恢复丢失的HDR内容，Wang等人提出了一个系统，用户可以向扩展的LDR内容添加细节。他们将整个过程称为幻觉（Hallucination），他们的系统呈现了一种自动和基于用户的方法之间的混合。
Chapter6、低动态范围内容的扩展算子相关推荐
- python interpreter 中没有torch_PyTorch扩展自定义PyThon/C++(CUDA)算子的若干方法总结
在做毕设的时候需要实现一个PyTorch原生代码中没有的并行算子,所以用到了这部分的知识,再不总结就要忘光了= =,本文内容主要是PyTorch的官方教程的各种传送门,这些官方教程写的都很好,以后就可 ...
- PyTorch扩展自定义PyThon/C++(CUDA)算子的若干方法总结
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:作者丨奔腾的黑猫@知乎 来源丨https://zhuanla ...
- DeepLearning | Zero Shot Learning 零样本学习（扩展内容、模型、数据集）
之前写过一篇关于零样本学习的博客,当时写的比较浅.后来导师让我弄个ppt去给本科生做一个关于Zero Shot Learning 的报告,我重新总结了一下,添加了一些新的内容,讲课的效果应该还不错,这 ...
- linux php安装RabbitMq扩展
RabbitMQ PHP扩展安装 # 安装rabbitmq-c依赖包 yum install libtool autoconf # 安装rabbitmq-c ( 最好下载 0.5的,0.6安装可能会报 ...
- FFmpeg从入门到出家（HEVC在RTMP中的扩展）
由金山云视频云技术团队提供:FFmpeg从入门到出家第三季: 为推进HEVC视频编码格式在直播方案中的落地,经过CDN联盟讨论,并和主流云服务厂商达成一致,规范了HEVC在RTMP/FLV中的扩展,具 ...
- CSS核心内容整理 - (中)
2019独角兽企业重金招聘Python工程师标准>>> 本文是CSS核心内容整理的第二篇,承接上一篇的内容继续对CSS的一些重要内容进行整理,推荐先看完这个系列的上一篇. 四. 页 ...
- 【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 制作 APK 扩展包 | 上传 APK 扩展包到 Google Play | APK 扩展文件上传时机 )
文章目录 一.制作 APK 扩展包 二.上传 APK 和 主扩展文件到 Google Play 三.APK 扩展文件上传时机 一.制作 APK 扩展包 apk.txt 内容 : APK 扩展文件测试文 ...
- Linux之grep：过滤器按照字符进行过滤 选项规定内容样式 模式规定内容
组成:grep [选项] "模式" [文件] grep家族有三个:grep egrep fgrep 选项:第一部分的参数 用来进行设置输出的结果 -E :开启扩展(Exte ...
- 只有想不到，「99」种扩展Jupyter功能的好方法
点击"小詹学Python",选择"星标"公众号 重磅干货,第一时间送达 选自 | Jupyter Blog 作者 | yuvipanda 编译 | 机器之心 ...
最新文章
- Java的上溯、下溯
- WPF入门：数据绑定
- 子元素的margin-top影响父元素原因和解决办法
- java 4个系统,JSP系统的四个组成部分
- 从1到N迈向从0到1：华为创新理念升级详解
- c语言如果x小于,请达人帮忙做份C语言试卷，谢谢了
- jdk在线帮助文档地址
- 自定义ViewPager实现3D画廊效果
- vmware安装或卸载时，显示无法打开注册表项
- Anker 拓展坞连接网线经常断网问题
- Marvell 88E1111PHY芯片简介
- Java回炉之语言基础
- 会话、张量、变量OP
- 对称密钥算法和公钥算法的优缺点
- 什么是Java序列化？
- 从一道题学习SoapClient与CRLF组合拳
- [考研]考研倒计时第2天
- 可靠、简单的原系统OriginOS Ocean，为什么激动人心？
- AXI Interconnect简明使用方法记录
- 网络流学习总结和省选专练SCOI2015小凸玩矩阵