文章目录

  • 一，When Color Constancy Goes Wrong: Correcting Improperly White-Balanced Images
    • 1. 执行颜色转换 3*11矩阵：
    • 2. 特征提取
    • 3. 在一个上万张图片和对应的颜色矩阵 数据库中。
    • 4. 整体框架如下
  • 二，What Else Can Fool Deep Learning? Addressing Color Constancy Errors on Deep Neural Network Performance
    • 1. 白平衡不准的图像 输入到 深度学习模型中 会降低性能
    • 2. 因此作者提出一种数据增强操作
  • 三，Color Temperature Tuning: Allowing Accurate Post-Capture White-Balance Editing
  • 四，A study of digital camera colorimetric characterisation based on polynomial modelling.
  • 五，Colour Correction using Root-Polynomial Regression
    • 1. 采用多项式矩阵转换 比 LCC（线性ccm）更好
    • 因此作者提出 RPCC
  • 六，Beyond White: Ground Truth Colors for Color Constancy Correction
  • 七，Improving Color Reproduction Accuracy on Cameras
    • 1. camera-raw 转换为camera-xyz
    • 2. 一般isp中的ccm
    • 3. 如果用full matrix代替白平衡，ccm 变为固定就是作者提出的方法。
  • 八，Auto White-Balance Correction for Mixed-Illuminant Scenes

一，When Color Constancy Goes Wrong: Correcting Improperly White-Balanced Images

1. 执行颜色转换 3*11矩阵：

为什么选择3*11矩阵，作者在 补充材料 有说到各个kernel function的表现

下图说明 3*11表现较好

Graham D Finlayson, Michal Mackiewicz, and Anya Hurlbert. Color correction using root-polynomial regression.IEEE Transactions on Image Processing, 24(5):1460–1470,2015.
和 Guowei Hong, M Ronnier Luo, and Peter A Rhodes. A study of digital camera colorimetric characterisation based on polynomial modelling. Color Research & Application,26(1):76–84, 2001.

这两篇论文可以读一下

2. 特征提取

借鉴ccc, ffcc 的特征提取方法

然后PCA特征降维作为图像特征。

3. 在一个上万张图片和对应的颜色矩阵 数据库中。

根据图像特征搜索 k个最近邻图像和找到对应的颜色转换矩阵， 然后插值得到最终的颜色转换矩阵

4. 整体框架如下

二，What Else Can Fool Deep Learning? Addressing Color Constancy Errors on Deep Neural Network Performance

1. 白平衡不准的图像 输入到 深度学习模型中 会降低性能

2. 因此作者提出一种数据增强操作

该数据增强操作可以生成一个场景在各种色温下的图像。

1） 首先生成训练数据集： 1797个正确白平衡的sRGB 图像，每个图像对应两个风格（Camera Standard and Adobe Standard），每个风格包含 5个不同色温的图像， 因此每个正确的sRGB 伴随 10个其他色温图像。
2）颜色映射矩阵： 每个正确的sRGB 转换到 10个其他色温图像 对应的矩阵。本文使用的是 3*9矩阵.
3）计算特征： 计算正确白平衡的sRGB图像的 特征，同上。至此数据库所需要的数据计算完毕
4）predict:
input 一个正确sRGB图像，计算特征。 然后找到数据库中特征最相近的K个图像，根据距离计算weight, 然后插值得到最后的10个转换矩阵，生成其他10个色温类型的图像。

原理可以用下图概况：

三，Color Temperature Tuning: Allowing Accurate Post-Capture White-Balance Editing

同样利用颜色转换矩阵，但是没有训练集和K近邻插值。

目的是这样的：生成不同色温的图像，使之和isp输出的一致。
在jpg中嵌入 若干个色温的转换矩阵， 然后通过色温插值可以得到任意色温的图像。

原理框图如下：
一个色温x的sRGB图像，以及x_tiny版本
若干个色温y_i 的 sRGB图像 tiny版本：y_tiny_i
x_tiny 到 y_tiny_i的映射矩阵求出，文中用的是3*24的矩阵。

矩阵嵌入到jpg的metedata中， 想转换为其他色温，只需要乘上对应的颜色转换矩阵即可。

四，A study of digital camera colorimetric characterisation based on polynomial modelling.

五，Colour Correction using Root-Polynomial Regression

1. 采用多项式矩阵转换 比 LCC（线性ccm）更好

但是存在一个缺点，就是多项式方法 对于 不同亮度的图像得到的转换矩阵是不同的，这时如果训练的时候使用的图像亮度 和 预测的时候不同，可能会出现颜色偏差，效果不好。
如下图：

因此作者提出 RPCC

这样的多项式求得的矩阵 有更好的亮度保持性。
文章作者有证明。

结果表明：RPCC有很好的表现

六，Beyond White: Ground Truth Colors for Color Constancy Correction

这篇文章主要是在找24 color checker的ground truth。
这个目的的用处感觉不是很大，一般不都是sRGB 或者其他色域的标准值 作为groundtruth吗？
为什么还要根据数据集找到一个相机的groundtruth.

一般使用的时候也是已知 ground truth(自己的目标颜色，或者产品经理想要的效果)， 然后通过最小二乘法求CCM即可。

不过还是说下
本文的几个概念：

  1. diagonal matrix 没有 full matrix对 24 color 校正的好。
    这肯定啦

  2. 在某些光源下，diagonal matrix 和 full matrix 的表现差不多（对于24 color的校正，不只是gray color）, 如下图：

  1. 在daylight 6000K左右光源下， diagonal matrix 的校正效果接近 full matrix。

    1）然后现有数据集一般都是只标灰块，没有24色的 gt, 因此作者想得到白平衡数据集中的24 color的gt, 如何得到呢？
    还是找出6000k daylight 色温附近的图像，利用 diagonal matrix标定，得到24color作为gt.
    主要框架如下稍微复杂：但原理很简单，就是找出 daylight 图像，标定，得到 gt.

    以上就是为白平衡数据集 找到24色 的gt.

    2）然后利用这个gt 优化得到 full ccm. 采用的方法是 Intensity independent rgb-to-xyz color camera calibaretion(AIC,2012), 说是比最小二乘方法应该好一些。
    效果确实比 diagonal matrix好，看下图。

  2. 上面的标定或者最小二乘方法求CCM是有24色卡的情况，平时拍图没有色卡。awb自动白平衡，那么有没有自动ccm呢？

    本文提出的这个观点比较新颖，自动ccm，是否有用呢，现代 ISP中肯定包括awb, 但是没有自动ccm。 自动白平衡->自动ccm.在一般手机isp中，标定若干特定cct下的ccm, awb算出当前cct, 插值得到ccm.

    作者将两个自动白平衡方法 改造为 自动求full matrix来达到更好的白平衡。就是Bayesian method [24, 31] and
    the Corrected-Moments method[14]

七，Improving Color Reproduction Accuracy on Cameras

看懂这个论文首先要理解一般手机里面的isp

camera-raw（受光源影响）-> wb -> camera-XYZ -> ccm -> linear sRGB

其中wb 是不能完全去除光源的影响的，只能去除灰色块的光源的影响。
此外手机里的ccm 是 cameraXYZ -> XYZ -> sRGB 两个转换矩阵的结果。 论文中的ccm一般指 cameraXYZ -> XYZ

本文提出的方法描述的过程是

camera-raw（受光源影响）-> wb -> camera-XYZ -> ccm -> XYZ的过程。

其中 diagonal wb 得不到标准camera-XYZ, 造成 camera-XYZ 转换为 XYZ的 颜色转换矩阵 不是固定的。
理论上应该是固定的，camera-XYZ 到 XYZ。 但是由于只通过diagonal wb并不能很好的转换camera-raw到camera-XYZ。 除了灰块外的颜色都会受到光源的影响，因此需要标定不同的ccm, 现在手机isp中一般会预先标定多个色温的ccm, 然后online插值得到，文中说只预先标定2个不太准确。。。

1. camera-raw 转换为camera-xyz

通过diagonal wb 和 通过 full matrix 效果肯定是不同的，可以参考上一篇论文介绍，Beyond White: Ground Truth Colors for Color Constancy Correction

所以说如果使用full matrix做 color constancy, 各色温下的ccm其实是固定的了。

2. 一般isp中的ccm

先标定若干个色温下的ccm
然后online计算的色温下的ccm通过 插值得到。

3. 如果用full matrix代替白平衡，ccm 变为固定就是作者提出的方法。

说是可以提高XYZ的精度， 其实就是把 ccm变换 交换位置，并不能提高精度。

图像效果对比，可以看出 method2相比method1没有提高太多精度，method1采用3各预先标定的ccm, 如果isp中采用更多，可以预计应该不会有太多差异。

一些实验的指标：

八，Auto White-Balance Correction for Mixed-Illuminant Scenes

混光情况下的 awb

1）M 通过 small image提前计算好（计算开销小）
2）M应用在 SR 图像上得到 各种色温大图
3）大图下采样可以得到小图，小图输入网络得到weight
4）放大weight, 在大图上weight 插值得到 最终的结果

白平衡，颜色校正，颜色映射When Color Constancy Goes Wrong， brown相关推荐

  1. 深度学习白平衡（Color Constancy，AWB）：ICCV2019论文解析

    深度学习白平衡(Color Constancy,AWB):ICCV2019论文解析 What Else Can Fool Deep Learning? Addressing Color Constan ...

  2. 白平衡（Color Constancy，无监督AWB）：CVPR2019论文解析

    白平衡(Color Constancy,无监督AWB):CVPR2019论文解析 Quasi-Unsupervised Color Constancy 论文链接: http://openaccess. ...

  3. SRPG游戏开发（十）第五章 颜色映射与职业动画 - 二 颜色组(Color Chart)

    返回目录 第五章 颜色映射与职业动画 二       颜色组(Color Chart) 颜色组是保存许多颜色的一个容器,可以在Swapper中直接创建List<Color>或Color[] ...

  4. Automatic White Balance(AWB)/Color Constancy(CC)系列论文

    ISP里面有个叫自动白平衡(AWB)的算法,学术界叫色彩恒常性(CC),其实解决的是同一个问题:使得相机获取的图像和人看到的颜色是一样的. 本文主要介绍用神经网络解决该问题的方法,要想深入理解,建议读 ...

  5. 颜色恒常性CVPR2020 Multi-Domain Learning for Accurate and Few-Shot Color Constancy阅读笔记

    原文引用:Xiao J , Gu S , Zhang L . Multi-Domain Learning for Accurate and Few-Shot Color Constancy[C]// ...

  6. GPU Gems1 - 22 颜色控制（Color Controls）

    这章将在游戏中图像处理的讨论,扩展到技术和艺术上控制颜色的方法和应用,包括将图像从一些的色彩空间中移入移出,以及快速地给任何2D或3D场景加上精美的色调. 色彩校正(Color Correction) ...

  7. 基于色彩恒常（ color constancy）特性的Frankle-McCann Retinex图像增强。

    from:https://www.cnblogs.com/Imageshop/archive/2013/04/18/3029352.html 基于色彩恒常( color constancy)特性的Fr ...

  8. Cascading Convolutional Color Constancy

    Abstract 在计算色彩恒常性中,将场景的光照从物体的表象中回归是一种普遍采用的方法.然而,由于光源未知.材料的反射性质不同.外部成像因素(如不同的相机传感器)等原因造成的固有外观和标签的模糊性, ...

  9. 《Real-Time Rendering 4th Edition》读书笔记--简单粗糙翻译 第八章 光和颜色 Light And Color

    写在前面的话:因为英语不好,所以看得慢,所以还不如索性按自己的理解简单粗糙翻译一遍,就当是自己的读书笔记了.不对之处甚多,以后理解深刻了,英语好了再回来修改.相信花在本书上的时间和精力是值得的. -- ...

最新文章

  1. hadoop学习之一
  2. 深度剖析「圈组」消息系统设计 | 「圈组」技术系列文章
  3. Lambdas：来到您附近的Java 8！
  4. hdu4011（水贪心）
  5. Socket 简易静态服务器 WPF MVVM模式（一）
  6. Linix中Dockerfile部署Spring Boot项目
  7. 人工智能（AI）真正的价值究竟何在？
  8. Mysql各个版本之间的比较
  9. [转] 面向对象编程介绍
  10. python os 的坑_Python踩坑之旅其二裸用os.system的原罪
  11. Linux中grep命令详解
  12. cad填充密度怎么调整_CAD填充图案放在哪里，这几步你要了解
  13. ftp文件下载工具，四款超级好用的ftp文件下载工具
  14. Win10/WinServer2016安装wireshark报“KB2999226 和 KB3118401”补丁未安装解决方式
  15. 书籍_《未来世界的幸存者》阮一峰--5/5
  16. c语言求ab的最大公约数,C语言中如何调用函数求最大公约数和最小公倍数
  17. vue-meta插件动态设置meta和title标签(适用于ssr)
  18. 包装严重的 IT 圈，作为面试官，是如何甄别应聘者呢？
  19. 什么是TPS、QPS？
  20. thinkphp5 域名路由

热门文章

  1. 关于微信号以及QQ号点击复制功能
  2. lasso回归操作步骤
  3. 学习曲线（ learning curve）是什么？如何绘制学习（ learning curve）曲线？学习曲线（ learning curve）详解及实践
  4. 消费者厌恶手机企业的高定价，苹果和国产手机销量都显著下滑
  5. VMware克隆步骤
  6. N1变砖有救N1 eMMC 镜像，理论用于TTL救砖 ,使用ddbr恢复官改系统救砖方法
  7. 安装nagios+监控Linux客户端服务端+监控windows客户端
  8. 别绝望，人生还很长!
  9. 怎么能快速赚钱（零成本快速赚钱方式分享）
  10. 操作系统精髓与设计原理 第9版总结