Color Science & Image Signal Processing

人眼/相机成像原理
颜色定量分析(xyz,lab,RGB,YUV)
ISP颜色重建相关
###成像原理

成像三要素

$$\rho_k=\int_{\omega}{E\left(\lambda\right)S\left(\lambda\right)C_k\left(\lambda\right)}\ $$ $E\left(\lambda\right):光源光谱能量分布;S\left(\lambda\right):物体表面光谱反射率;C_k\left(\lambda\right):人眼感光灵敏度 /相机传感器灵敏度$ ##### 成像设备

瞳孔：光圈
晶状体：可变焦距的透镜
视网膜：相机感光器件Sensor
+ 锥状细胞：红绿蓝三种，明视觉
+ 杆状细胞：明暗感觉，暗视觉
大脑视觉皮层：部分ISP(AWB,CFAI)+图像理解和分析

人眼的快门速度？或许是连续的，但是大脑处理器的速度是有限的，太快的动作人眼看不清楚，人眼的快门在1/24～1/30左右。但是慢速快门有极强大的防抖能力，除了眼球不断转动的光学防抖之外，大脑处理器的软件防抖也功不可没。

######一点补充人眼的视觉特性对相机成像的影响

颜色恒常性：AWB+CCM
对暗部细节更敏感：Gamma、WDR
对亮度比色度敏感：调试时曝光为重

###颜色定量分析

CIE1931/64-RGB (1964 补充10o10^o10o视角)

CIE1931/64-XYZ

CIE1976L*a*b*/…

sRGB/AdobeRGB… (显示标准)

设备相关RGB

####CIE1931-RGB （人眼2o2^o2o视角匹配实验）

*$2^o$视角颜色匹配实验* *CIE1931-RGB系统&CIE1931-XYZ标准色度观察者光谱三刺激值(匹配等能光谱色需要的三原色数量)曲线*

####CIE1931-XYZ (对CIE1931-RGB的坐标转化，消去负值)

*CIE1931-RGB转换为CIE1931-XYZ*&*CIE1931-XYZ* *CIE1931色品坐标图* ######一点补充 - 跟人眼刺激直接相关的颜色感知空间，空间转换的桥梁（如CCM：camera sensor RGB->XYZ->sRGB；sRGB->XYZ->Lab） - camera sensor RGB与XYZ的区别在于使用的光谱感知灵敏函数不同（前者相机sensor，后者人眼sensor） *使用camera sensor和eye sensor的3X3全矩阵矫正* - Q：为什么白平衡校正时以G为标准？可以看到$\bar{y}$符合人眼的明视觉视见函数(对不同波长的感光灵敏程度)。$\bar{y}$正是表示绿原色的数量。

####CIE1976L*a*b* (均匀性空间,定量颜色差异-色差)

CIEXYZ色度系统解决了颜色的定量描述与计算的问题，但它的色度空间在视觉上是不均匀的，空间中相同的距离所对应的视觉上差异是不同的。

$X_n,Y_n,Z_n:CIE标准照明体(如D65)的三刺激值$。**Lab定义的是相对于白点的颜色，只有定义完白点是什么颜色，我们才能知道其他的颜色。** ######一点补充 Q：*CIELab是a(红绿)b(蓝黄)有什么道理呢？*

杨—赫姆霍尔兹的三色学说
赫林的四色“对立”颜色学说：赫林观察到颜色现象总是以红－绿、黄－蓝、黑－白成对关系出现，因而假设视网膜中有三对视素：白－黑视素、红－绿视素、黄－蓝视素。

Q：CIELab真的均匀吗？

Luo M R , Rigg B . Chromaticity-discrimination ellipses for surface colours[J]. 1986, 11(1):25-42.

椭圆代表了人眼无法辨别颜色的区域。可以看出接近中性色的椭圆最小，饱和度增大椭圆变大；除了蓝色区域外，大部分椭圆都指向原点。

Thinking：是否有更好更均匀的空间或赋予不同权重使得色差更接近人眼的感知？
Delta94,Delta2000!!

####sRGB和设备相关RGB（为了显示）

设备无关的颜色空间：颜色数值与颜色视觉有确定的对应关系,如CIE色度值,为设备无关的色空间

设备相关的颜色空间：颜色数值形成的颜色视觉与具体的设备性能有关，如RGB数值、CMYK数值，均构成了设备相关的颜色空间。
######sRGB空间-与设备无关的色空间
源于CRT显示器规范化

######设备相关RGB RGB值脱离了具体的设备没有意义。

YUV色彩空间的Y亮度和色度信号U、V是分离还有一个优点是，人眼对亮度敏感，对色度不敏感。减少部分UV的数据量，但人眼感知不到。可以说RGB是用来在LCD、CRT上显示用的，而YUV更便于视频信号的压缩、传输和存储。

###ISP颜色重建相关（曝光、AWB‾\underline{AWB}AWB、CFAI、CCM‾\underline{CCM}CCM、Gamma）
#####AWB&CCM

该部分图像来源：Karaimer H.C., Brown M.S. (2018) “Improving Color Reproduction Accuracy on Cameras”, IEEE Computer Vision and Pattern Recognition (CVPR`18), June 2018

Q：CCM为什么不同色温不同的参数？

白平衡只能校准中性色，CCM需要将彩色也校准。不同色温下彩色表现不同，到目标颜色的映射关系也不同，所以需要根据色温定制CCM。
当然如果白平衡能够将所有颜色矫正好，那么只需要一个CCM矩阵就可以了。
另外CCM后续的Gamma也会对色彩有影响，所有对于不同的Gamma曲线也要对应一个CCM。

Q：AWB为什么不能校准所有颜色？

D. Cheng, B. Price, S. Cohen, and M. S. Brown. Beyond white: ground truth colors for color constancy correction. In ICCV, 2015.

其实AWB也能校准所有颜色，不过对光源有一定要求。Cheng等人发现在一定的宽频带光照下(如日光)，对角线校正矩阵足以校正相机颜色空间中的所有颜色。
当不满足该条件时，因AWB只是估计光源，相当于观察场景中灰块物体的增益，3x3的对角矩阵也仅仅只能校准灰块。彩色的不准更多的因为相机和人眼的sensor不一致，需要CCM的3x3全矩阵来矫正两者的差异。

Q：AWB白点较不准对CCM的影响？

周恕义,王少华. 1931 CIE-RGB系统向XYZ系统的转换.1990

白点是空间转换的靶心，白点较不准，意味着转换后的空间与目标空间不一致，白点存在偏移，除三原色外的所有颜色也将偏移。

#####该篇的起源（讨论）

Q1：该调哪些模块？
Q2：怎么调？

######CCM：
a11R+a12G+a13B=a21R+a22G+a23B=a31R+a32G+a33Ba_{11}R+a_{12}G+a_{13}B=a_{21}R+a_{22}G+a_{23}B=a_{31}R+a_{32}G+a_{33}Ba11R+a12G+a13B=a21R+a22G+a23B=a31R+a32G+a33B

白平衡约束:a11+a12+a13=a21+a22+a23=a31+a32+a33a_{11}+a_{12}+a_{13}=a_{21}+a_{22}+a_{23}=a_{31}+a_{32}+a_{33}a11+a12+a13=a21+a22+a23=a31+a32+a33
权重约束：着重某色块的矫正
目标：min(ΔE∣ΔC)min(\Delta{E}|\Delta{C})min(ΔE∣ΔC)

Color ScienceImage Signal Processing相关推荐

Image Signal Processing(ISP)-第四章-LSC, CC的原理和软件实现
Hello!距这个小ISP的软件实现大概过去两年了,一直没有打起精神来将连载写完.但是我们绝不烂尾,绝不! Image Signal Processing-第四章-LSC, CC的原理和软件实现 1. ...
[2021 CVPR] 可逆网络实现 RAW 和 RGB 图像转换：Invertible Image Signal Processing
Invertible Image Signal Processing [pdf] 目录 Abstract Introduction Traditional ISP Analysis Method Ab ...
IEEE signal processing letters 投稿经验
转自:http://emuch.net/t.php?tid=6226942 前段时间比较幸运地中了一篇spl,把自己浅薄的经验写出来,直接从自己博客上转过来,分享给大家,望抛砖引玉吧~~~ 从投稿到录 ...
【 MATLAB 】Signal Processing Toolbox Functions - By Category
目录 Signal Processing Toolbox Functions - By Category Signal Generation and Preprocessing Smoothing a ...
GNN笔记：图信号处理（Graph Signal Processing）
1 图信号处理定义图信号处理(Graph Signal Processing,以下简称 GSP)用来处理那些定义在图上的非规则域的信号.换句话说,就是处理图上定义的信号,但信号所在域是非规则的. 2 ...
IEEE Signal Processing Letters
原文链接:https://signalprocessingsociety.org/publications-resources/ieee-signal-processing-letters/infor ...
Image Signal Processing(ISP)-第三章-BCL, WB, Gamma的原理和软件实现
Hello!ISP系列文章终于更新了,距离上一篇文章发布已经过去半年多啦!哈哈,虽然这段时间没有写文,但是这个简单ISP的代码还是有更新的哦,有兴趣的朋友可以到Github查看.话不多说,我们接着讲I ...
Digital Signal Processing 数字信号处理
DSP是什么 | 数字信号处理 | 数字信号处理器 | DSP处理器与通用处理器的比较 | Digital Signal Processing 数字信号处理作为一 ...
【贪玩巴斯】数字信号处理Digital Signal Processing（DSP）——第三节「离散时间系统详解」2021-09-29
数字信号处理Digital Signal Processing(DSP)--离散时间系统的详解~ 1. 离散时间系统 1.输入-输出描述 2.系统状态决定因素 3.结构图表示(考点) 重点例题 1. ...

Color ScienceImage Signal Processing

Color Science & Image Signal Processing

成像三要素

Color ScienceImage Signal Processing相关推荐

最新文章

热门文章