同学给我一篇文献，针对视频对象分割，论文提出了一种精确运动层分割和Matting技术，将运动分割与alpha matting技术结合起来，由于对alpha matting不太懂，所以找资料认真学习了一下，整理收集如下：

什么是alpha matting？

Pulling a matte： matte在字典里的解释是不平滑的意思，matting在photoshop里面是指消除图像的背景边缘或者去掉粗糙点。把digital matting技术应用于图像，是基于这样一个概念，它认为一幅图像是由背景和前景合成的，只是在不同的区域两者参与的比例不一样，在只有背景的地方，前景的参与比例为0％；而在只有前景的地方，背景的参与比例为0％。因此我们把这个比例值定义为一个未知数alpha，即α。这样我们把图像C分割成一个前景对象图像C_璅，一个背景图像C_B和一个alpha matte α，于是就有了digital matting的数学定义： C＝α×C_璅＋（1－α)×C_B。如果再具体一点，针对每个像素，背景颜色为C_B＝[R_B,G_B,B_B]，前景对象颜色为C_璅＝[R_F,G_F,B_F, α](或者C_璅＝[αR_F, αG_F, αB_F])，于是matting方程为C＝C_璅＋(1－α)×C_B。通常在应用中都是来需求这个方程的解，获得图像的最后分割结果，但如何来解这个方程呢？

在介绍解这个方程之前，先来认识一下蓝屏matting（blue screen matting） 和环境matting（environment matting）。蓝屏matting在很多TV或电影中经常用到，背景提取的形式是：首先需要一个已知的背景，然后通过SSD>threshold计算alpha值，在这里要期望前景与背景不一样，也就是没有蓝色带。为什么是蓝色呢，又为什么这样统一呢？还需要找答案。这里有这样的描述：“电影和电视工作者使用蓝色屏幕进行简单的景物提取。被摄物置于一张蓝色屏幕前，录制完毕后胶片上的蓝色屏幕被其他的背景所替代。Smith和Blinn非常详细的研究了这种“蓝屏”问题，发现仅仅在最简易的情况下才存在唯一的物象提取结果。”还有：“蓝屏技术对图像的背景或者前景颜色有一定限制，背景通常是固定颜色，一般情况下选蓝色或者绿色，或者是准备多张有相同前景的图像，利用这些图像中的背景颜色的不同，来达到准确提取前景的目的。”

第一种解答方法：没有蓝色。令B_F＝0，这样就只剩下三个方程和三个未知量。方程如下所示：R=α×R_F＋（1－α)×R_B   求R_F

G=α×G_F＋（1－α)×G_B  求G_F

B=（1－α)×B_B           求α

第二中解答方法：灰度图。令R_F＝G_F＝B_F，这样就只剩下三个方程和两个未知量。

除了上面的两种方法，这里还介绍一种三角测量matting，与减少未知量个数相反，它通过增加未知量的个数来求解。它是把对象放置到两种不同背景下，这样就产生六个方程和四个未知量。方程如下所示：

令在像素P点，C_B1=[R_B1,G_B1,B_B1]     C_B2=[R_B2,G_B2,B_B12

则合成的像素为：C₁=[R₁,G₁,B₁]  C₂=[R₂,G₂,B₂]  于是得到方程为：

R₁=α×R_F＋（1－α)×R_B1    R₂=α×R_F＋（1－α)×R_B2

G₁=α×G_F＋（1－α) ×G_{B1  G2}=α×G_F＋（1－α)×G_B2

B₁=α×B_F＋（1－α)×B_B     B₂=α×B_F＋（1－α)×B_B2

环境matting的方程与上述的不一样，多了一个参量，方程如下所示：

C＝C_璅＋(1－α)×C_B＋Φ  Φ表示环境中的光穿过前景对象的度。

Alpha matting技术在图像中的应用主要在对象提取上面，因此在这方面的研究比较多，主要是从单幅图像中提取物体对象，除了人工参与手动描出对象边界外，近年来有Ruzon和Tomasi提出的基于统计学的方法，Hillman等人提出的主成分分析法，还有Y.Y.Chuang 等人提出的Bayes方法，也是基于统计学的代表。除此之外，微软亚洲研究院Jian Sun等人根据Patrick P´erez等人2003年发表的Poisson Editing方法提出Poisson Matting ，实际上是将透明度作为图像的一种内在属性——“场”，变向地寻求其最优解。Olivier Juan 和Renaud Keriven针对digital matting提出了一种无监督的分割方法，它是通过一个小的子集合中提取前景和背景区域来初始化matting，对前景和背景分别使用标准的统计模型，而对混合区域单独设计一个。再用一个水平集合方法（a level set method）的应用来同时确定这三个区域。之后又提出了一种trimap 分割，采用一个基于优化策略的迭代图分割同时确定三个区域。

随着流媒体和当今电影电视技术的发展，将digital matting技术应用于视频图像中运动对象的提取也逐渐多起来，这在电影特技中会有广泛的应用。如何有效地将这个技术应用于视频图像的对象分割，是我正在研究的。对alpha matting 有研究的朋友，不妨交流一下