论文《Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry》笔记

Fig1：我们的方法自动将输入的彩色图像分解为稀疏的一组均匀着色的添加剂混合层。

我们的算法将分解分为两级几何问题。第一级计算输入图像像素的5D RGBXY凸包和Delaunay细分，同时考虑颜色和空间关系。它的顶点用黑色勾勒出轮廓。 5D单纯形很难可视化。图像中的任何颜色都可以通过这些顶点的凸组合来再现。

第二层计算一个自动简化的RGB凸包，其顶点用作调色板。由于RGBXY凸包顶点位于RGB凸包内部，因此我们可以找到混合权重，这些权重控制RGBXY顶点的颜色，从而控制整个图像。由于RGBXY顶点与调色板无关，因此用户可以编辑调色板并立即获得新的添加剂混合层。这些层可用于重建或重新着色输入图像。来自Cohen-Or等人[2006]的示例图片。

注释：

5D RGBXY convex hull

convex hull(凸包):

https://zh.wikipedia.org/wiki/%E5%87%B8%E5%8C%85

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我们介绍了一种非常可扩展且高效但又简单的基于调色板的图像分解算法。给定RGB图像和一组调色板颜色，我们的算法将图像分解为一组附加的混合层，每个图层都对应于具有不同权重的调色板颜色。我们的方法基于RGBXY空间中图像的几何形状。这种新的几何方法比以前的工作效率高几个数量级，并且不需要数值优化。这种新的几何方法比以前的工作效率高几个数量级，并且不需要数值优化。我们用48行Python代码提供了该算法的实现。我们演示了一个实时图层分解工具，用户可以在其中交互式地编辑调色板以调整图层。经过预处理，我们的算法可以在20毫秒内将6个MP图像分解为多个图层。

1 INTRODUCTION

在数字图像编辑中，图像通常表示为一组图层。这使艺术家可以组织他们的作品并隔离修改。最终图像是通过使用一些混合操作将图层合成而成的[Porter and Duff 1984]。各种近期方法[Aksoy等，2017; Chang等。 2015; Tan et al.2016; Zhang等人[2017]对图像编辑进行了探索，研究了逆问题，将图像分解为调色板，并关联了每个像素的合成或混合参数。

我们提出了一种非常有效而简单的几何方法，用于将图像分解为空间相干的附加混合层（图1）。在我们的方法中，每个输出层都是应用不同权重的统一颜色。在提取了初始调色板之后（给定了RMSE重建阈值），用户可以编辑调色板并立即获得新的分解结果。这允许用户通过例如选择语义上有意义的颜色或将重建错误换成稀疏性来改善分解。

注释：

RMSE是均方根误差，是用来测量数值之间差异的量度

RGBA是代表R ed（红色）G reen（绿色）B lue（蓝色）和A lpha的色彩空间。虽然它有的时候被描述为一个颜色空间，但是它其实仅仅是RGB模型的附加了额外的信息。采用的颜色是RGB，可以属于任何一种RGB颜色空间，但是Catmull和Smith在1971至1972年间提出了这个不可或缺的alpha数值，使得alpha渲染和alpha合成变得可能。提出者以alpha来命名是源于经典的线性插值方程αA + (1-α)B所用的就是这个希腊字母.

alpha通道一般用作不透明度参数。如果一个像素的alpha通道数值为0%，那它就是完全透明的（也就是看不见的），而数值为100%则意味着一个完全不透明的像素（传统的数位图像）。在0%和100%之间的值则使得像素可以透过背景显示出来，就像透过玻璃（半透明性），这种效果是简单的二元透明性（透明或不透明）做不到的。它使数码合成变得容易。alpha通道值可以用百分比、整数或者像RGB参数那样用0到1的实数表示。

我们的方法是受Tan等人[2016]的几何调色板提取技术启发的。我们考虑了5D RGBXYspace的几何形状，该几何形状捕获颜色以及空间关系，并消除了数值优化。即使是非常高分辨率的图像（≥100兆像素），我们的算法的性能也非常高效-比最新技术快20倍[Aksoy等，2017]。它的性能实际上与图像或调色板的大小无关。经过预处理，我们的分解可以立即重新计算为新的RGB调色板。这使设计人员可以实时编辑分解。工作代码在第3节中提供。

2 RELATED WORK

Image Decomposition

对于重新着色方面，找到提取的调色板和图像像素之间的映射也很重要。最近的工作能够根据调色板将输入图像分解为单独的图层。 Tan等[2016]根据对标准alpha混合模型的优化，提取一组有序的半透明RGBA图层。可以使用加色混色模型实现与顺序无关的分解[Aksoy等人，2017; Lin et al.2017a;张等人.2017]。对于先前提到的基于物理的调色板提取方法[Aharoni-Mack等人2017; Tan et al.2017]，层对应于提取的多光谱颜料。与Chang（2015）等人（基于调色板的）编辑转移方法相比，我们更喜欢完全分解。通过全面分解，可以轻松进行编辑，并且可以进行空间编辑（尽管在此工作中我们不探讨空间编辑）。我们基于叠加颜色混合模型（第3.2节）提出了一种新的，有效的图层分解方法。我们的方法利用5D RGBXY空间几何形状来增强图层的空间平滑度。这种几何方法比文献中的先前方法效率更高，可轻松处理最大100兆像素的图像。

Palette Extraction

一种简单的方法包括使用k均值方法对RGB空间中图像中的现有颜色进行聚类[Chang等，2015； Nguyen et al.2017;潘（Phan）等人，2017;张等2017]。这捕获了最突出的颜色。一种不同的方法包括计算和简化包围所有颜色样本的凸包[Tan等，2016]，它提供了更多的“主”调色板，可以更好地表示图像的现有色域。在高光谱图像分解领域也有类似的观察[Craig 1994]。（对于高光谱图像，调色板尺寸小于通道数，因此问题是在颜色周围拟合最小体积的单纯形之一。当将数据投影到较低尺寸时，高维单纯形的顶点变为凸包。尺寸）。Morse等人[2007]在HSL空间中工作，使用直方图找到主要的色相，然后在其中找到阴影和色度。在其他作品中也考虑到了人类的感知，在人群数据集上训练了回归模型。。 [Lin and Hanrahan 2013； O’Donovan et al.2011]。一些基于物理的方法尝试提取与波长有关的参数，以模拟绘画中使用的原始颜料。 [Aharoni-Mack et al.2017; Tan等人[2017]。我们的工作建立在Tan等人[2016]的基础上，增加了固定的重建误差阈值，以自动提取最佳尺寸的调色板，如3.1节所述。

3 PALETTE EXTRACTION AND IMAGE DECOMPOSITION(调色板提取和图像分解)

一个很好的图像编辑调色板可以紧密地捕捉使用（或可能使用）图像制作的基础颜色，即使这些颜色在图像本身中并未以其最纯粹的形式出现。(A good palette for image editing is one that closely captures the underlying colors the image was made with (or could have been made with), even if those colors do not appear in their purest form in the image itself.) Tan等[2016]观察到，绘画和自然图像的颜色分布在RGB空间呈凸形。结果，他们提出了计算像素颜色的凸包的方法。凸包紧密包裹着观察到的颜色。 可以将其顶点颜色与凸权重（正和加一）混合，以获取图像中的任何颜色。（Its vertex colors can be blended with convex weights (positive and summing to one) to obtain any color in the image.）凸包可能过于复杂，因此他们针对用户期望的调色板大小提出了一种迭代简化方案。 简化后，顶点成为代表图像中颜色的调色板。

我们以两种方式扩展Tan等人[2016]的工作。首先，我们提出一种简单的几何层分解方法，该方法比最新技术的效率高几个数量级。整个分解算法的工作代码可以用不到50行编写（图3）。其次，我们提出了一种自动调色板尺寸选择的简单方案。

3.1 Palette Extraction

在Tan等人[2016]中，计算所有像素颜色的凸包，然后简化为用户选择的调色板尺寸。总结他们的方法，凸包被贪婪地简化为一系列受约束的边塌陷[Garland and Heckbert 1997]。边缘塌陷到严格限制体积的点[Sander et al.2000]，同时最小化了其到入射面的距离。接下来，贪婪地选择塌陷增加了总体积的边缘。折叠完每条边后，将重新计算凸包，因为新顶点可能间接导致其他顶点变成凹面（因此是多余的）。最后，简化可能会导致色域外的颜色或RGB立方体之外的点。作为最后一步，Tan等人[2016] 将所有这些点投影到RGB多维数据集上最接近的点。这是他们方法中重建错误的根源。现在，有些像素位于简化的凸包之外，无法重建。

我们对此方法进行了改进，观察到即使在层分解之前，重构误差也可以通过几何方式测量，即每个像素到简化凸包的距离的RMSE。（内部像素的距离自然为0。）因此，我们提出了一种基于用户提供的RMSE重建误差容限（在我们的实验中，η= 2/255）的简单自动调色板尺寸选择。为了提高效率，我们将RGB空间分为32×32×32bins（总共2 ^ 15 bins）。我们测量每个非空箱到简化凸包的距离，并按箱数加权。一旦将顶点数简化为10，我们就开始测量重建误差。通过这样做，我们能够自动获得具有最佳颜色数的调色板。这消除了用户手动选择调色板尺寸的需要，从而导致更好的图层分解。图2可视化了图像的不同级别的简化hull。在此示例中，我们的算法根据默认的RMSE公差选择了尺寸为5的调色板。

图2.在Tan等人[2016]的示例中，我们的默认RMSE公差η自动将RGB空间凸包简化为工作中手动选择的相同5个顶点。当简化为4个顶点时，多面体外部的蓝色像素会产生较大的RMSE误差。

（如果可以接受非恒定的调色板颜色，则可以将光线从每个像素投射到色域外的顶点，而不是剪切一个光线；该光线与RGB立方体的交点将是该像素的调色板颜色。重建错误为零。停止标准可以是调色板颜色的不均匀性，通过RGB立方体表面与简化的凸包本身相交的面积来衡量。）

3.2 Image decomposition via the RGBXY convex hull

Tan等人[2016]从他们提取的调色板中解决了一个非线性优化问题，以将图像分解为一组适合标准“覆盖”合成操作的有序半透明RGBA层。尽管这种分解方法可广泛应用（由于“过度”合成的普遍存在），但由于合成操作的递归性质，优化过程相当冗长，它表现为一个多项式，其阶数为调色板大小。其他人则选择了添加剂混合层[Aksoy et al.2017; Lin et al.2017a; 张等人[2017]。像素的颜色是调色板颜色的加权总和。

在这项工作中，我们也采用添加剂混合层。我们提供了一种快速，简单但在空间上连贯的几何构造。单形内的任意点p（2D中的三角形，3D中的四面体等）具有一组独特的重心坐标或凸加性混合权重，使得其中混合权重wi为正且求和到一个，ci是单纯形的顶点。在我们的设置中，简化的凸包通常不是单纯形，因为调色板具有4种以上的颜色。（4面体有4个顶点）任意多面体仍然存在凸权重wi，称为广义重心坐标[Floater 2015]，但它们不是唯一的。查找广义重心坐标的一种简单方法是，首先将多面体（在我们的情况下为简化的凸包）的细分计算为不重叠的单纯形（3D中为四面体）。例如，可以通过执行多面体的Delaunay细分来计算点的Delaunay广义重心坐标。点位于其中的任何单纯形的重心坐标都是广义的重心坐标。对于内部一般位置的3D点，混合权重将具有最多4个非零权重，这对应于四面体的顶点数。

注释：

Delaunay三角剖分算法：

https://baike.baidu.com/item/Delaunay%E4%B8%89%E8%A7%92%E5%89%96%E5%88%86%E7%AE%97%E6%B3%95?tp=2_11

http://www.cppblog.com/eryar/archive/2013/05/26/200605.aspx

这是Tan等人[2016]采取的方法。以其尽可能稀疏（ASAP）技术提取图层。因为Tan等[2016] 在合成上被认为是递归的，用户提供了一个层或顶点顺序；他们通过将其所有（三角形）面连接到与背景色相对应的第一个顶点来细分简化的凸包。这种简单的星形镶嵌可用于任何凸多面体。在添加混合方案中，不提供任何订单；我们在下面讨论镶嵌的选择。但是，由于权重是完全基于像素的颜色分配的，因此，这种方法会遭受空间相干伪像的影响。空间相邻像素的颜色可以属于不同的四面体。结果，ASAP层在重新着色之类的操作过程中会产生斑点（图8）。

Spatial Coherence：

为了提供空间连贯性，我们的主要是将这种方法扩展到5D RGBXY空间，其中XY是图像空间中像素的坐标，以便以统一的方式将空间关系与颜色一起考虑（图1）。我们首先在RGBXY空间中计算图像I的凸包：

其中VRGBXY是矩阵，其列是凸包的Q顶点，并且i枚举I的N个像素。然后，我们根据5D凸包为图像中的每个像素计算Delaunay广义重心坐标（权重）。为此，我们将RGBXY凸包细分为一组简单对象：

图像的像素i在5D凸包体顶点VRGBXY方面的混合权重可以计算为：

其中像素i包含在单纯形SjRGBXY中，并且单纯形表示为6×6矩阵，其列是齐次坐标中的顶点。通过适当的索引（矩阵乘积计算的6个权重对应于Sj RGBXY引用的6个凸包体顶点），我们构造了稀疏的N×Q权重矩阵WRGBXY。具有相似颜色或在空间上相邻的像素最终将具有相似的权重，这意味着我们的图层在RGB和XY空间中都将是平滑的。我们可以通过矩阵乘法将N×3图像表示为

其中VRGB是VRGBXY的Q×3子矩阵。

我们类似地计算WRGB，并根据RGB空间调色板颜色P混合RGBXY凸包体顶点VRGBXY的权重。将P表示为#P×3矩阵，

WRGB是Q×#P矩阵。调色板颜色是简化的RGB凸包体顶点。我们仅考虑每个RGBXY凸包顶点的RGB部分，该部分始终位于未简化的RGB凸包内部。但是，由于在计算简化的RGB凸包时会出现上述色域外投影步骤，因此RGBXY凸包顶点有时会落在其外部。我们将其权重设置为3D简化凸包上最接近点的权重。这是重建中误差的唯一来源。

通过组合方程式1和2，我们可以表示图像I = WRGBXYWRGBP。最终权重为W = WRGBXYWRGB，这是一个N×#P矩阵，仅根据调色板分配每个像素的权重。这些权重在颜色和图像空间上都很平滑。

要分解具有不同RGB调色板的图像，只需要重新计算WRGB，然后执行矩阵乘法即可。计算WRGB非常高效，因为它仅取决于调色板的大小和RGBXY凸包顶点的数量。它与图像大小无关，并且允许用户基于交互式调色板编辑（图11和补充材料）进行图像分解实验。

Fig4：顶点为调色板颜色的RGB空间凸多面体。

Delaunay细分（左）更喜欢添加短边。

相反，我们的星状镶嵌（右）在镶嵌时始终包含长的黑白边缘。

这将导致重心坐标符合我们的感性预期：修改黄色或蓝色不会影响沿灰线定位的像素。有关图像空间的比较，请参见图5。

Tessellation

乍一看，任何3D RGB空间的细分都具有大约ℓ0的稀疏度（4个非零）。实际上，黑白之间的“灰线”至关重要。灰线附近的任何像素都可以通过多种方式（例如，任意细分）表示为顶点的加权组合。在感知上重要的是，灰色线在大约黑白的范围内为2稀疏，而附近的颜色在2范围内为稀疏。如果不是，则灰色像素将表示为互补色的混合；否则，将显示为灰色。调色板中任何不保留互补关系的更改都会使灰色像素变成彩色（图5和8）。这种色彩在感觉上是突出的并且是不希望的。如图4所示，在对体积进行镶嵌时，我们的星状镶嵌始终包含长的黑白边缘。相比之下，Delaunay细分更喜欢短边。

为使灰度线稀疏成2种方式，细分必须确保在调色板中最暗和最亮的颜色之间创建边缘。由于图像中的亮度通常比色度×色相变化大，因此这种边缘通常是穿过多面体内部的最长可能边缘之一。结果，Delaunay细分经常排除通过灰线的最理想边缘。我们建议使用start essellation。如果选择黑色或白色调色板颜色作为星状顶点，它将与另一个形成边缘。我们选择调色板中最暗的颜色作为星形顶点。此策略简单且可预测，并且自然扩展到预乘的alpha RGBA图像。

我们还尝试了多种策略来选择细分，以使最终的层分解尽可能少：RGB点云上的RANSAC线拟合和PCA并找到最长的边缘。我们使用几种稀疏度指标（[Aksoy等，2017； Levin等，2008； Tan等，2016]以及透明度高于阈值的像素比例）评估了分解。最终，着色在感知上比稀疏性变化更显着，并且我们提出的细分算法更简单，更有效且更可预测。

图5。Delaunay细分通常不会对边缘沿灰色线的颜色空间进行细分。结果，灰色像素被分解为互补色的混合。修改其中任何一个都会使灰色像素变成彩色。我们的星状镶嵌始终沿灰色线包含一条边，这意味着灰色像素是黑色和白色的混合，并且在修改其他颜色时保持不变。原始图像及其星状镶嵌层可以在图6和12中找到。

4 EVALUATION

Quality

评估层质量的主要方法是将其应用于某些目的（例如重新着色），然后识别伪影，例如噪音，不连续性或出乎意料的受影响区域。图7和图13将我们的图层创建的重着色与Aksoy等人[2017]，Tan等人[2016]和Chang等人[2015]的着色进行了比较。我们的方法会产生重新着色而没有间断（7（b）中的天空，第二行），不希望的变化（7（c）中的椅子顶部，第三行）或噪音。

我们对权重的稀疏性没有明确的保证。 WRGB尽可能稀疏以重建3D颜色（每行4个非零）。在（通常）2000-5000个RGBXY凸包体顶点中，WRGBXY每行有6个非零，这对于恢复RGBXY空间中的一个点来说也尽可能地稀疏。这两个矩阵的乘积的稀疏性取决于6个RGBXY凸包体顶点属于哪个3D四面体。尽管如此，可以看出我们的结果稀疏度几乎与Tan等人的结果一样好。 [2016]。

图6和图12显示了我们的添加剂混合层以及Aksoy等人[2017]的添加剂混合层，以进行直接检查。与我们的方法相比，Aksoy等人[2017]的方法在分离主要出现在混合中的颜色时遇到了麻烦。结果，Aksoy等人[2017]的方法有时会产生过多的图层，这使得重新着色变得乏味，因为必须编辑多个图层。我们的分解算法能够几乎与原始图像清晰地再现输入图像。对于图9中的100张图像，我们的RGBXY方法的RGB空间RMSE通常为2-3。 Aksoy等人（2017）的算法可将图像的色板分配为颜色分布而不是固定颜色，因此可以将图像重建为零误差。

我们在图8中评估RGB细分。在本实验中，我们通过置换调色板中的颜色来生成随机重新着色。 RGB空间星形三角剖分方法类似于Tan等人[2016]的ASAP方法，黑色被选为第一层。在顶部行的仅RGB分解和底部行的RGBXY分解之间，明显缺乏空间平滑度。使用Delaunay广义重心坐标（左列）进行的分解会导致灰线附近的颜色产生不希望的着色。其他示例可以在补充材料中找到。在本文的其余部分中，我们所有的结果都取决于我们提出的层分解。

Speed

在图9中，我们比较了添加剂混合层分解技术的运行时间。我们对6兆像素以下的100张图像运行了建议的RGBXY方法，平均调色板大小为6.95，中值调色板大小为7。我们的方法的计算时间包括调色板选择（简化RGB凸包）。由于它的可扩展性，我们还在6到12兆像素之间的另外70个大图像以及包含100兆像素的另外6个超大图像上运行了我们建议的RGBXY方法（图中未显示）。 100兆像素的图像平均需要12.6分钟来计算。峰值内存使用量为15 GB。为了进一步改进，我们的方法可以通过将图像划分为图块进行并行化处理，因为一组凸包的凸包与基础数据的凸包相同。图3（48行代码）。 “图层更新”性能几乎是瞬时的，对于10张MP图像，要花费几毫秒的时间才能花费几十毫秒来重新计算给定新调色板的图层分解。

我们的运行时间是在配备2.9 GHz Intel Core i5-5257U CPU和16 GB RAM的2015年13英寸MacBook Pro上生成的。我们的层分解方法是使用NumPy / SciPy及其用于QHull凸包和Delaunay细分库的包装程序在非并行Python中编写的[Barber等1996]。我们的层更新是用OpenCL编写的。

Aksoy等人[2017]的表现是我们所知最快的先前工作。 Aksoy等人的算法的性能数据如他们的论文中所述，似乎在像素尺寸上呈线性比例。他们的算法是在并行C ++中实现的。 Aksoy等人[2017] 报告称，他们的方法分解4百万小时和25 GB的内存以分解100兆像素的图像。Zhang等人[2017]的唯一性能数据点也在他们的论文中报道。

我们还将我们的方法与Tan等人[2016]优化的变体进行了比较。我们将其重构项修改为与我们的加性混合层分解方案相匹配的更简单的二次项。通过这种修改，所有能量项都变成平方。但是，由于稀疏项不是正定的，所以它不是直接的二次规划问题；我们使用L-BFGS-B将其最小化，并增加了求解器的默认终止阈值，因为RGB颜色的精度较低（渐变和功能公差为10'4）。这种方法也是使用NumPy / SciPy用Python编写的。修改后的Tan等人的性能 [2016]有点不可预测，可能是由于调色板尺寸不同。

图6.我们提出的RGBXY图像分解与Aksoy等人[2017]的比较。 Aksoy等人[2017] 会产生过多的图层（上面有两个红色的图层），并且不会提取主要出现在混合物中的淡蓝色调。我们的RGBXY技术可以识别混合色，从而能够将女孩脸部前半透明的紫色雾分离开。从这些图层创建的重新着色的图像请参见图13。此外，我们的GUI允许编辑调色板以实时修改图层。如图11所示，这使用户可以进一步改善分解和补充材料。

图7.为了评估我们的RGBXY分解算法，我们在重新着色应用程序中将我们的图层与以前的方法进行了比较，并扩展了Aksoy等人[2017]的数据。从左至右：（a）Aksoy等人[2017]，（b）Tan等人[2016]，（c）Chang等人[2015] （d）我们的方法。我们的重新着色质量与现有技术类似，但是我们的方法要快几个数量级，并且可以在编辑调色板时进行交互式图层分解。分解后的图层本身如图12所示。©Karl Northfell（上排）；比奇科夫斯基等。 [2011]（中三排）； Adelle Chudleigh（下排）。

图8.比较RGB空间中调色板的细分策略。

“ Delaunay细分”列计算调色板的Delaunay重心坐标。这种细分通常避免产生在视觉上很重要的灰色线条，从而导致伪影着色。通过从最接近黑色的顶点发出星形镶嵌来避免这些情况。另请参见图5。仅在RGB空间中计算权重会导致空间平滑伪像。我们的两步RGBXY分解可提供颜色和空间平滑度。为了检验层分解的质量，我们随机地对调色板进行置换，以揭示计算权重中的问题。

图9.四种添加剂混合图像分解算法之间的运行时间比较。我们评估了RGBXY算法，处理了170张最大12兆像素的图像和另外6张100兆像素的图像（未显示；平均运行时间为12.6分钟）。我们算法的性能提高了几个数量级，并且随着图像尺寸的扩展非常好。 RGBXY凸包顶点的数量比图像尺寸对性能的影响更大。用更新的调色板重新计算层分解几乎是瞬时的（几毫秒到几十毫秒）。

Interactive Layer Decompositions

为了利用我们极快的图层分解优势，我们实现了HTML / JavaScript GUI来查看图层分解并与之交互（图10）。当用户加载图像并预先计算RGBXY权重时，编辑会话开始。然后，用户可以从通用四面体或自动选择的调色板（可选地具有规定的层数）开始。用户可以在3D RGB空间（左下）中更改调色板颜色，也可以通过单击图层（如图所示的绿松石图层）来激活传统的颜色选择器。当用户拖动调色板颜色时，图层分解实时更新。（尽管我们的层更新算法以极高的帧速率进行计算，但GUI中的大部分时间都花在了通过WebSocket将数据传输到浏览器上。）用户还可以添加然后操纵其他颜色。有关使用我们的GUI创建的结果，请参见图11；有关此示例和其他示例的屏幕记录，请参见补充材料。

5 CONCLUSION

我们提出了一种非常有效的方法，用于通过RGBXY空间几何形状将图像分解为空间相干的附加混合层。我们的方法可以产生高质量的结果，并且实施起来非常简单。我们通过使用经过深入研究的几何算法来计算凸包和点集的Delaunay细分，从而实现了这种实现方式的简化和执行速度。

5.1 Limitations

在进行图像分解的性能测试期间，我们发现了一些孤立的情况，其中5D凸包的计算花费的时间比平时更长。我们认为这是由于非常特定的颜色分布（在170张测试的图像中有3张）引起的，但是我们想更深入地研究这种现象。

我们的星型细分假设调色板颜色是凸多面体的顶点。特别是，当某些调色板颜色位于凸包的内部时，不能使用它。发生这种情况时，可能会落在Delaunay细分上，而该细分可能不会沿灰色线产生边缘。灰色线可以用约束四面体化算法来维护，尽管它们很复杂并且可能会添加新的，不希望的顶点[Yang等，2005]。

5.2 Future work

Image decomposition

受Lin等人启发。 [2017b]，我们希望探索超像素的使用，看看我们是否能够实现更高的速度提升。我们还希望探索并行和近似凸包算法。产生仅包含一定百分比的点的较小的近似凸包的算法可以为平衡重构误差和稀疏度提供直观的参数。

论文《Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry》笔记相关推荐

论文笔记之Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 论文链接:http://dwz.cn/6qPeIb 本文的主要思想是为了剖析出一个跟踪算法中到 ...
《Understanding and Diagnosing Visual Tracking Systems》论文笔记
本人为目标追踪初入小白,在博客下第一次记录一下自己的论文笔记,如有差错,恳请批评指正!! 论文相关信息:<Understanding and Diagnosing Visual Tracking ...
论文笔记Understanding and Diagnosing Visual Tracking Systems
最近在看目标跟踪方面的论文,看到王乃岩博士发的一篇分析跟踪系统的文章,将目标跟踪系统拆分为多个独立的部分进行分析,比较各个部分的效果.本文主要对该论文的重点的一个大致翻译,刚入门,水平有限,如有理解错 ...
目标跟踪笔记Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 原文链接:https://blog.csdn.net/u010515206/article/d ...
追踪系统分模块解析（Understanding and Diagnosing Visual Tracking Systems）
追踪系统分模块解析(Understanding and Diagnosing Visual Tracking Systems) PROJECT http://winsty.net/tracker_di ...
ICCV 2015 《Understanding and Diagnosing Visual Tracking Systems》论文笔记
目录写在前面文章大意一些benchmark 实验实验设置基本模型数据集实验1 Featrue Extractor 实验2 Observation Model 实验3 Motion Mod ...
Understanding and Diagnosing Visual Tracking Systems
文章把一个跟踪器分为几个模块,分别为motion model, feature extractor, observation model, model updater, and ensemble po ...
CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SANet.作者在论文中提到,CNN模型主要适用于类间判别,对于相似物体的判别能力不强.作者提出使用RNN对目标物体的self-structure进行建模,用于提 ...
ICCV 2017 UCT:《UCT: Learning Unified Convolutional Networks forReal-time Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做UCT.就像论文题目一样,作者提出了一个基于卷积神经网络的end2end的tracking模型.模型的整体结构如下图所示(图中实线代表online trackin ...
CVPR 2018 STRCF:《Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文提出的模型叫做STRCF. 在DCF中存在边界效应,SRDCF在DCF的基础上中通过加入spatial惩罚项解决了边界效应,但是SRDCF在tracking的过程中要使用 ...

论文《Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry》笔记

论文《Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry》笔记相关推荐

最新文章

热门文章