这是把照片变素描的第二种算法。感谢 @fandongxu 的提议。

算法出自于这篇论文：Combining Sketch and Tone for Pencil Drawing Production

大致分为两部分：线描 + 色调（阴影）

本文将介绍线描部分的算法，色调部分会在下一篇文章中介绍。

图片转线描

线描，也就是绘制轮廓，本质就是边缘检测。不过本文所述的算法并没有使用常见的边缘检测方法如sobel算子等，而是通过前向差分（forward difference）计算图像梯度（image gradient）来寻找边缘。

1. 前向差分和图像梯度

简单地说，给定一个数列，那么它的前向差分的结果就是数列中每个数的后一个数与当前数字的差。

由于图像（这里用符号

表示）是一个矩阵（二维数组，这里我们只考虑单通道灰度图像），因此图像

的前向差分要分为x轴和y轴方向两种，也可以称之为沿x轴和沿y轴的图像梯度，分别用符号

和

表示。

是和原图同样大小的矩阵，每一列都是原图中下一列与当前列的差值，最后一列保持不变。

也是和原图等大小的矩阵，每一行都是原图中下一行与当前行的差值，最后一行保持不变。

因此，

中，所有垂直边缘会凸现出来，而

中，所有水平边缘会凸现出来。我们只需要将这两个梯度矩阵合并就可以得到整体的轮廓。合并公式如下：

2. 图像梯度 vs 边缘检测算子

相比于卷积式边缘检测（即使用算子对图像进行卷积，配合恰当的阈值来判断哪些点是边缘），图像梯度计算出的边缘相对更“嘈杂”，更符合我们绘画时的真实情况。

注：此处基于算子的边缘检测，我们只讨论使用Matlab自带的edge函数的情况，是否有其他方法通过算子来实现图3的效果，由于没有做过相关调研，所以不在我们的讨论范围内。

3. 降噪

在论文中作者提到，上文所说的图像梯度G的质量很容易受到噪声影响，而且当轮廓复杂时，这样提取的轮廓会过于破碎、短线条太多。因此他们采用8方向卷积的方式对G进行进一步的滤波降噪。

所谓8方向卷积，就是使用八个不同方向的线段作为卷积核，分别对图像梯度G进行卷积，然后将卷积结果合并，就得到最终的轮廓图像。

3.1. 8方向卷积核

如图所示，8个卷积核为大小相同的正方形，其边长可以随意设置。论文中将边长设置为G矩阵长或宽的1/30。过卷积核中心做一水平直线（直线上所有像素值为1，直线外所有像素值为0），将该直线以卷积核中心为轴旋转，取每旋转22.5°后的图片为一个卷积核。这样就得到8个不同方向的卷积核，分别用于提取这8个方向的轮廓。

3.2. 原图卷积

在使用卷积核之前，先将其归一化，也就是使得卷积核中所有像素值相加为1。然后用这8个归一化卷积核与图像梯度G进行卷积，并保证卷积后的图像大小与G相同，得到的8个图像就是这8个方向的轮廓特征。

3.3. 卷积结果合并

论文中没有直接将8个卷积结果叠加，其合并过程分两步：

（1）处理卷积结果

我们在卷积时保证了图像大小不变，因此卷积结果与G中的像素可以一一对应。对于每个像素点位(i, j)，看8个卷积结果中该点处的像素值，取最大的值所在的卷积结果，令该卷积结果在 (i, j)处的值等于G(i, j)，令另外7个卷积结果在(i, j)处的值为0。

也就是只保留每个点附近最强烈最明显的方向的轮廓特征，以此来达到降噪的目的。

（2）合并卷积结果

将上述8个处理后的卷积结果分别与他们对应方向的归一化卷积核再次进行卷积。最后将这次得到的8个新的卷积结果叠加为一张图片。

再次卷积的目的是进一步提纯轮廓特征，使得降噪更加彻底。从而最大限度的避免细碎边缘的产生。

4. 反色输出

至此，核心运算完成。但是此时图片底色是黑色，因为上述过程导致边缘以外的像素值为0，也就呈现黑色。所以最后要进行反色，使之变为白色背景黑色线条。反色操作非常简单，在uint8格式下将每个像素值替换为255和它的差值即可，这样就实现了黑白翻转。

最后，将所有像素值映射到[0, 1]区间，就得到了最终的线描效果图。使用原论文中的图片进行实验，效果图及与原论文结果对比如下：

5. 结论及分析

（1）本文实验效果相对弱于原论文中的效果，可能是因为原论文使用了一些未提及的图像增强方法来进行预处理，比如锐化。事实上，本文在实验时也进行了一定程度的锐化预处理，否则得到的边缘很不明显。

（2）本文实验显示，该算法得出的线描效果的确比一般的边缘检测算法更接近于手绘效果，比如笔画之间有自然的重叠、交错和断开。

我会在下一篇文章里讲解该论文的第二大部分 -- 色调 / 阴影的绘制

顺便，如果有其他有趣的论文或者想法，欢迎提议~

6. 引用

[1] Lu, Cewu, Li Xu and Jiaya Jia. “Combining sketch and tone for pencil drawing production.” Expressive (2012).