数字图像处理 - 仿射变换

几何变换

几何变换 = 坐标的空间变换（最常用的就是 仿射变换） + 插值

仿射变换

设 $(x, y)$ 为原图像中的坐标， $(v,w)$ 为变换后图像中的坐标，图像的仿射变换可以表示为：

$\left\{\begin{matrix} x=a_1v+b_1w+c_1 \\ \\ y=a_2v+b_2w+c_2 \end{matrix}\right.$

对应的矩阵表示为：

$\begin{bmatrix} x & y & 1 \end{bmatrix}=\begin{bmatrix} v & w & 1 \end{bmatrix} \begin{bmatrix} a_1 & a_2 & 0 \\ b_1 & b_2 & 0 \\ c_1 & c_2 & 1 \end{bmatrix}=\begin{bmatrix} v & w & 1 \end{bmatrix} T$

【注】： $\begin{bmatrix} u & w & 1 \end{bmatrix}$ 添加 1 是为了和平移变换中的 $c$ 维度对其， $\begin{bmatrix} x & y & 1 \end{bmatrix}$ 添加 1 只是为了和 $\begin{bmatrix} u & w & 1 \end{bmatrix}$ 对应。

其中 T 可以有如下几种形式（皆为线性变换）：

什么是线性变换？

设算子 $H$ ，对线性空间 $V$ 上的任意元素 $a$ 和 $b$ ，以及数域 $P$ 中任意 $k$ ，都有：

$H(a+b)=H(a)+H(b)$

$H(ka) = kH(a)$

这两个标准可以整合为一个：

$H(ka+wb)=kH(a)+wH(b)$

而对于上述图像的仿射变换来说

对坐标 $(v_1,w_1)$ 和 $(v_2,w_2)$ ，进行线性变换：

$H[k_1(v_1,w_1)+k_2(v_2,w_2)]=k_1H[(v_1,w_1)]+k_2H[(v_2,w_2)]$

令变换后 $H[(v_1,w_1)] = (x_1,y_1)$ ， $H[(v_2,w_2)] = (x_2,y_2)$

则有：

$H[k_1(v_1,w_1)+k_2(v_2,w_2)]=k_1(x_1,y_1)+k_2(x_2,y_2)$

举个例子

证明一下（垂直）偏移变换：

$H[k_1(v_1,w_1)+k_2(v_2,w_2)] \\ =(k_1[v_1,w_1,1]+k_2[v_2,w_2,1] )\begin{bmatrix} 1 & 0 & 0\\ s_v & 1 & 0\\ 0 & 0 & 1 \end{bmatrix}$ 计算的时候将坐标转为了向量表示 ${\color{Blue} (v,w) \rightarrow [v,w,1]}$

$=(k_1[v_1,w_1,1])\begin{bmatrix} 1 & 0 & 0\\ s_v & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} +(k_2[v_2,w_2,1] )\begin{bmatrix} 1 & 0 & 0\\ s_v & 1 & 0\\ 0 & 0 & 1 \end{bmatrix}$ 矩阵乘法： $(A+B)C = AC+BC$

$=k_1([v_1,w_1,1]\begin{bmatrix} 1 & 0 & 0\\ s_v & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} )+k_2([v_2,w_2,1] \begin{bmatrix} 1 & 0 & 0\\ s_v & 1 & 0\\ 0 & 0 & 1 \end{bmatrix})$

$=k_1H([v_1,w_1,1])+k_2H([v_2,w_2,1])$

$=k_1H(v_1,w_1)+k_2H(v_2,w_2)$ 向量转为坐标表示： ${\color{Blue} [v,w,1] \rightarrow (v,w)}$

可以得到：

$H[k_1(v_1,w_1)+k_2(v_2,w_2)]=k_1H(v_1,w_1)+k_2H(v_2,w_2)$

【注】：其实可以看到，计算过程中与变换矩阵 $T$ 的值没有关系，换句话说，只要是矩阵变换，就一定是线性变换

【注】：同时，也证明了神经网络模型为什么需要激活函数，因为权重计算过程本质就是矩阵计算，而单纯的矩阵计算一定是线性变换，而多层的网络模型只是多布线性变换的叠加，最终还是可以表示为一个变换，如下：

$XW_1W_2\cdots W_n=XW$

所以，神经网络模型为了表示更加复杂的变换（拟合更加复杂的函数），必须为其添加非线性变换，也就是激活函数 $g$

$A = g(XW)$

换种表示方法

其实，对于神经网络来说，因为权重参数有很多层，如果采用像图像处理中仿射变换那样给向量添加 1 来进行维度对齐，则对于内存的利用率太低（行和列都多添加了一层 0）

所以，一般的形式都改为了这样： $A = g(XW)+b$

对应到图像处理的仿射变换中就是如下形式：

$\begin{bmatrix} x & y \end{bmatrix}=\begin{bmatrix} v & w \end{bmatrix} \begin{bmatrix} a_1 & a_2 \\ b_1 & b_2 \end{bmatrix}+[c_1, c_2]$

不过一般情况，图像处理中仿射变换的计算次数远没有神经网络这么多次，所以，传统的表示方式会更加方便

前向映射的完整过程

上述所提到的仿射变换的表示方式，属于前向映射，他的完整过程是：

输入图像上的整数点坐标经过仿射变换到输出图像上之后，基本都会变成非整数坐标，因此，像素值会按照一定的权重分配到其周围的四个坐标上，而对于输出图像来说，其整数点坐标的像素值是由很多输入图像中的像素映射并分配过来的，所有被分配的像素值进行叠加，才是输出图像该整数点的像素值

这样有个问题就是，输出图像某一点的像素值不能直接得到，需要遍历输入图像的所有像素值，对其进行坐标变换，分配像素值到整数位置，才能得到输出图像各像素点的像素值。这是向前映射法的缺点

【注】：对于输出图像，还有一种可能是某些输出位置完全没有要赋值的像素。

反向映射

目前最常使用的（如Matlab）则是反向映射，该方法是直接通过输出图像上整数点的坐标 $(x,y)$ 反向计算输入图像上的坐标 $(v,w)$ ，基本上，计算后的 $(v,w)$ 也是非整数坐标，利用其周围整数点的输入图像的像素值进行插值，就得到了点 $(x,y)$ 的坐标值

这样的好处就是可以计算输出图像中任意点的像素值，同时不存在空像素值的情况

【注】：可选用的插值算法则有很多，最邻近插值、双线性插值、三线性插值等