[计算机视觉] （六）三维空间重建

空间点重建

最小二乘求点坐标

一种理想的空间点重建模型

空间直线重建

空间曲线重建

空间点重建

假如我们能得到物体表面上所有点的三维坐标，则三维物体的形状与位置就是唯一确定的。在有些简单的场合，例如三维物体是一个多面体，我们只需要知道它的各个顶点的三维坐标与相邻关系，则该多面体的形状与位置也是唯一确定的。因此，用立体视觉的方法获取三维点的坐标（我们称之为基于点的三维重建）是最基本的，也是最简单的。我们假定，空间任意点x在两个摄像机O1与O2上的图像点x1与x2已经从两个图像中分别检测出来，即已知x1与x2为空间同一点x的对应点。

图1 空间点重建

我们还假定，O1与O2摄像机已标定，它们的投影矩阵分别为M1与M2。于是有两个相机的映射公式：

$\left[ \begin{array}{cc|c} u_1 \\ v_1 \\ 1 \end{array} \right] $$ = 1/z_c_1 $$ \left[ \begin{array}{cc|c} m^1_1_1 \ m^1_1_2 \ m^1_1_3 \ m^1_1_4 \\ m^1_2_1 \ m^1_2_2 \ m^1_2_3 \ m^1_2_4 \\ m^1_3_1 \ m^1_3_2 \ m^1_3_3 \ m^1_3_4 \end{array} \right] $$ $$ \left[ \begin{array}{cc|c} x_w \\ y_w \\ z_w \\ 1 \end{array} \right]$ （式1)

$\left[ \begin{array}{cc|c} u_2 \\ v_2 \\ 1 \end{array} \right] $$ = 1/z_c_2 $$ \left[ \begin{array}{cc|c} m^2_1_1 \ m^2_1_2 \ m^2_1_3 \ m^2_1_4 \\ m^2_2_1 \ m^2_2_2 \ m^2_2_3 \ m^2_2_4 \\ m^2_3_1 \ m^2_3_2 \ m^2_3_3 \ m^2_3_4 \end{array} \right] $$ $$ \left[ \begin{array}{cc|c} x_w \\ y_w \\ z_w \\ 1 \end{array} \right]$ （式2）

其中， $$$ \left[ \begin{array}{cc|c} u_1 \ v_1 \ 1 \end{array} \right] $$^T$ 与 $$$ \left[ \begin{array}{cc|c} u_2 \ v_2 \ 1 \end{array} \right] $$^T$ 分别为x1与x2点在各自图像中的齐次坐标。 $$$ \left[ \begin{array}{cc|c} x_w \ y_w \ z_w \ 1 \end{array} \right] $$^T$ 为x点在世界坐标系下的齐次坐标。

在上式中消去 $z_c_1$ 或 $z_c_2$ ，得到关于 $x_w$ 、 $y_w$ 和 $z_w$ 的四个线性方程：

$\begin{cases} (u_1m^1_3_1-m^1_1_1)x_w + (u_1m^1_3_2-m^1_1_2)y_w + (u_1m^1_3_3-m^1_1_3)z_w = m^1_1_4 - u_1m^1_3_4\\ (v_1m^1_3_1-m^1_2_1)x_w + (v_1m^1_3_2-m^1_2_2)y_w + (v_1m^1_3_3-m^1_2_3)z_w = m^1_2_4 - v_1m^1_3_4 \end{cases}$ （式3）

$\begin{cases} (u_2m^1_3_1-m^1_1_1)x_w + (u_2m^1_3_2-m^1_1_2)y_w + (u_2m^1_3_3-m^1_1_3)z_w = m^2_1_4 - u_2m^2_3_4\\ (v_2m^1_3_1-m^1_2_1)x_w + (v_2m^1_3_2-m^1_2_2)y_w + (v_2m^1_3_3-m^1_2_3)z_w = m^2_2_4 - v_2m^2_3_4 \end{cases}$ （式4）

由解析几何知，三维空间的平面方程为线性方程，两个平面方程的联立为空间直线的方程（该直线为两个平面的交线），式3的几何意义是O1x1直线，式4的几何意义是O2x2直线。

由于空间点x是O1x1与O2x2的交点，它必然同时满足式6与式7。因此，我们可以将式4与式5联立求出x点的坐标，事实上，式6与式7为包含 $(x_w, y_w, z_w)$ 三个变量的四个线性方程，我们只需要其中三个就可以解出 $(x_w, y_w, z_w)$ 。也就是说，式6与式7中，只有三个独立方程，这是因为我们已经假设x1与x2点是空间同一点x的对应点，因此已经假设了直线O1x1与直线O2x2一定相交，或者说，四个方程必定有解，而且解是唯一的。

在实际应用中，由于数据总是有噪声的，我们可用最小二乘法求出 $(x_w, y_w, z_w)$ 。

最小二乘求点坐标

上面所述的式(6)和式(7)确定的两条线，由于实际应用中的噪声作用，可能出现不相交的情况，这时可以通过最小二乘法求取近似的空间点坐标：找和两条线的垂直距离之和最小的空间。

一种理想的空间点重建模型

假设图2一种简单的双目相机模型，满足z轴平行，x轴重合的关系，即可以简单的通过平移实现两个相机坐标的重合，换句话说，两个相机坐标只相差x轴上的一个平移向量，假设该向量的长度为b，即相机的基线为b。

图2 一种理想化的双目相机模型

如图2所示，极线E1和E2是平行于O1O2（O1O2的连线即x轴），且E1和E2完全重合，由针孔模型的归一化成像平面模型：（见：https://blog.csdn.net/simonyucsdy/article/details/100603687）

$\left[ \begin{array}{cc|c} u\\ v \end{array} \right] $$ = $$ \left[ \begin{array}{cc|c} f*\alpha*x + u_0\\ f*\beta*y + v_0 \end{array} \right] $$ = $$ \left[ \begin{array}{cc|c} f_\alpha x+u_0\\ f_\beta y+v_0 \end{array} \right]$

可得：

$\begin{cases} u_1 - u_0 = f_\alpha * x_1/z_1 \\ v_1 - v_0 = f_\beta * y_1/z_1 \end{cases}$ 式(5)

$\begin{cases} u_2 - u_0 = f_\alpha * (x_1 - b)/z_1 \\ v_2 - v_0 = f_\beta * y_1/z_1 \end{cases}$ 式(6)

式(5)和式(6)的结合，得到的就是式(3)和式(4)的结合的简化（相机模型被简化了）。

对式(5)和式(6)进行求解：

$x_1 = \frac{b(u_1 - u_0)}{u_1 - u_2}$ 式(7)

$y_1 = \frac{bf_\alpha(v_1 - v_0)}{f_\beta(u_1 - u_2)}$ 式(8)

$z_1 = \frac{bf_\alpha}{u_1 - u_2}$ 式(9)

上面的结果表明，可以由匹配的两点求出空间点坐标，式中的 $u_1 - u_2$ 称为视差，是一对对应点在x轴上的偏差，式(9)表明，当空间点距离越远(z1越大)，视差越小，实际上，当P点趋于无穷远时，O1P和O2P趋于平行，视差也就趋近于0了。

当然，这种理想化配置的相机模型在实际应用中是不可能的，我们需要求解任意的模型就不可能使用这么简单的计算，它只是作为一种理想化模型来对空间点重建加深理解而已。

空间直线重建

如图2所示，若空间有一条直线S，由C1与C2两个摄像机观察到S的两个图像s1与s2。

图2 空间直线的三维重建模型

则空间直线S为由O1与s1组成的平面S1与由O2与s2组成的平面S2的交线，设已知双摄像机的投影矩阵M1与M2，s1与s2对应于空间同一条直线S（称s1与s2为对应直线），已知s1与s2在图像坐标系下的方程为

$\vec{s_1^T}\vec{u_1} = 0$ （式10）

$\vec{s_2^T}\vec{u_2} = 0$ （式11）

其中，u1，u2分别为直线s1与s2上点的齐次坐标， $\vec{s_1}$ = $(s_1_1, s_1_2, s_1_3)^T$ 与 $\vec{s_2}$ = $(s_2_1, s_2_2, s_2_3)^T$ 称为直线s1与s2的直线坐标。将表示C1摄像机投影关系的式(1)两边左乘 $\vec{s_1^T}$ 得到:

$\vec{s_1^T}z_c_1\vec{u_1} = \vec{s_1^T}\vec{M_1}\vec{x}$ （式12）

式12对空间任何点都是成立的，若空间点x（它的坐标在世界坐标系下是 $\vec{x}$ ）位于S1平面上，则它在图像上的投影点就必然在直线s1上（见图2），因此式12的左边就等于零。于是由式10可以得到：

$\vec{s_1^T}\vec{M_1}\vec{x} = 0$ （式13）

上式为关于x的线性方程。由于上式的成立是假定x点位于S1平面上，因此，上式就是S1平面的方程。同理，我们可以得到S2平面的方程为
$\vec{s_2^T}\vec{M_2}\vec{x} = 0$ （式14）

由于S是S1平面与S2平面的交线，所以，式13与式14联立就是S在世界坐标系下的表达。可见，在已知的直线s1与s2的方程与投影矩阵M1与M2后，不需解方程，就可以得到S在世界坐标系下的表达，我们也可看到，在用立体视觉重建三维点或三维直线时，无需求取双目相机的内外参数。

空间曲线重建

如图3所示，若空间有一条曲线Q，由C1与C2两个摄像机观察到Q的两个图像Q1与Q2。

图3 空间曲线的三维重建模型

在图像 $I_1$ 和 $I_2$ ，二次曲线Q1与Q2可表达为方程：

$\vec{u_1^T}\vec{Q_1}\vec{u_1} = 0$ （式15）

$\vec{u_2^T}\vec{Q_2}\vec{u_2} = 0$ （式16）

其中，u1、u2分别为曲线Q1与Q2上任意点的齐次坐标， $\vec{u_1}$ = $(u_1, v_1, 1)^T$ 与 $\vec{u_2}$ = $(u_2, v_2, 1)^T$ 。 $\vec{Q_1}$ 和 $\vec{Q_2}$ 对3*3对称矩阵，目标是由 $\vec{Q_1}$ 和 $\vec{Q_2}$ 得到Q曲线的表达式。

由空间点投影关系（式(1)和式(2)表达式）结合式(15)和式(16)得到：

$\vec{x^T}\vec{M_1^T}\vec{Q_1}\vec{M_1}\vec{x} = 0$ (式17)

$\vec{x^T}\vec{M_2^T}\vec{Q_2}\vec{M_2}\vec{x} = 0$ (式18)

若空间点x的投影在曲线 $\vec{Q_1}$ 和 $\vec{Q_2}$ 上，则其坐标符合上述表达式，可想而知，不只是 $\vec{Q_1}$ 和 $\vec{Q_2}$ ，x点只要落在O1Q1和O2Q2锥面上，就可以符合上述表达式，因此式17和式18也就是两个锥面的表达式。

Q曲线就是两个锥面的交线。