双目相机标定理论总结

一、双目相机标定简介

双目相机标定包含两个部分内容

1）两台相机各自内参和畸变系数的标定（单目标定）

2）两台相机之间相互位置的标定（双目标定）

提问：为什么要进行双目标定？

因为在许多三维重建算法中，我们都要知道两台相机之间的相对位置关系，这样才能进行距离计算。

双目标定前后，双目模型对比如下图所示：

图1 标定模型

一些名词概念：

基线：两个光心的连线称为基线；

极平面：物点（空间点M）与两个光心的连线构成的平面称为极平面；

极线：极平面与成像平面的交线

极点：极线的一端，基线与像平面的交点

像点：极线的一端，光心与物点连线与像平面的交点；

可以看出：

校正前，相机的光心不是相互平行的

校正后，极点在无穷远处，两个相机的光轴平行，像点在左右图像上的高度一致

标定+校正后图片：

图2 立体校正后左右相机图像发生一定扭曲

这样做的好处是：比如后续的立体匹配时，只需在同一行上搜索左右像平面的匹配点即可，能使效率大大提高。所以，我们要知道右相机相对于左相机的位姿关系，那我们才可以做校正。

二、单目相机标定理论

1、相机成像原理

相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。

这四个坐标系之间的转化关系为：

其中， (U,V,W)为在世界坐标系下一点的物理坐标， (u,v)为该点对应的在像素坐标系下的像素坐标， Z为尺度因子。

我们将矩阵：

称为相机的内参矩阵，内参矩阵取决于相机的内部参数。其中， f为像距， dX, dY分别表示X,Y方向上的一个像素在相机感光板上的物理长度（即一个像素在感光板上是多少毫米）， u0,v0 分别表示相机感光板中心在像素坐标系下的坐标， θ 表示感光板的横边和纵边之间的角度（ 90°表示无误差）。

我们将矩阵：称为相机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位置， R表示旋转矩阵， T表示平移矢量。

即单点无畸变的相机成像模型如下：

相机标定的目的其实很简单，我们要想对一个成像系统建模，进而进行相应的计算，所必须的参数就是相机的内参矩阵：和相机的外参矩阵，因此，相机标定的第一个目的就是获得相机的内参矩阵和外参矩阵。

2、畸变与畸变矫正

另外，相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变。畸变模型包括径向畸变和切向畸变。

畸变公式（3阶）如下：

其中，分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标， r为图像像素点到图像中心点的距离，即

相机标定的第二个目的就是获得相机的畸变参数，如上式中的 k1, k2, p1, p2等，进而对拍摄的图片进行去畸变处理。

3、张正友标定法

张正友标定法利用如下图所示的棋盘格标定板，在得到一张标定板的图像之后，可以利用相应的图像检测算法得到每一个角点的像素坐标 (u,v)。

张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标 W=0，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，我们可以计算得到每一个角点在世界坐标系下的物理坐标 (U,V,W=0)。

我们将利用这些信息：每一个角点的像素坐标 (u,v)、每一个角点在世界坐标系下的物理坐标 (U,V,W=0)，来进行相机的标定，获得相机的内外参矩阵、畸变参数。

3.1标定相机的内参矩阵和外参矩阵

张正友标定法标定相机的内外参数的思路如下：

1）求解单应矩阵；

2）求解内参矩阵；

3）求解外参矩阵；

4）极大似然估计优化；

3.1.1 求解单应矩阵

棋盘平面和成像平面间的单应

将一个平面映射到另一个平面，将棋盘格所在的平面映射到相机的成像平面，则有

p = HP ①