鱼眼相机模型（fisheye camera model）

模型介绍
- 等距投影
- 等立体角投影
- 正交投影
- 体视投影
- 线性投影
Kannala-Brandt 模型
- 去畸变过程
- 投影过程
- 反投影过程
雅可比计算

之前总结了一下针孔相机的模型，然后得到了比较积极的回复（其实是我到处求人关注的，虽然截至到目前才三个人），所以就再接再励，乘胜追击（也没得办法，夸下的海口，跪着也要做完），继续总结其他相机模型。

模型介绍

鱼眼相机相较于针孔相机来说，视野更广，但畸变也更加严重，因此普通的针孔模型已不适用。鱼眼镜头的基本构造如图所示，经过多个镜头的折射，最终到达成像单元上。文章中所有图片均来自于网络，非本人所绘。

一般情况下，可以通过控制光线的路径来设计各种各样的镜头类型，根据投影方式的不同，可以将这些镜头分为等距投影、等立体角投影、正交投影、体视投影以及线性投影。

等距投影

r=fθr=f \theta r=fθ

等立体角投影

r=2fsin(θ2)r=2fsin({{\theta} \over {2}})r=2fsin(2θ)

正交投影

r=fsin(θ)r=fsin(\theta )r=fsin(θ)

体视投影

r=2ftan(θ2)r=2ftan({{\theta} \over {2}})r=2ftan(2θ)

线性投影

r=ftan(θ)r=ftan(\theta)r=ftan(θ)

Kannala-Brandt 模型

同针孔模型一样，鱼眼模型也有畸变，那么怎么来用数学鱼眼描述这种畸变呢？观察各种投影方式，发现他们都是一个关于入射角 θ\thetaθ 的奇函数，因此鱼眼镜头的畸变也是对 θ\thetaθ 的畸变，KB模型用只包含奇次项的多项式来描述畸变过程，其具体形式如下所示
θd=θ+k1θ3+k2θ5+k3θ7+k4θ9\theta_d=\theta+k_1\theta^3+k_2\theta^5+k_3\theta^7+k_4\theta^9θd=θ+k1θ3+k2θ5+k3θ7+k4θ9
opencv中使用的鱼眼相机畸变模型就是这个模型，该模型适用于大多数鱼眼相机。另外，也可以用这种模型来对普通的针孔相机模型进行标定，仔细观察，上述的线性投影实际就是普通的针孔投影模型。最后鱼眼相机的投影模型可以表示为
r=fθdr = f \theta_dr=fθd
其中rrr表示图像中像素点到主点的距离。

去畸变过程

对于鱼眼相机的去畸变过程可以采用解析的方式，因为从上述畸变公式中可以看到，畸变模型是一个多项式，理论上是存在解析解的。但本人使用的方法和针孔模型中类似，通过优化的方法进行去即便，代码如下

      template<typename DERIVED_P>void undistort(const Eigen::MatrixBase <DERIVED_P> &p_d,const Eigen::MatrixBase <DERIVED_P> &p_ud) const{EIGEN_STATIC_ASSERT_VECTOR_SPECIFIC_SIZE_OR_DYNAMIC(Eigen::MatrixBase<DERIVED_P>, 2)Eigen::MatrixBase<DERIVED_P> &y_ud = const_cast<Eigen::MatrixBase<DERIVED_P> &>(p_ud);Eigen::MatrixBase<DERIVED_P> &y_d = const_cast<Eigen::MatrixBase<DERIVED_P> &>(p_d);y_ud.derived().resize(2);y_d.derived().resize(2);struct MLFunctor{MLFunctor( const Eigen::Vector2d &imagePoint, double k1, double k2, double k3, double k4 ): imagePoint_(imagePoint), _k1(k1), _k2(k2), _k3(k3), _k4(k4){}int operator( )( const Eigen::VectorXd &x, Eigen::VectorXd &fvec ) const{double theta = x[0];double phi = x[1];double theta2 = theta * theta;double theta4 = theta2 * theta2;double theta6 = theta4 * theta2;double theta8 = theta4 * theta4;double thetad = theta * ( 1 + _k1 * theta2 + _k2 * theta4 + _k3 * theta6 + _k4 * theta8);fvec[0] = thetad;fvec[1] = phi;fvec = fvec - imagePoint_;return 0;}int df( const Eigen::VectorXd &x, Eigen::MatrixXd &fjac ) const{double theta = x[0];double theta2 = theta * theta;double theta4 = theta2 * theta2;double theta6 = theta4 * theta2;double theta8 = theta4 * theta4;fjac(0, 0) = 9 * _k4 * theta8 + 7 * _k3 * theta6 + 5 * _k2 * theta4 + 3 * _k1 * theta2 + 1;fjac(0, 1) = 0;fjac(1, 0) = 0;fjac(1, 1) = 1;return 0;}int values() const { return 2; }int inputs() const { return 2; }Eigen::Vector2d imagePoint_;double _k1;double _k2;double _k3;double _k4;};Eigen::Vector2d target = y_d;MLFunctor func( target, m_k1, m_k2, m_k3, m_k4 );Eigen::LevenbergMarquardt< MLFunctor > lm(func);double theta = y_d[0];double phi = y_d[1];Eigen::VectorXd res = Eigen::Vector2d(theta, phi);lm.minimize(res);y_ud = res;}

投影过程

给定相机坐标系下一点Pc=(x,y,z)P_c=(x, y, z)Pc=(x,y,z)
归一化到球平面上Ps=Pc∣∣Pc∣∣=(xs,ys,zs)P_s = {{P_c} \over {||P_c||}}=(x_s, y_s,z_s)Ps=∣∣Pc∣∣Pc=(xs,ys,zs)
求经纬度 θ=acos(zs)=atan2(x2+y2),z)\theta=acos(z_s)=atan2(\sqrt{x^2+y^2)}, z)θ=acos(zs)=atan2(x2+y2),z), ϕ=atan2(ys,xs)\phi=atan2(y_s, x_s)ϕ=atan2(ys,xs)
利用畸变模型对 θ\thetaθ进行加畸变处理，得到θd\theta_dθd。
最后得到该点在图像中的像素坐标u=fxθdxcr+cxu={{f_x\theta_d x_c}\over r } +cxu=rfxθdxc+cx, v=fyθdycr+cyv={{f_y\theta_d y_c}\over r } +cyv=rfyθdyc+cy, r=xc2+yc2r=\sqrt{x_c^2 + y_c^2}r=xc2+yc2

反投影过程

给定图像上一点p=(u,v)p=(u, v)p=(u,v).
可以得到归一化坐标pd=(x,y)=(u−cxfx，v−cyfy)p_{d} = (x, y) = ({{u - cx} \over f_x}， {{v - cy} \over f_y})pd=(x,y)=(fxu−cx，fyv−cy)
可以得到带畸变的入射角 θd=x2+y2,ϕ=atan2(y,x)\theta_d=\sqrt{x^2+y^2}, \phi=atan2(y, x)θd=x2+y2,ϕ=atan2(y,x).
去畸变后得到θ\thetaθ.
最后得到单位球面坐标x=sin(θ)cos(ϕ),y=sin(θ)sin(ϕ),z=cos(θ)x = sin(\theta)cos(\phi), y=sin(\theta)sin(\phi), z = cos(\theta)x=sin(θ)cos(ϕ),y=sin(θ)sin(ϕ),z=cos(θ)

雅可比计算

多数情况下，都用BA算法来计算相机的内外参，这就需要知道雅可比矩阵，即投影误差对各待优化变量的偏导数组成的矩阵。所谓的投影误差，实际检测到点与投影到图像上的点之间的误差
err=pm−perr=p_m - perr=pm−p
其中 pmp_mpm表示检测到的角点。为了避免手撕公式，我使用了matlab直接来推导出结果，并且在推导公式时，没有考虑畸变项，因为公式太长了，懒得敲。
代码：

syms fx fy x y z cx cy k1 k2 k3 k4R = sqrt(x^2 + y^2 + z^2);
xc = x / R;
yc = y / R;
zc = z / R;
theta = acos(z);
%thetad = theta + k1 * theta^3 + k2 * theta^5 + k3 * theta^7 + k4 * theta^9;
thetad = theta;
r = sqrt(xc^2 + yc^2);
u = fx * (thetad * xc) / r + cx;
v = fy * (thetad * yc) / r + cy;alphaE_alphaK = - [diff(u, fx), diff(u, fy), diff(u, cx), diff(u, cy);diff(v, fx), diff(v, fy), diff(v, cx), diff(v, cy)]alphaE_alphaP = -[diff(u, x), diff(u, y), diff(u, z);diff(v, x), diff(v, y), diff(v, z)]
alphaP_alphaR = [1, 0, 0, 0, z, -y; 0, 1, 0, -z, 0, x; 0, 0, 1, y, -x, 0]alphaE_alphaP * alphaP_alphaR

假设相机坐标系下归一化到球面的3D点坐标坐标为Ps=(xs,ys,zs)P_s=(x_s, y_s, z_s)Ps=(xs,ys,zs)

误差项关于内参的偏导数

其中r=xs2+ys2r=\sqrt{x_s^2 + y_s^2}r=xs2+ys2, θ=acos(zs)\theta=acos(z_s)θ=acos(zs)。
误差项关于相机坐标系下点PsP_sPs的偏导

其中r=xs2+ys2r=\sqrt{x_s^2 + y_s^2}r=xs2+ys2, θ=acos(zs)\theta=acos(z_s)θ=acos(zs)。
误差项在李代数上的扰动模型
根据链式法则可得

∂err∂δξ=∂err∂Ps∂Ps∂δξ{{\partial err} \over {\partial \delta \xi }} = {{\partial err} \over {\partial {P_s}}}{{\partial {P_{\rm{s}}}} \over {\partial \delta \xi }}∂δξ∂err=∂Ps∂err∂δξ∂Ps

其中，∂Pc∂δξ{{\partial {P_{\rm{c}}}} \over {\partial \delta \xi }}∂δξ∂Pc的推导后续会有专门篇幅进行总结，在这个先用起来再说。

其中r=xs2+ys2r=\sqrt{x_s^2 + y_s^2}r=xs2+ys2, θ=acos(zs)\theta=acos(z_s)θ=acos(zs)。

相机模型-鱼眼模型（fisheye camera model）相关推荐

相机模型-鱼眼模型/鱼眼镜头标定基本原理及实现(2)
问题: 1 广角/超广角与鱼眼摄像机,角度界限 2 畸变模型中radtan畸变模型与鱼眼畸变模型在小于150范围是否都时能适用. (同数据,拟合模型不同,,参数结果不同,不欠拟合和过拟合就可) 3 ...
【CV】鱼眼相机模型与畸变矫正(Fisheye Camera Model Calibration)
文章目录鱼眼镜头鱼眼名称的由来鱼眼镜头的实现鱼眼相机的成像模型鱼眼图像的矫正 Ref 鱼眼镜头鱼眼镜头长这样 #鱼眼镜头成像样张拍出来的照片长这样鱼眼名称的由来之所以叫鱼眼,是因为仿 ...
在OpenCV中，将鱼眼模型（Fisheye camera model）改写为普通相机模型
笔者经验不足,把cv::fisheye::calibrate直接改为cv::calibrateCamera后,遇到的几个问题,当时走了很多弯路,为了减少同行们在查阅相关资料时浪费的时间,笔者做了如下整 ...
opencv Fisheye camera model
https://docs.opencv.org/master/db/d58/group__calib3d__fisheye.html
相机模型-Unified Camera Model
相机模型-Unified Camera Model 模型介绍投影过程反投影过程雅可比计算开篇不知道说啥了,直接开始吧. 模型介绍这个相机模型在其它地方又被叫做 Omnidirectional ...
3. 全向相机模型Omnidirectional Camera Model
目录 1. 定义: 2. scaramuzza多项式模型 2.1 模型推导 3. 标定原理 3.1 求外参 3.2 求内参 3.3 非线性优化 4. 感谢您的阅读! 1. 定义: 全向相机(Omnid ...
相机模型-Extended Unified Camera Model
相机模型-Extended Unified Camera Model 模型介绍投影过程反投影过程雅可比计算之前讲到了Unified Camera Model模型,该模型是借助于一个虚拟的单位球 ...
1. pinhole camera model 小孔相机模型【cs231a课程笔记】
文章目录同系列链接 1.1. pinhole camera model 1.2. lens-based model (paraxial refraction model) distortion 1. ...

相机模型-鱼眼模型（fisheye camera model）

鱼眼相机模型（fisheye camera model）

模型介绍

等距投影

等立体角投影

正交投影

体视投影

线性投影

Kannala-Brandt 模型

去畸变过程

投影过程

反投影过程

雅可比计算

相机模型-鱼眼模型（fisheye camera model）相关推荐

最新文章

热门文章

相机模型-鱼眼模型（fisheye camera model）

鱼眼相机模型 （fisheye camera model）

模型介绍

等距投影

等立体角投影

正交投影

体视投影

线性投影

Kannala-Brandt 模型

去畸变过程

投影过程

反投影过程

雅可比计算

相机模型-鱼眼模型（fisheye camera model）相关推荐

最新文章

热门文章

鱼眼相机模型（fisheye camera model）