1.极限约束与本征矩阵

设世界坐标系中有一点ppp ，坐标为 XXX，它在左相机的图像坐标系为x1′x'_1x1′像素坐标系为x1x_1x1，在右相机中的图像坐标系为 x1′x'_1x1′则x=Kx′x=Kx'x=Kx′其中KKK为相机的内参矩阵，如图1（图中的x1x_1x1图像坐标系下的坐标，和公式的不同）设 ppp到两个相机光心垂直距离分别为 s1s_1s1和s2s_2s2，且两个相机有相同的内参矩阵KKK ，世界坐标系到两个相机坐标系的变换关系为 [R1,T1][R_1,T_1][R1,T1]和[R2,T2][R_2,T_2][R2,T2] ，根据相机成像原理我们可以得到下面两个等式：
s1x1=K(R1X+T1)s_1x_1=K(R_1X+T_1) s1x1=K(R1X+T1)s2x2=K(R2X+T2)s_2x_2=K(R_2X+T_2) s2x2=K(R2X+T2)
由于KKK是可逆的得到s1x1′=R1X+T1s_1x'_1=R_1X+T_1s1x1′=R1X+T1s2x2′=R2X+T2s_2x'_2=R_2X+T_2s2x2′=R2X+T2设世界坐标系的原点为相机1的相机坐标系则有s1x1′=Xs_1x'_1=Xs1x1′=Xs2x2′=R2X+T2s_2x'_2=R_2X+T_2s2x2′=R2X+T2
公式1带入公式2得到：s2x2′=s1R2x1′+T2s_2x'_2=s_1R_2x'_1+T_2s2x2′=s1R2x1′+T2
对上式两边同时叉乘T2T_2T2 (叉乘方向为右手系垂直方向，大小为向量组成的平行四边形面积,向量叉乘自身为0)得到：
s2T2^x2′=s1T2^R2x1′s_2\widehat{T_2}x'_2=s_1\widehat{T_2}R_2x'_1s2T2x2′=s1T2R2x1′
然后上式与x2′x'_2x2′做内积得到(T2^x2′\widehat{T_2}x'_2T2x2′方向垂直与x2′x'_2x2′):
0=x2′T2^R2x1′0=x'_2\widehat{T_2}R_2x'_10=x2′T2R2x1′
其中E=T2^RE=\widehat{T_2}RE=T2R 由上式可以看出空间中的同一点在两个相机的图象坐标系满足的关系，和空间中的坐标点以及点到相机的距离都没有关系。上式也被称为极线约束， EEE被称为本征矩阵。
然后通过5点法或者8点法求解，通过SVD求解 RRR,TTT 。通过SVD求解的RRR ，TTT 没有正负性需要正则化，所以尺度无法确定。

2. 三角化

求解到 RRR，TTT 后，由前面公式得到s2x2′=R2X+T2s_2x'_2=R_2X+T_2s2x2′=R2X+T2 ，公式中未知元素为 x2x_2x2，xxx 两边对x2′x'_2x2′ 做叉积消除s2s_2s2 得：x2′^R2X=−x2′^T2\widehat{x'_2}R_2X=-\widehat{x'_2}T_2x2′R2X=−x2′T2化为其次方程得：x2^[R2,T2][X,1]T=0\widehat{x_2}[R_2,T_2][X,1]^T=0x2[R2,T2][X,1]T=0然后用SVD分解法求解 XXX左侧0空间再把最后一个元素归一化到1求得xxx 然后把R,TR,TR,T开始的两个公式求得真实世界XXX。
这里实现了一个python版本的demo：sfm_python

三角测量(sfm 双视图重建)相关推荐

SfM多视图三维点云重建--【VS2015+OpenCV3.4+PCL1.8】
难点在完成两视图三维重建之后,接下来就是进行多视图重建.多视图重建的难点在于如何确定第 i i i( i i i>2)个相机到世界坐标系的位姿变换矩阵. 两视图重建时,是将第一个相机所在的坐标 ...
MVG学习笔记(5) --四视图几何和n视图重建
四视图几何和n视图重建可以使用基于张量的方法再进行一步,并定义四个视图中可见的四焦点张量相关实体. 然而这种方法很少使用,因为计算符合其内部约束的四焦点张量的相对困难. 然而,它确实提供了基 ...
【多视图几何】TUM 课程第6章多视图重建
课程的 YouTube 地址为:https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4 .视频评论区可以找到课 ...
【论文阅读】NEF：用于从多视图重建 3D 参数曲线的神经边缘场
[论文阅读]NEF:用于从多视图重建 3D 参数曲线的神经边缘场摘要一.引言二.相关工作三.方法 3.1 重建 3D 边缘点 3.1.1 预备知识 3.1.2 神经边缘场 3.1.3 训练 N ...
iOS：UIView的block函数实现转场动画---双视图
使用UIView动画函数实现转场动画--双视图 + (void)transitionFromView:(UIView *)fromView toView:(UIView *)toView durati ...
分子预训练-双视图分子预训练
Dual-view Molecule Pre-training 目录 Dual-view Molecule Pre-training 总结一.Introduction 二.Method 三.Expe ...
oracle 物化视图重建,Oracle物化视图：创建最简单物化视图-开发技术
SQL> create materialized view mv_testcf 2 as 3 select * from xiaotg.testcf; Materialized view cre ...
双视图特征点匹配———使用RANSAC法剔除误差点
本文使用SIFT算法得到两张图的初始特征匹配集合,然后着重总结如何使用基于8点法的RANSAC法将匹配集合中的误差点(外点)剔除. 基础矩阵介绍进行8点法之前首先需要知道基础矩阵的定义. 如图1-1 ...
线性代数回顾(多视图重建)
目录 1 向量 1.1 点积(Dot product) 1.2 范数 1.3 叉积(Cross product) 2 矩阵 2.1 矩阵类型 2.2 矩阵运算 2.3 行列式.迹和零空间 3 线性变换 ...

三角测量(sfm 双视图重建)

1.极限约束与本征矩阵

2. 三角化

三角测量(sfm 双视图重建)相关推荐

最新文章

热门文章