基于图像点特征的多视图三维重建

基于图像点特征的多视图三维重建大致分成四步：一.图像特征点描述；二.图像特征点匹配；

三.基于图像的稀疏三维重建；四.多视图稠密匹配与三维重建

一.图像特征点描述：

为描述所检测到的图像特征点，通常提取特征点周围的一块区域，并利用特征向量来描述该区域作为特征描述符。在某些特定拍摄条件下（如已矫正的立体像对），像素对应在各图像中的坐标仅在水平方向上有差异。在这种情况下，可使用搜索窗口内的像素差异平方和(Sum of squared differences,SSD),归一化互相关性(hormalized cross-correlation,NCC)等误差测度来计算特征点周围区域的相似度。

二.图像特征点匹配

一种方法：特征匹配旨在确立特征之间的对应关系，最简单的是直接比较描述符之间的欧式距离，然后选取距离小于一定阈值的特征匹配作为图像对应。

另一种方法：通过在特征空间中搜索最近邻来确定匹配关系。由于有的特征可能不存在对应，因此人需要设置阈值来剔除误匹配。在有充足训练数据的情况下，不同特征的阈值可通过学习获得；在训练数据不可得的情况下，通常采用距离比测试来剔除大部分误匹配。

在高维特征空间中搜索候选匹配时，广泛使用的索引结构是多维搜索树。Muja和Lowe对这类方法进行了对比研究，并提出一种基于层次K均值树的优先搜索策略。在高维近似最近邻搜索问题中，多随机k-d树的性能最优。为了进一步剔除候选匹配中的误匹配，需要采用几何验证。

具体来说，通常在随机采样一致(random sample consensus,RANSAC)算法中估计两视图间的基本矩阵，通过计算图像匹配与基本矩阵的拟合程度来剔除误匹配。对于各图像中的每个特征点，采用深度优先搜索找到它在其他图像中的对应，由此获得的多个视图间的对应称为特征轨迹。

三.基于图像的稀疏三维重建

1) 相机定标：一是利用定标物体上对各三维坐标点与其在图像平面上的投影坐标之间的约束关系来求解相机参数（可获得较高精度的相机参数估计）；二是自定标。该方法不仅不需要定标物体，还不需要任何场景的先验知识，顾客满足更多实际应用的需求。绝对二次曲线(AC)及其对偶(DAC)成像的不变性，证明了两幅图像之间存在两个形如kruppa方程的二次非线性约束，利用三幅图像可实现内部参数不变的相机自定标。但，kruppa方程的解对噪声非常敏感，且解的个数随图像数量的增加以指数方式增长，限制了其在许多实际场合的应用。

2) SFM：在相机内部参数已知的情况下，同时恢复相机的外部参数和三维场景结构的过程。为缓解SFM计算效率低下问题，第一种方案是利用现代图形处理单元GPU或者计算机集群的强大计算能力加速SFM中从图像匹配(SIFT)到集束优化(Bundle Adjustment)等各处理阶段。第二种方案是从数据组织和重建策略上改进SFM技术。

四.多视图稠密匹配与三维重建

第一类算法首先在三维体积中计算某种代价函数，然后从此三维体积中抽取物体的表面模型。此外，许多算法定义一个体积马尔可夫随机场(MRF)，并采用最大流或者多路图割方法来提取最优的三维模型表面。

第二类算法通过迭代的表面进化来最小化某种代价函数。这类方法中几何体的表现形式可为体素(voxel)，水平集(level-set)和多边形网格(mesh)等形式。空间雕刻(space carving)及其变种也属于这一类算法，它们从初始体积重渐进剔除不一致的体素。

第三类算法利用基于图像空间的方法计算一系列深度图（通常每幅输入图像对应一副深度图）。为确保所有深度图所表达的三维场景的一致性，该类方法在深度图上施加一致性约束，或者在后处理阶段融合多幅深度图信息创建完整的三维场景。

第四类算法直接通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密或者准稠密三维点云，最后从稠密三维点云中重建三维表面模型（目前总体性能最好）。

基于图像点特征的多视图三维重建相关推荐

opencv三维重建_基于OpenCV和C++的多视图三维重建
前两张图采用本质矩阵计算RT的方法,然后三角测量计算三维坐标.具体原理可以百度. 后面的增量图采用PnP的方法.通过计算图2图3匹配点和图1图2匹配点的公共部分,而图1和图2已经重建完成了,这些公共部 ...
基于图像特征点匹配的三维立体重建
一.图像特征点检测与匹配以下内容参考科学出版社康莱老师的<基于图像点特征的多视图三维重建>和华中科技大学王跃嵩的硕士论文<多视图立体匹配三维重建方法> 1.图像特征点检测确 ...
SLAM综述阅读笔记六：基于图像语义的SLAM调研：移动机器人自主导航面向应用的解决方案 2020
转自[[论文阅读]A survey of image semantics-based visual simultaneous localization and mapping 语义视觉SLAM综述 - ...
【论文03】基于图像的动态头像实时面部动画
[论文03] <Real-time Facial Animation with Image-based Dynamic Avatars> <具有基于图像的动态化身的实时面部动画> ...
基于图像的三维重建——特征点检测与匹配(2)
文章目录前言一.特征点检测二阶的拉普拉斯高斯边缘提取算法(LOG) 尺度不变特征变换算法(SIFT) 加速稳健特征算法(SURF) Harris角点特征提取算子加速分割测试特征提取(FAST) ...
基于图像的三维重建——基于空间patch扩散的方法(PMVS)
1.PMVS:多视图匹配经典算法简介导语:常见的稠密重建方法主要有三种:基于体素的方法.基于深度图融合的方法以及基于3D patch扩张的方法.第一种基于体素的方法仅适用于小场景,单个物体,遮挡较少 ...
基于图像的三维建模——特征点检测与匹配
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:梦寐mayshine 链接:https://zhuanlan.zhihu.com/p/12893 ...
基于图像的三维重建研究
前言三维重建,顾名思义就是对现实世界中的三维物体用计算机来进行模拟.目前主流的有两种手段:采用红外设备对物体进行测距.基于多张有关待测物体的二维图像进行三维重建.由于前者需要红外设备,成本比较昂贵且 ...
Windows环境下几款优秀的基于图像的三维重建软件
基于图像的目标三维重建技术是计算机视觉领域中研究的热点,近些年来,涌现了大量的优秀算法,对于目标重建的完整性,准确性,实时性不断提高.本文今天向大家介绍几款可以在window平台下,运行的软件,用户只 ...

基于图像点特征的多视图三维重建

基于图像点特征的多视图三维重建相关推荐

最新文章

热门文章