何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018

本文在NISwGSP（natural image stitching with the global similarity prior）算法基础上提出了一种具有直线结构保护的图像拼接算法（MISwLP）。该算法通过提取直线并施加约束，在保证重叠区域配准的同时，对网格进行相似性连续约束和直线结构约束，进而求得网格优化最优能量，对网格进行变形。最终得到较好的拼接效果

本文首先分析了当前图像拼接面临的主要问题：1.拍摄的图像不在同一平面，单一的全局单应性矩阵无法满足要求；2.多视点拍摄，导致视差严重。

针对第一个问题，主要是利用多单应性矩阵的方式来解决问题。而针对第二个问题，主要有三种解决办法：1.多通带融合；2.强调局部配准，利用网格变形等；3.利用缝合线，在配准和融合阶段之间操作。

注意：以上三种方法分别处于不同阶段，因此可以结合使用

NISwGSP算法简介

算法主要分为四大步骤

（1）APAP预配准

（2）全局相似参数估计

（3）网格优化

（4）图像合成

利用APAP的局部对齐效果，先将重叠区域网格顶点的匹配点对配准，然后将目标影像相对于参考影像的旋转参数和尺度参数作为图片的全局相似变换，接下来利用网格顶点能量最小的优化计算得到新的网格顶点，最后就是利用网格顶点进行映射融合。

MISwLP算法

本文分析可知，在NISwGSP算法中，一些直线发生明显弯曲，而利用全局相似，只能保证网格内部不发生形变，当直线跨网格时，约束就无效了。因此本文提出了MISwLP(mesh-based image stitching with linear structure protection)

算法前两步仍然是APAP预配准，以及全局相似变换。

网格优化时分为两阶段

（1）第一阶段

其中Ea(V)为对齐误差项，Els(V)为局部相似项，Egs(V)为全局相似项，三个lamda为权重

（2）第二阶段，加入直线约束

其中El(V)为直线约束项

（3）对齐误差项是不同于传统特征点匹配，而是利用APAP预匹配的网格顶点作为对齐项

（4）局部相似项，将重叠区域网格的几何变换传播到整张网格上，保证网格变换的连续性

（5）全局相似项，控制非重叠区域的网格以全局相似变换为主，而重叠区域的网格以对齐为主，减少投影失真

（6）直线保持项，首先利用LSD提取直线，且只选取超过网格对角线长度的直线，特定情况下提供辅助直线选取。对直线进行采样，并且保证采样点变换后仍为直线，即进行了直线约束。且只需要三点共线即可

考虑到加入的直线约束是非线性的，因此考虑分两阶段迭代优化。

首先不添加直线约束，求解线性方程得到顶点集，即初始解

利用初始解，带入添加了直线约束的方程，解方程得到最终解。

此外，由于矩阵过大，采用共轭梯度最小二乘法（CGLS）来解算

最后通过顶点坐标进行纹理映射和线性融合

本文相比APAP和SPHP算法以及NISwGSP算法具有更好的拼接效果，对于明显的直线能够较好的保持。当然当前只是对于网格中的直线进行了保持，进一步可做的就是全局直线保持。

何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018相关推荐

为AI芯片铺路？原三星半导体周军加盟Rokid
伊瓢发自凹非寺量子位出品 | 公众号 QbitAI AI公司Rokid又有新进展. 今天,Rokid CEO祝铭明对外宣布,原三星半导体(中国)所长周军博士正式加盟Rokid,担任Rokid基 ...
python openpyxl 创建表格后设置表格保护，结构保护 (设置只读)
# 设置表格结构保护sheet不可修改,不可重命名等 # 保护密码123 wb.security.workbook_password = '123' wb.security.lockStructure ...
Python基于周立功盒子接收特定报文信号并实时绘制折线图（一）
Python基于周立功盒子接收特定报文信号并实时绘制折线图(一) 一.背景为了节省成本,最大限度利用资源,放弃了用Vector的盒子,采用周立功盒子来做二次开发,以方便来进行压力测试二.需 ...
电弧闪光保护系统的全球与中国市场2022-2028年：技术、参与者、趋势、市场规模及占有率研究报告
报告页数: 150 图表数: 100 报告价格:¥16800 本文研究全球与中国市场电弧闪光保护系统的发展现状及未来发展趋势,分别从生产和消费的角度分析电弧闪光保护系统的主要生产地区.主要消费地区以及 ...
Python基于周立功盒子接收特定报文信号并实时绘制折线图（二）
Python基于周立功盒子接收特定报文信号并实时绘制折线图(二) 一.背景根据在上一篇文件Python基于周立功盒子接收特定报文信号并实时绘制折线图(一)的基础上需要做一些优化,原因是,因为 ...
保护电路模块的全球与中国市场2022-2028年：技术、参与者、趋势、市场规模及占有率研究报告
报告页数: 150 图表数: 100 报告价格:¥16800 本文研究全球与中国市场保护电路模块的发展现状及未来发展趋势,分别从生产和消费的角度分析保护电路模块的主要生产地区.主要消费地区以及主要的生 ...
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用plot函数可视化模型诊断图
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.使用plot函数可视化模型诊断图目录
高中生学python培养思维能力_python学习（七周七第二章结构化思维及如何学习）...
20180908星期六总结中,为没有华丽的语句感到烦恼.是因为自己忘记初衷,如果是学习就记录今天学习内容.感想.问题:如果是工作就记录今天最优成就的一件事.今天遇见的问题:如果是生活就记录今天最开心 ...
结构建模设计——Solidworks软件之草图绘制基础图形工具总结（绘制直线、矩形、圆、槽、圆弧、圆角等）
[系列专栏]:博主结合工作实践输出的,解决实际问题的专栏,朋友们看过来! <QT开发实战> <嵌入式通用开发实战> <从0到1学习嵌入式Linux开发> <A ...

何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018

本文首先分析了当前图像拼接面临的主要问题：1.拍摄的图像不在同一平面，单一的全局单应性矩阵无法满足要求；2.多视点拍摄，导致视差严重。

针对第一个问题，主要是利用多单应性矩阵的方式来解决问题。而针对第二个问题，主要有三种解决办法：1.多通带融合；2.强调局部配准，利用网格变形等；3.利用缝合线，在配准和融合阶段之间操作。

注意：以上三种方法分别处于不同阶段，因此可以结合使用

NISwGSP算法简介

算法主要分为四大步骤

（1）APAP预配准

（2）全局相似参数估计

（3）网格优化

（4）图像合成

MISwLP算法

本文分析可知，在NISwGSP算法中，一些直线发生明显弯曲，而利用全局相似，只能保证网格内部不发生形变，当直线跨网格时，约束就无效了。因此本文提出了MISwLP(mesh-based image stitching with linear structure protection)

算法前两步仍然是APAP预配准，以及全局相似变换。

网格优化时分为两阶段

（1）第一阶段

其中Ea(V)为对齐误差项，Els(V)为局部相似项，Egs(V)为全局相似项，三个lamda为权重

（2）第二阶段，加入直线约束

其中El(V)为直线约束项

（3）对齐误差项是不同于传统特征点匹配，而是利用APAP预匹配的网格顶点作为对齐项

（4）局部相似项，将重叠区域网格的几何变换传播到整张网格上，保证网格变换的连续性

（5）全局相似项，控制非重叠区域的网格以全局相似变换为主，而重叠区域的网格以对齐为主，减少投影失真

（6）直线保持项，首先利用LSD提取直线，且只选取超过网格对角线长度的直线，特定情况下提供辅助直线选取。对直线进行采样，并且保证采样点变换后仍为直线，即进行了直线约束。且只需要三点共线即可

考虑到加入的直线约束是非线性的，因此考虑分两阶段迭代优化。

首先不添加直线约束，求解线性方程得到顶点集，即初始解

利用初始解，带入添加了直线约束的方程，解方程得到最终解。

此外，由于矩阵过大，采用共轭梯度最小二乘法（CGLS）来解算

最后通过顶点坐标进行纹理映射和线性融合

本文相比APAP和SPHP算法以及NISwGSP算法具有更好的拼接效果，对于明显的直线能够较好的保持。当然当前只是对于网格中的直线进行了保持，进一步可做的就是全局直线保持。

何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018相关推荐

最新文章

热门文章