点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨paopaoslam

来源丨 泡泡机器人SLAM

标题：Lidar-Monocular Surface Reconstruction Using Line Segments

作者：Victor Amblard, Timothy P. Osedach, Arnaud Croux, Andrew Speck and John J. Leonard

来源：2021 IEEE International Conference on Robotics and Automation (ICRA)

编译：方禄

审核：Zoe，王靖淇

摘要

运动结构（SfM）在缺乏合适的视觉特征的环境中往往无法估计出正确的位姿。在这种情况下，最终的三维网格质量（取决于估计的准确性）会降低。解决这个问题的一种方法是将单目相机和激光雷达的数据结合起来。这种方法能够捕捉到环境中精细的细节和纹理，同时仍能准确地表示无特征的对象。然而由于这两种传感器的根本特性不同，融合这两种传感器模式是具有挑战性的。相比直接融合图像特征和雷达数据点，本文提出借助在雷达扫描和图像数据中检测出共同的几何特征，以此在更高级别的空间中处理来自两个传感器的数据。特别是在用BA优化位姿之前，找到雷达扫描提取的三维线束与图像中检测到的二维线束之间的对应关系。作者还利用检测出和优化的线段来提高最终网格的质量，并在最新的公开数据集上测试了该方法，将三维网格的完整性和准确性与使用测量级3d扫描仪得到的真值进行比较。结果表明，该方法的所得到的结果与最先进的激光雷达测量相差无几，并不需要高精度的真值位姿估计。

图1所示为基于点线特征将雷达扫描数据和单目图像紧密耦合以完成三维场景重建的方法

图2：该方法的流程概述

图3：雷达和相机3维线段检测流程概述。

图4：成对关联的边缘是按照文中描述的匹配过程进行的。红色表示过滤掉的不一致关联数据，OL1和Ol2是不同视图的3d线段的集合，但代表的是同一个线段，其准确位置尚不确定。

图5：数据真值的轨迹。绿色为第一个序列，橘色为第二个序列数据。

图6：每个圆代表从雷达中检测出的边缘点，线是由线段检测器检测出来的。彩色代表一个二维线段与边缘点之间的关联，灰色代表未关联

表I 基于Newer College 数据集测试本文方法得到的数值评估结果。最好的结果加粗显示。

表II 基于Newer College数据集序列1和序列2的重构结果，最好的结果加粗显示。

图7：不同方法在序列2上取得的表面重建网格。失真的颜色代表网格到真实点云之间的距离，图示为从蓝色到红色。

Abstract

Structure from Motion (SfM) often fails to estimate accurate poses in environments that lack suitable visual features.In such cases, the quality of the final 3D mesh, which is contingent on the accuracy of those estimates, is reduced. One way to overcome this problem is to combine data from a monocular camera with that of a LIDAR. This allows fine details and texture to be captured while still accurately representing featureless subjects. However, fusing these two sensor modalities is challenging due to their fundamentally different characteristics. Rather than directly fusing image features and LIDAR points, we propose to leverage common geometric features that are detected in both the LIDAR scans and image data, allowing data from the two sensors to be processed in a higher-level space. In particular, we propose to find correspondences between 3D lines extracted from LIDAR scans and 2D lines detected in images before performing a bundle adjustment to refine poses. We also exploit the detected and optimized line segments to improve the quality of the final mesh. We test our approach on the recently published dataset, Newer College Dataset. We compare the accuracy and the completeness of the 3D mesh to a ground truth obtained with a survey-grade 3D scanner. We show that our method delivers results that are comparable to a state-of-the-art LIDAR survey while not requiring highly accurate ground truth pose estimates. We plan to release our code before publication

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，加微信：dddvision

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~