摘要

地图是基于图像的相机定位和视觉SLAM系统的关键组成部分。本文MapNet除了图像之外还利用廉价且无处不在的感官输入，如视觉里程计和GPS，并将它们融合在一起以进行相机定位。

本文还提出了一种新的相机旋转参数化方法。

分别在7-Scenes和Oxford RobotCar数据集上测试

介绍

本文做出了如下贡献

1.大多数用于相机定位的DNN都是使用标有摄像机绝对姿势的翻译图像来训练的。在MapNet中，我们展示了如何在训练中把观察对之间的几何约束作为一个额外的损失项。这些约束来自视觉里程计（VO）或者GPS或者IMU读数的旋转约束等等，我们把这些称之为几何感知学习。

2.将MapNet和PGO融合。MapNet+PGO。

3.我们提出了一个新的相机旋转参数化，即单位四元数的对数。

建议的方法

MapNet的核心是一个从输入图像回归绝对相机姿势的DNN。

MapNet在成对的姿势预测之间实施约束。MapNet+通过利用同一场景中额外的无标签视频或同步的GPS读数上的视觉测距（VO）所表达的几何约束来改进训练后的MapNet。

在推理过程中采用移动窗口PGO

用DNN进行相机位姿回归

本文对PoseNet做了一些修改。首先，我们使用ResNet-34，并对其进行了修改，在最后一个conv层之后引入了一个全局平均池化层，然后是一个具有2048个神经元的fc层，一个ReLU和p=0.5的dropout。之后是最后的fc层，输出6个DoF的相机姿势。

其次本文将相机方向参数化为单位四元数的对数。四元数是3-DoF旋转的过度参数化，需要对输出的四元数进行归一化，但往往导致更差的性能。

单位四元数的对数log q有三个维度，没有过度参数化，不需要归一化。

如下表所示，使用这种旋转参数化取得了比PoseNet更好的结果。

MapNet：几何感知学习

MapNet+：用无标签数据更新

MapNet融合了这些额外的数据T，通过自监督学习来更新MapNet的权重。本文通过最小化损失函数来微调预训练的MapNet，该损失函数由标记数据集D的原始损失和未标记数据集T的损失组成。

MapNet+PGO：在推理过程中优化

实验评估

7-Scenes和Oxford RobotCar

在7-Scenes上的实验

在Oxford RobotCar上的实验

总结

本文的模型将视觉SLAM和SFM中广泛使用的几何约束带入基于DNN的学习中。与传统的视觉SLAM中的映射不同，MapNet和MapNet+不能将地图扩展到未知空间中。在未来的工作中，与视觉SLAM系统更紧密的结合可能会实现对未知领域的映射。利用最近在提取高层次语义信息方面的成功，也可以改善相机的定位。

MapNet：Geometry-Aware Learning of Maps for Camera Localization相机定位的几何感知学习地图相关推荐

几何深度学习（Geometric Deep Learning）技术
几何深度学习(Geometric Deep Learning)技术几何深度学习综述从论文Geometric Deep Learning: Grids, Groups, Graphs, Geodes ...
Learning Less is More – 6D Camera Localization via 3D Surface Regression
在Python满天飞, tensorflow横行的DL界, 遇到好久不见的开源C++ Project简直是一股清流................... Proj:https://hci.iwr.un ...
Camera Calibration 相机标定
Camera Calibration 相机标定一.相机标定方法在opencv中提供了一组函数用于实现相机的标定,标定返回的值包括:相机内参矩阵(fx fy xc yc).相机外参矩阵(R t)以及 ...
目标定位--Deep Self-Taught Learning for Weakly Supervised Object Localization
Deep Self-Taught Learning for Weakly Supervised Object Localization CVPR 2017 https://arxiv.org/abs/ ...
基于深度强化学习的车道线检测和定位（Deep reinforcement learning based lane detection and localization）论文解读+代码复现
之前读过这篇论文,导师说要复现,这里记录一下.废话不多说,再重读一下论文. 注:非一字一句翻译.个人理解,一定偏颇. 基于深度强化学习的车道检测和定位官方源码下载:https://github.co ...
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 全文翻译+详细解读
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 全文翻译+详细解读文章速览全文翻译及详细解释 0 ...
RGB-D Camera深度相机主流方案对比
RGB-D Camera深度相机主流方案对比视觉方案 RGB双目结构光 TOF 测距方式被动式主动式主动式工作原理双目匹配,三角测量激光散斑编码发射与反射信号时间差 ...
Efficient Global 2D-3D Matching for Camera Localization in a Large-Scale 3D Map
文章目录 Efficient Global 2D-3D Matching for Camera Localization in a Large-Scale 3D Map 1. 相似源码 choose_ ...
Learning Deep Features for Discriminative Localization -CAM方法帮助若监督学习研究实现物体定位论文阅读笔记
作者:18届会长cyl 时期: 2020-9-11 论文<Learning Deep Features for Discriminative Localization> 期刊:2016CV ...

MapNet：Geometry-Aware Learning of Maps for Camera Localization相机定位的几何感知学习地图

摘要

介绍