首篇!基于全景相机的深度学习综述:全面回顾未来展望
作者 | dianyunPCL 编辑 | 点云PCL
点击下方卡片,关注“自动驾驶之心”公众号
ADAS巨卷干货,即可获取
点击进入→自动驾驶之心【目标检测】技术交流群
摘要
全景图像(ODI)数据是用360° *180°视场相机拍摄的,比针孔相机宽得多,比传统平面图像包含更丰富的空间信息。因此,全景视觉由于其在许多应用中的更优越性能而引起了广泛的关注,例如自动驾驶和虚拟现实。本文对用于全景视觉的DL方法的最新进展进行了系统和全面的回顾和分析。我们的工作包括四个主要内容:
(i)介绍全景成像的原理、ODI上的卷积方法和数据集,以突出与2D平面图像数据相比的差异和困难;
(ii)全方位视觉DL方法的结构和层次分类;
(iii)最新的新型学习策略和应用概述;
(iv)通过突出潜在的研究方向,对挑战和开放性问题进行深入的讨论。
主要贡献
本文对用于全景视觉的DL方法的最新进展进行了系统和全面的回顾和分析,强调了DL的重要性,并系统全面地探讨了全景视觉的最新进展。本研究中提出的结构和层次分类如图1所示。
图1:具有深度学习的全景视觉的层次和结构分类
图2:具有代表性的360°摄像机示例
总之,本研究的主要贡献可概括如下:
(I)这是第一次全面回顾和分析用于全景视觉的DL方法的调查,包括全方位成像原理、表示学习、数据集、分类、,以突出与2D图像数据的差异和困难。
(2)总结了过去五年中发表的大多数顶级会议/期刊作品(超过200篇论文),并对全方位视觉DL的最新趋势进行了分析研究,包括层次和结构。此外,我们还为每个类别的讨论和挑战提供见解。
(3)总结了全向视觉的最新新学习策略和潜在应用。
(4)由于全景视觉的DL是一个活跃而复杂的研究领域,我们对有待解决的挑战和开放问题进行了深入的讨论,并提出了未来的潜在方向,以推动社区进行更深入的研究。
(5)我们创建了一个开源存储库,提供所有提到的作品和代码链接的分类,将继续用这方面的新作品更新我们的开源存储库,并希望它能为未来的研究提供线索。仓库链接是https://github.com/VLISLAB/360-DL-Survey.
主要内容
全景图像模型
普通相机的FoV小于180度,因此最多只能拍摄一个半球。然而,理想的360°摄像机可以捕捉从各个方向落在焦点上的光线,使投影平面成为一个完整的球面。
图3:Equirectangular Projection (ERP)、 Cubemap Projection (CP)和 Tangent Projection表示类型的图示。
ODI的卷积方法
由于ODI的自然投影表面是一个球体,因此当将球形图像投影回平面时,标准的CNN不太能够处理固有的失真。已经提出了许多基于神经网络的方法来增强从球形图像中提取“无偏”信息。这些方法可分为两大类:
(i)在平面投影上应用2D卷积滤波器;
(ii)直接利用球面域中的球面卷积滤波器。
基于平面投影的卷积
图4:ODI上基于ERP的卷积滤波器的图示
球形卷积
图5:两种代表性的球面卷积方法
数据集
ODI语义分割的代表性方法
全景相机的深度估计
房间布局重建
总结
全面回顾和分析了用于全景视觉的DL方法的最新进展,首先介绍了全向成像的原理、卷积方法和数据集。然后,我们提供了DL方法的层次和结构分类。对于分类学中的每一项任务,我们总结了当前的研究现状,并指出了机遇和挑战。然后进一步回顾了新的学习策略和应用。在构建了现有方法之间的联系之后,我们讨论了需要解决的关键问题,并指出了未来有前景的研究方向,希望这项工作能为研究人员提供一些见解,并促进社区的进步
【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向;
添加汽车人助理微信邀请入群
备注:学校/公司+方向+昵称
自动驾驶之心【知识星球】
想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球(三天内无条件退款),日常分享论文+代码,这里汇聚行业和学术界大佬,前沿技术方向尽在掌握中,期待交流!
首篇!基于全景相机的深度学习综述:全面回顾未来展望相关推荐
- 基于全景相机的深度学习综述
文章:Deep Learning for Omnidirectional Vision: A Survey and New Perspectives 作者:Hao Ai˚, Zidong Cao˚, ...
- ElasticDL:首个基于 TensorFlow 实现弹性深度学习的开源系统
9 月 11 日,蚂蚁金服开源了 ElasticDL 项目,据悉这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统. Google Brain 成员 Martin Wicke 此前在公 ...
- 基于三维数据的深度学习综述
众所周知,计算机视觉的目标是对图像进行理解.我们从图像中获取视觉特征,从视觉特征中对图像.场景等进行认知,最终达到理解.感知.交互.目前,比较主流的计算机视觉基本是基于二维数据进行的,但是回顾计算机视 ...
- ST-P3:首篇基于环视相机的端到端自动驾驶框架!(ECCV2022)
作者 | PerceptionX 编辑 | 汽车人 原文链接:https://zhuanlan.zhihu.com/p/544387122 点击下方卡片,关注"自动驾驶之心"公众 ...
- 第 12 章 基于块匹配的全景图像拼接--Matlab深度学习实战图像处理应用
第 12 章 基于块匹配的全景图像拼接–Matlab深度学习实战图像处理应用GUI实现 效果如图所示 完整案例 主函数文件 Gui_Main.m文件 function varargout = Gui_ ...
- 一文入门基于三维数据的深度学习
本文转载自北京智源人工智能研究院. 这是一篇三维数据深度学习的入门好文,兼顾基础与前沿,值得收藏!为方便大家学习,本文PDF版本和所列出的所有文献提供下载,(2020年7月27日11点后)在我爱计算机 ...
- 基于NVIDIA GPUs的深度学习训练新优化
基于NVIDIA GPUs的深度学习训练新优化 New Optimizations To Accelerate Deep Learning Training on NVIDIA GPUs 不同行业采用 ...
- 值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(下)
作者 | 黄浴 来源 | 转载自知乎专栏自动驾驶的挑战和发展 [导读]在近日发布的<值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(上)>一文中,作者介绍了一部分各大公司和机构基于 ...
- 基于大数据与深度学习的自然语言对话
基于大数据与深度学习的自然语言对话 发表于2015-12-04 09:44| 7989次阅读| 来源<程序员>电子刊| 5 条评论| 作者李航.吕正东.尚利峰 大数据深度学习自然语言处理自 ...
最新文章
- C/C++ static和const关键字的作用
- Asp.net 2.0 制作复合控件示例(二)[示例代码下载]
- JAVA中this和super用法
- sklear多项式回归
- Objective-C MacOS以管理员权限运行程序
- java图像处理之查找表实现图像处理加速
- 最新版富文本编辑器UEditor操作教程
- List集合相关应用
- scss编译输出css并转换成rem
- kallsyms 压缩_initrd.img、System.map学习札记
- HDU2027 统计元音【入门】
- 数学建模——商人过河(Matlab)
- 机器人(人工智能python) arduino编程 scratch2.0 乐高ev3编程 教育政策及考试
- VTK系列教程九:VR图像裁剪
- 盖茨与鲍尔默相处:放权给怒吼“奶妈”
- jQuery ajax 的datatype
- Cannot read properties of undefined (reading ‘extraneous‘) npm install时
- 人工智能、深度学习、机器学习常见面试题56~70
- 软件测试搭建环境--在Linux安装MySQL(详细),精细整理
- JavaWeb基于老杜课程笔记的完善