paper: A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection

0 引言

image检测虽好，但是在恶劣天气面前表现就不行了，而radar的特性刚好可以弥补这一点。这篇文章的出发点是为了融合radar和image，从而提升image检测的表现。

1 方法

很多做radar与图像融合的思路都是想办法把radar点投影到图像上，增强图像的特征，从而得到更好的检测结果。这篇文章的思路也是类似。

但是毕竟雷达数据与图像数据在性质上差异很大，怎么能把2者的特征融合起来，其实很难说的请。那这篇文章的一个亮点就是它可以让网络自动化地学习到在哪个层级进行融合是对最终结果更有帮助的。

上述的一点是这篇文章最核心的一点。当然还有一些小的细节也比较重要：
1 对雷达数据的处理。因为作者的雷达数据中没有高度信息，作者把高度都假定为3m；另外雷达数据和图像数据在时序上也不完全匹配，在处理中把不匹配的给过滤掉了。

2 训练的技巧。受Dropout启发，提出了一种被称为BlackIn的训练方法，具体做法是一定概率同时停用所有图像输入分支的神经元，目的是为了让网络更依赖radar数据学习。

2 实验结果

实验细节：
雷达传感器采用了3个大陆的ARS430 毫米波雷达，先把3个雷达的处理融合成一个点云数据。

3 总结

作为传感器融合，本文提供了一个可供借鉴的思路。但总体而言，本文的方法不够solid，结果也有些差强人意。毕竟加了radar数据，去对比单image的结果，然而对结果的提升也不够明显。所以实际意义有限。

毫米波雷达与图像融合之CRF-Net相关推荐

【radar】毫米波雷达-相机-激光雷达融合相关论文汇总（特征融合、RPN融合、弱监督融合、决策融合、深度估计、跟踪）（5）
[radar]毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合.RPN融合.弱监督融合.决策融合.深度估计.跟踪)(5) Radar Camera Fusion Feature-level Fus ...
毫米波雷达与视觉融合综述
原文地址:https://arxiv.org/pdf/2108.03004.pdf 一.背景介绍自动驾驶中目标检测的难点:(1)视觉范围内的障碍物具有不同的尺度和长宽比 (2)障碍物之间可能存在不同 ...
毫米波雷达和视觉融合简记
毫米波雷达和视觉传感器融合笔记毫米波雷达和摄像头概述毫米波雷达和视觉传感器融合时间融合空间融合写在前面: 1.按照信息抽象的五个层次,融合可分成五个级别,即:检测级融合.位置级融合.属性(目 ...
摄像头与毫米波雷达（Radar）融合
摄像头与毫米波雷达(Radar)融合 Input: (1)图像视频分辨率(整型int) (2)图像视频格式 (RGB,YUV,MP4等) (3)毫米波雷达点云信息(点云坐标位置x,y,浮点型float ...
【camera-radar】自动驾驶相机-毫米波雷达融合方案综述
如今的自动驾驶需要满足应多种复杂场景,因此准确的目标检测方法对于汽车的安全驾驶具有关键意义,而毫米波雷达(以下统称为雷达)与视觉融合的方法成为主流,作者的这篇文章详述了当今毫米波雷达与相机融合的不同技 ...
单目摄像头光学图像测距_摄像头与毫米波雷达（Radar）融合解析
01 摄像头和雷达的融合是很多做ADAS当前所关注的关键问题之一.因为单纯摄像头和雷达都无法解决测距问题.不仅在测距,今后可能所应用到的高精度地图也都是需要使用摄像头和雷达的融合才能够实现.当前寻求到 ...
【自动驾驶】视觉与毫米波雷达数据融合技术
文章目录一.相机介绍二.毫米波雷达介绍三.为什么要做传感器融合四.相机与毫米波雷达的融合方式五.雷达与相机联合标定 (1)毫米波雷达坐标系至世界坐标系 (2)世界坐标系至图像像素坐标系六. ...
毫米波雷达视觉融合方案综述（数据级/决策级/特征级融合）
摘要:本论文详细介绍了基于毫米波雷达和视觉融合的障碍物检测方法,从任务介绍.评估标准和数据集三方面展开. 转载自:自动驾驶之心原文地址:毫米波雷达视觉融合方案综述(数据级/决策级/特征级融合) 自动 ...
AEB落地：摄像头与毫米波雷达的融合
☛ 我们的生活中,总有各种场合需要证明自己. 内心不够坚定的时候,总是活在不断证明自己的循环中.新人刚入职,会努力证明自己是有能力的:遇到心动的男神,会努力证明自己值得被爱:受到质疑否定,会努力证明我 ...

毫米波雷达与图像融合之CRF-Net

0 引言

1 方法

2 实验结果

3 总结

毫米波雷达与图像融合之CRF-Net相关推荐

最新文章

热门文章