CenterNet网络中的hourglass网络（深度学习）

引言：目前最为火热的网络模型，摒弃了近年来的先验框的角度，开创了一个新的方法（其实并不是开创，因为在之前的人脸检测网络使用的思想和center网络相似，就是将人脸看做成一个点，只不过center是将整个目标物体看做成一点）。如图所示：

目标检测

原文链接：https://arxiv.org/pdf/1904.07850.pdf

代码链接：GitHub - xingyizhou/CenterNet

1.综述+理解

目标中心点检测网络CenterNet，核心思想就是将物体聚焦为一个点，通俗理解就是将一副输入图像中的目标物体看做成一个目标点，（就是将目标物体看成一个点（center point 中心点），然后逐步调整这个点的最佳位置，作为目标物体的预测点，最后回归到其他对象的所有属性，例如边界框大小，相对于bounding box来说，这个更加简单、快速、而且准确率高），然而这个中心点是根据计算热力图得到的（在下将热力图理解为三维的高斯函数），将得到的能量值最大（高斯中心点）使用标准的密度监督学习，确定出目标物体的边界框，也就是所谓的bbox，然后就完事了，相比较之前的目标检测网络需要产生大量的先验框来说，确实是节省了不少的时间、算力。

三维高斯函数曲面绘制图，如下图所示（来自MATLAB绘制，因为MATLAB绘制相对比较好看、立体感更强）。

三维高斯函数曲面显示

在中心点就是高斯函数的峰值（在热力图中表示能量最高的点----中心点center point），在期望值u附近能量较高，在两倍u距以外，一般能量较少。在center网络中表示如出一辙，如图所示。

热力图

2.特征提取

首先看一下中心点检测网络CenerNet的预测架构，首先是将输入图像送到backbone卷积网络（采用的是沙漏网络，2016年提出的一种人体姿态估计网络，原文这里），然后是经过cascade corner pooling （这个模块分为两个支路），在经过Corner heatmaps（热力图），最后预测输出。

网络预测图

1》第一阶段：首先将输入图像转换成一个关键点热力图（a keypoint heatmaps）

将输入[3,512,512]大小的图像生成一副关键点热力图，在目标检测中，认为关键点的类型是C=80类，默认输出图像步长stride=4，也就是R=4,。是用哪个编码解码网络去生成关键点热力图呢？使用hourglass或者使用ResNRT。

在此阶段采用的损失函数如下图所示。其中Y $Y_{x,y,z}$ 代表的是高斯核函数（和我猜的一样，好高兴哦！）

损失函数

上述的L1损失函数绘制曲线如图所示：

L1损失函数

在此过程中的偏移量损失函数为，图下图所示，强调的是所有的C类都共享这一偏移量。（偏移量相当于在原来的关键点热力图上的微调，使关键点能够更好地找到目标的热量值最大处（也就是目标的中心点））。偏移量损失函数如图所示。

偏移量损失函数

2》第二阶段：

从一点到预测目标的边界框，在上述中中心点值为，而在center网络中，会保留该点附近8领域内大于等于该值得点作为每一类的中心点，总共会保留100个这样的点，形成每一类目标的center（也就是一团点，表示一个中心点center）。根据这100个设定的边界框大小为：。预测目标的边界框使用的损失函数总体为如图所示，其中 $\lambda _{_size}=0.1,\lambda _{_off}=1$ 。

目标检测总体损失函数

边界框预测图

（补充）

1》输入大小是4的整数倍，是因为在生成关键点热力图时，固定大小的输出为,然而默认值R=4，所以只能如此，否则你需要修改其中的R参数。

2》热力图的值代表：y=0表示背景，y=1表示检测到的目标关键点。

3》不是说好的一点的，怎么是一团？

因为网络在产生关键点热力图时候会保留附近8领域内大于等于中心点值得点，保留100个作为每一类目标的center，否则只保留一个像素点，显示看不着啊！！！

4》网络的输出为：[C+4]

5》网络边界框的输出没有用到NMS、IOU计算，而是直接根据预测的100个关键点得到，使用最大池化代替NMS。

最终的结果对比：

分析：由上图可知center网络无论在速度还是精度上都有着明显的优势。

结果图：

目标检测、姿态估计、3D

待续。。。

CenterNet网络中的hourglass网络（深度学习）相关推荐

STGCN时空图卷积网络:用于交通预测的深度学习框架
时空图卷积网络:用于交通预测的深度学习框架及时准确的交通预测对城市交通控制和引导至关重要.由于交通流的高度非线性和复杂性,传统的方法不能满足中长期预测任务的要求,往往忽略了空间和时间的相关性.本文提 ...
【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）
[论文阅读]Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecastin ...
网络的宽度如何影响深度学习模型的性能？
大家好,这是专栏<AI不惑境>的第三篇文章,讲述模型宽度与模型性能的关系. 进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考.如果说学习是一个从模仿,到追随,到创造的过程 ...
什么是生成对抗网络（GAN）| 小白深度学习入门
小白深度学习入门系列 1. 直观理解深度学习基本概念 2. 白话详解ROC和AUC 3. 什么是交叉熵 4. 神经网络的构成.训练和算法 5. 深度学习的兴起:从NN到DNN 6. 异军突起的激活函数 ...
汇总 | OpenCV4中的非典型深度学习模型
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|OpenCV学堂引言 · 前面给大家分别汇总了Open ...
OpenCV4中的非典型深度学习模型
本文转自|OpenCV学堂引言 · 前面给大家分别汇总了OpenCV中支持的图像分类与对象检测模型,视觉视觉任务除了分类与检测还有很多其他任务,这里我们就来OpenCV中支持的非分类与检测的视觉模 ...
机器学习中的数学人工智能深度学习技术丛书
作者:孙博著出版社:中国水利水电出版社品牌:智博尚书出版时间:2019-11-01 机器学习中的数学人工智能深度学习技术丛书 ISBN:9787517077190
看EyeEm如何在产品开发中整合、运用深度学习模型
原文:One Model At A Time: Integrating And Running Deep Learning Models In Production At EyeEm 作者:Miche ...
在Win10游戏本中搭建MindSpore-GPU的深度学习环境
在Win10游戏本中搭建MindSpore-GPU的深度学习环境背景一."金字塔"项目目标二.系统环境三.避大坑四.安装过程 1.加入Windows Insider计划 ...
【AI不惑境】网络的宽度如何影响深度学习模型的性能？
大家好,这是专栏<AI不惑境>的第三篇文章,讲述模型宽度与模型性能的关系. 进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考.如果说学习是一个从模仿,到追随,到创造的过程 ...

CenterNet网络中的hourglass网络（深度学习）

CenterNet网络中的hourglass网络（深度学习）相关推荐

最新文章

热门文章