声明：所有图片均来自B站UP霹雳吧啦Wz，用作学习笔记

一、R-CNN理论

1、引出

2、R-CNN算法流程 -- 可分为4个步骤

3、R-CNN算法流程详细步骤

4、R-CNN框架

5、R-CNN存在的问题

二、Fast R-CNN

1、引出

2、Fast R-CNN算法流程 -- 可分为3个步骤

3、R-CNN算法与Fast R-CNN算法特征提取对比

3、Fast R-CNN算法流程详细步骤

4、Fast R-CNN算法框架

一、R-CNN理论

1、引出

R-CNN可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，曾在2010年带领团队获得终身成就奖。

2、R-CNN算法流程 -- 可分为4个步骤

-- 一张图像生成1K~2K个候选区域（使用Selective Search方法）

-- 对每个候选区域，使用深度网络提取特征（之前学习过的图像分类网络）

-- 特征送入每一类的SVM分类器，判别是否属于该类

-- 使用回归器精细修正候选框位置

3、R-CNN算法流程详细步骤

（1）候选区域的生成

利用selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，而这些结构就包含着可能需要的物体。

（2）对每个候选区域，使用深度网络提取特征

将2000候选区域缩放到227x227pixel（图片大小），接着将候选区域输入事先训练好的AlexNet CNN网络获取4096维的特征得到2000×4096维矩阵。

在图像分类的学习当中，在其分类网络进行卷积提取特征后进行展平操作，然后传入全连接层；而在这里是去掉了全连接层，获取候选区域的特征向量。

（3）特征送入每一类的SVM分类器，判定类别

将2000×4096维特征与20个SVM组成的权值矩阵4096×20相乘，获得2000×20维矩阵表示每个建议框是某个目标类别的得分。分别对上述2000 ×20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框。

★ 非极大值抑制（NMS）剔除重叠建议框

（4）使用回归器精细修正候选框位置 -- （依旧针对CNN输出的特征向量进行预测）

对NMS处理后剩余的建议框进一步筛选。接着分别用20个回归器对上述20个类别中剩余的建议框进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。
如图，黄色框口P表示建议框Region Proposal，绿色窗口G表示实际框Ground Truth，红色窗口G表示Region Proposal进行回归后的预测窗口，可以用最小二乘法解决的线性回归问题。

4、R-CNN框架

5、R-CNN存在的问题

（1）测试速度慢

测试一张图片约53s(多核CPU)。用Selective Search算法提取候选框用时约2秒，一张图像内候选框之间存在大量重叠，提取特征操作冗余，重叠部分将多次卷积提取特征。

（2）训练速度慢

需要训练图像分类网络、SVM分类器、回归器，三者之间相互独立；过程及其繁琐。

（3）训练所需空间大

对于SVM和bbox回归训练，需要从每个图像中的每个目标候选框提取特征，并写入磁盘。对于非常深的网络，如VGG16，从VOCO7训练集上的5k图像上提取的特征需要数百GB的存储空间。

二、Fast R-CNN

1、引出

Fast R-CNN是作者Ross Girshick继R-CNN后的又一力作。同样使用vGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%(在Pascal voc数据集上)。

2、Fast R-CNN算法流程 -- 可分为3个步骤

-- 一张图像生成1K~2K个候选区域（使用Selective Search方法）

-- 将图像输入网络得到相应的特征图，将SS算法生成的候选框投影到特征图上获得相应的特征矩阵。

-- 将每个特征矩阵通过ROI pooling层缩放到7×7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果。（ROI == Region of Interest）

3、R-CNN算法与Fast R-CNN算法特征提取对比

（1）R-CNN算法（依次传入候选区域）

R-CNN算法是依次将候选框区域输入卷积神经网络得到特征。

（2）Fast R-CNN算法（一次性传入计算整张图像特征）

Fast R-CNN算法是将整张图像送入网络，紧接着从特征图像上提取相应的候选区域。这些候选区域的特征不需要再重复计算。

3、Fast R-CNN算法流程详细步骤

下面我们以图片的形式呈现：

Fast R-CNN训练数的采样：在训练过程当中我们并不是去使用SS算法提供的所有候选区域，训练过程中取其中一小部分（64/2000），并且这部分数据分为正样本（包含ROI -- 候选框与真实框IOU > 0.5）和负样本（不包含ROI），目的是为了保证训练、检测结果平衡。

4、Fast R-CNN算法框架

Faster-RCNN理论相关推荐

经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
目录一.目标检测的基本介绍 1.1 什么是目标检测? 1.2 目标检测算法的分类二.RCNN 2.1 RCNN简介 2.2 RCNN算法流程 2.3 RCNN流程图 2.4 RCNN框架 2.5 ...
里程碑式成果Faster RCNN复现难？我们试了一下 | 附完整代码
作者 | 已退逼乎来源 | 知乎 [导读]2019年以来,除各AI 大厂私有网络范围外,MaskRCNN,CascadeRCNN 成为了支撑很多业务得以开展的基础,而以 Faster RCNN 为基 ...
从RCNN到Fast RCNN，再到Faster RCNN的奥秘
目标检测是近年来理论和应用的研究热点,它是图像处理和计算机视觉学科的重要分支,也是智能监控系统的核心部分,同时目标检测也是泛身份识别领域的一个基础性算法,对后续的人脸识别.步态识别.人群计数.实例分割 ...
【论文阅读笔记】faster rcnn 代码阅读细节
faster rcnn细节 bounding box regression原理理论 faster rcnn 代码 box_coder.py 参考: https://zhuanlan.zhihu.co ...
目标检测 Faster R-CNN运行及实时性DEMO测试
faster-rcnn:Fast Region-based Convolutional Neural Networks基于区域的卷积神经网络 http://blog.csdn.net/column/d ...
faster rcnn接口_源码解析faster rcnn （mask rcnn）全过程
1. 总领过程--官方faster cnnn 调用过程 import torchvision, torch # 导入官方faster rcnn 模型 model = torchvision.model ...
详细的Faster R-CNN源码解析之RPN源码解析
在阔别了将近三个月之后,笔者又准备更新博客了.对于前两个多月的未及时更新,笔者在此向大家表示歉意,请大家原谅. 本次博客的更新是关于Faster R-CNN的源码.首先说一下笔者为什么要更新Faste ...
Faster RCNN流程图
最近在看Faster RCNN的源码,按照数据的计算过程,绘制了数据的流程图根据一下内容: CSDN讲解文章:睿智的目标检测27--Pytorch搭建Faster R-CNN目标检测平台视频讲解: ...
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
参考 ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector - 云+社区 - 腾讯云目录 ...
理解Faster R-CNN
首先放R-CNN的原理图显然R-CNN的整过过程大致上划分为四步: 1.输入图片 2.生成候选窗口 3.对局部窗口进行特征提取(CNN) 4.分类(Classify regions) 而R-CNN的 ...

Faster-RCNN理论

声明：所有图片均来自B站UP霹雳吧啦Wz，用作学习笔记

一、R-CNN理论

1、引出

2、R-CNN算法流程 -- 可分为4个步骤

3、R-CNN算法流程详细步骤

4、R-CNN框架

5、R-CNN存在的问题

二、Fast R-CNN

1、引出

2、Fast R-CNN算法流程 -- 可分为3个步骤

3、R-CNN算法与Fast R-CNN算法特征提取对比

3、Fast R-CNN算法流程详细步骤

4、Fast R-CNN算法框架

Faster-RCNN理论相关推荐

最新文章

热门文章