图像多尺度特征融合、特征金字塔总结
参考链接：
https://blog.csdn.net/qq_36268755/article/details/106192524?spm=1001.2014.3001.5502
https://zhuanlan.zhihu.com/p/366646884
SPP、ASPP与PPM_我不是薛定谔的猫的博客-CSDN博客_ppm 和aspp
一、多尺度与特征融合
1.多尺度：可以简单理解为不同尺寸的图像，在不同尺寸下对图像进行采样，以及特征预测的效果不一样，大物体检测需要在低分辨率上较好，也就是深层特征，具有全局的感受野。小物体在底层高分辨率的预测较好，因为一些细节比如边缘在放大后预测的结果更好。
2.特征融合：分为早融合和晚融合。先进行特征融合，然后在结合预测，如skip-connecttion，concat和add操作，例如：Unet。晚融合，在预测的时候融合多个层的预测结果，如:FPN。（探究UNet和FPN的联系与差别）
3.Unet与FPN的差异：FPN是目标检测，Unet是分割，FPN要输出很多层，Unet只在最后一层，并且上采样方式不一样，一个是直接插值，一个是上卷可以优化参数。FPN的skip connection是做add，而unet是concat。
二、常用框架分类
(1) 多尺度输入。(2) 多尺度特征融合。(3) 多尺度特征预测融合。(4) 以上方法的组合。
1.多尺度输入：多个尺度的图像输入（图像金字塔），有点像Nvidia那个注意力机制，一般的是对多个尺度的预测结果结果进行平均或者Max or pooling等，改进：在输入加上注意力机制。
(2) 多尺度特征融合：第一种是并行多分支网络，第二种是串行的跳层连接结构.
a.并行多分支：
①使用不同大小的卷积核（Inception模块如下图）
②使用空洞卷积
③使用不同大小的池化，PSPnet，金字塔池化模块（如下图）
b.串行多分支：Unet（有skip-connection结构实现特征组合
(3) 多尺度特征和预测融合（也可以只有预测）：特征金字塔FPN，特征通过skip-connection传递，同时在每一层上采样的输出进行一个predict，综合各种尺度的特征预测。
三、特征金字塔系列
1、FPN（特征金字塔）
类似与Unet的结构，在目标检测中的一个模块，使用了skip-connection ，实现了多尺度特征融合和预测，是直接add相加
2、SPP（空间金字塔池化：目标检测）
何凯明大神提出的，解决RCNN中需要固定输入的图像尺寸，但是直接crop又会丢失一些信息。Fast-RCNN中的ROI pooling层实际上就是一种特殊的spatial pyramid pooling，它们思想是类似的，只是ROI pooling只用一种尺寸的网格来池化，而spatial pyramid pooling同时用了多种尺寸的网格。
3.PPM（空间金字塔池化：分割）：PSPNet网络提出的一个模块
4、ASPP（空洞卷积）
图像多尺度特征融合、特征金字塔总结相关推荐
- 深度特征融合---高低层（多尺度）特征融合
目录 概述 基本概念 典型方法概述 相关工作:多尺度模型设计 Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classificati ...
- 高低层特征融合【转载】
文章目录 1 高低层特征特点 2 高低层特征融合方法 3 案例 3.1 Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classif ...
- 特征融合的分类和方法
1.特征融合的定义 特征融合方法是模式识别领域的一种重要的方法,计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多的挑战,特征融合方法能够综合利用多种图像特征,实现多特征的优势互补, ...
- 深度学习之特征融合（高低层特征融合）
原文链接:https://blog.csdn.net/xys430381_1/article/details/88370733?utm_medium=distribute.pc_relevant.no ...
- （学习笔记2）特征融合
(学习笔记2)特征融合 特征融合的定义 特征融合的分类 参考文献 特征融合的定义 特征融合是模式识别领域的一种重要方法,计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍存在很多挑战,特征融合 ...
- 基于 FCCA 的多特征融合的检索方法
论文杂记 上一篇 主目录 下一篇 文章结构 1 知识基础 1.1 卷积神经网络 1.2 灰度共生矩阵 1.3 LBP 特征 1.4 特征融合 1.5 典型相关分析算法(CCA) 1.6 Faster- ...
- 基于局部能量特征和拉普拉斯金字塔的图像融合
导读 图像局部能量特征在图像的多尺度融合里应该广泛,比如小波融合,拉普拉斯金字塔融合等,虽然我也没怎么见到过.局部能量特征算是比较老的一种方法了,好像是2000几年提出的方法,因为在一篇论文中有用到, ...
- 双向特征融合的数据自适应SAR图像舰船目标检测模型
双向特征融合的数据自适应SAR图像舰船目标检测模型 人工智能技术与咨询 昨天 本文来自<中国图象图形学报>,作者张筱晗等 摘要: 利用合成孔径雷达(synthetic aperture r ...
- IEEE2019论文：使用基于特征融合和缩放的具有空间上下文分析的单镜头检测器在无人机图像中检测小物体
摘要: 无人机(UAV)图像中的目标由于拍摄高度较高通常都很小,我们虽然在目标检测方面已经做了很多工作,但是如何准确.快速地检测出小目标仍然是一个有待解决的挑战.本文针对无人机图像中的小目标检测问题, ...
最新文章
- plotly基于dataframe数据绘制柱状图（bar plot）
- vc++ 6.0对话框上无法显示中文（乱码）
- mysql主从同步原理_mysql主从同步以及原理
- 使用transforms.Compose套件做图像数据变换
- 用matlab进行边缘检测,利用MATLAB进行数字图像的边缘检测
- 设计模式实现一个简单的缓存
- mysql建三行三列表格_基于另一个表中列的名称在mysql中创建表
- RHadoop实践系列文章
- 【UI设计No9】VI
- CC++：计算某年某月的1号是星期几
- 低配电脑不能运行大型游戏？试试AWS EC2
- Java实现找零问题
- folium，绘制线段，连接成多边形
- ORA-04063: package body “SYS.DBMS_DATAPUMP“ has errors
- ssm实现记住账号密码（cookie）
- day3：多元统计模型
- 阿里巴巴技术部面试题——经典智力问题收集
- 太爽了！花了６个月18天，达内Java培优百度网盘
- 处理R安装后出现You're using a non-UTF8 locale, therefore only ASCII characters will work.的情况
- Axure 9实现折线图/曲线图