场景解析--Pyramid Scene Parsing Network

Pyramid Scene Parsing Network
CVPR2017
语义分割
https://github.com/hszhao/PSPNet

针对 FCN 中没有 context 信息，本文提出的 PSPNet 网络嵌入了比 global average pooling更好的 global context 信息来提升分割效果

2 Related Work

对于 scene parsing 和 semantic segmentation 任务，深度卷积网络是目前的主流方法。这里我们的基准网络是 FCN+dilated network。

目前大家的研究方向主要有两个：1）组合利用多尺度特征，2）使用 CRF作为分割后续处理方法。
对于global context 信息，文献【24】使用 global average pooling，但是对于复杂的 ADE20K 数据库，效果不是很好。这里我们使用了另一个 global context 信息

3 Pyramid Scene Parsing Network
3.1. Important Observations
针对 ADE20K 数据库，我们观察到了一些现象：
1）Mismatched Relationship 目标之间应该有一定的相关性
2）Confusion Categories 图像中同一个物体同时被标记为两个类别
field and earth; mountain and hill，wall, house, building and skyscraper
3）Inconspicuous Classes 大目标小目标问题
综上所述，主要问题在于 contextual relationship and global information for different receptive fields

3.2. Pyramid Pooling Module

在一个深度网络中，感受野的尺寸大小决定了我们有多少 context 信息可以用。理论上 ResNet 的感受野尺寸要比输入图像尺寸大。但是文献【42】指出CNN 的实际感受野尺寸要比理论尺寸小很多。文献【24】提出的 Global average pooling 对于复杂的 ADE20K 数据库来说过于简单了。这里我们借鉴文献【12】Spatial pyramid pooling 提出了 pyramid pooling module 来得到全局先验信息。

上图中间模块 pyramid pooling module 第一行是用 global pooling 生成的 a single bin output
第二行我们将特征图等分为4块，每块分别用global pooling得到 bin output。上图四行分别对应
1×1, 2×2, 3×3 and 6×6

为了维持 global feature 的权值，在每一行我们使用一个 1×1 convolution layer 来降低 context representation 的维度。接着我们使用 bilinear interpolation 插值，使其和原始特征图尺寸一样大小。最后和原始特征图组合起来。

4 Deep Supervision for ResNet-Based FCN
为了更好的训练网络层数较多的模型，我们引入了 additional loss，another classifier is applied after the fourth stage

The auxiliary loss helps optimize the learning process, while the master branch loss takes the most responsibility. We add weight to balance the auxiliary loss.

Deep Supervision 在人脸识别算法 DeepID2 中已经存在。

5 Experiments

场景解析--Pyramid Scene Parsing Network相关推荐

Pyramid Scene Parsing Network
论文地址:https://arxiv.org/pdf/1612.01105.pdf 源码地址:https://github.com/hszhao/PSPNet 来自:Semantic Segmenta ...
【PSPnet2017】Pyramid Scene Parsing Network
Pyramid Scene Parsing Network 金字塔式场景解析网络 arXiv:1612.01105v2 [cs.CV] 27 Apr 2017 文章地址:https://arxiv.o ...
【语义分割】PSPNet：Pyramid Scene Parsing Network
文章目录一.主要思想二.方法一.主要思想提出了pyramid pooling module (PPM) 模块,聚合不同区域的上下文信息,从而提高获取全局信息的能力. 现有的深度网络方法中,某一 ...
【论文阅读】PSPNet(Pyramid Scene Parsing Network)
用于语义分割的金字塔场景识别网络论文链接摘要该论文通过金字塔池化模块以及金字塔场景解析网络(PSPNet),通过基于不同区域的上下文信息聚合来利用全局上下文信息的能力.全局先验表示在场景解析任务 ...
机器学习笔记： Upsampling, U-Net, Pyramid Scene Parsing Net
前言在CNN-based 的模型中,我们可能会用到downsampling 操作来减少模型参数,以及扩大感受野的效果. 下图是一个graph segmentation的例子,就先使用 downsa ...
ECCV 2020 论文大盘点-场景解析篇
场景解析是一种特殊的语义分割,对整幅场景图像进行语义像素标注,典型应用是自动驾驶领域的道路环境的语义分割. 本文盘点 ECCV 2020 中所有场景解析(Scene Parsing)相关的3篇论文. ...
Adaptive Context Network for Scene Parsing
Adaptive Context Network for Scene Parsing Abstract 最近的研究试图通过探索不同层次的上下文来提高场景解析性能,通常训练一个设计良好的卷积网络来在 ...
场景分割：MIT Scene Parsing 与DilatedNet 扩展卷积网络
MIT Scene Parsing Benchmark简介 Scene parsing is to segment and parse an image into different image re ...
2020CVPR-目标分割-SPNet-Strip Pooling Rethinking Spatial Pooling for Scene Parsing
论文下载:SPNet-paper:Strip Pooling: Rethinking Spatial Pooling for Scene Parsing 代码下载:SPNet-github:Strip ...

场景解析--Pyramid Scene Parsing Network

场景解析--Pyramid Scene Parsing Network相关推荐

最新文章

热门文章