语义分割--Efficient and Robust Deep Networks for Semantic Segmentation

Efficient and Robust Deep Networks for Semantic Segmentation

Code: https://lmb.informatik.uni-freiburg.de/Publications/2017/OB17a/

在 Up-Convolutional Networks 的基础上，提出了 Part-Net，Fast-Net，M-Net。三个网络的侧重点不一样。

Part-Net 主要解决人体部件分割问题
Fast-Net 的特点主要是速度快，可以在移动GPU上运行
M-Net 通过多尺度融合达到网络的最大性能

A. 3.1 Part-Net
专门用于得到 highly accurate human body part segmentation，网络主要改进的地方在： refinement procedure and the feature map dropout module

网络的前半部分参数初始化使用 VGG分类网络参数，这样可以节省训练时间

这里采用了与 FCN 不同的 refinement architecture

1) FCN 中只有三层的refinement：32s-16s-8s，我们这里有 5层的 refinement 32s-16s-8s-4s-2s
2) 加了一个 dropout
The feature map from the contracting network part is fed into a convolutional layer followed by dropout to improve the robustness to over-fitting

3）针对人体部件分割，加入 Feature map dropout
Feature map dropout performs a standard Bernoulli trial per output feature during training, yet propagates the dropout value across the entire feature map

B. 3.2 Fast-Net

我们做的主要改进在一下几个方面：
1）Parameter reduction: FCN 在特征提取阶段使用了 VGG16 作为基础，这个网络有4096个 7*7 大小的滤波器，这个大尺寸滤波器计算量比较大。这里我们将 FC-conv 的滤波器数量从 4096 降低到 1024，滤波器尺寸由 7*7 变为 3*3，这样网络的参数减少一些，计算量也相应降低，当然精度有所下降，我们在网络的其他地方来提高精度。
2) New refinement to improve system accuracy: 这里主要是参考 U-Net 设计思想，增加了网络放大层的宽度， we increase the width of the up-convolutional side of the network。 Previously our network has a 1 − to − 1 mapping, each refinement has the same number of filters and classes ( N_cl ).

C. 3.3 M-Net

Incorporating low resolution features to a high resolution network makes M-Net more robust towards false positive detections

D. 3.4 Data Augmentation
• Scaling: Scale the image by a factor from 0.7 and 1.4
• Rotation: Rotate the image by an angle of up to 30 degrees
• Color: Add a value between −0.1 and 0.1 to the hue channel of the HSV representation

对于人体部件分割，所有的 augmentation transformations 都是有正作用的，但是对于道路分割， rotation and cropping transformations 没有被使用

E. 3.5 Network Training
M-Net 没有使用 VGG网络来初始化参数，其他的网络都用 VGG来初始化
训练采用了分阶段进行，每个阶段在一个 Titan X GPU 使用了一天时间，总共使用了5天训练了整个网络。 M-Nets 使用了 10天

实验结果：

没有使用 data augmentation

B. 4.2 Effect of Data Augmentation

C. 4.3 Effect of Layer Refinement

语义分割--Efficient and Robust Deep Networks for Semantic Segmentation相关推荐

论文笔记（FCN网络，语义分割）：Fully Convolutional Networks for Semantic Segmentation
FCN论文笔记:Fully Convolutional Networks for Semantic Segmentation 语义分割模型结构时序: FCN SegNet Dilated Convol ...
轻量级实时语义分割：Guided Upsampling Network for Real-Time Semantic Segmentation
轻量级实时语义分割:Guided Upsampling Network for Real-Time Semantic Segmentation 介绍网络设计 Guided unsampling mo ...
论文阅读：PMF基于视觉感知的多传感器融合点云语义分割Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation
题目:Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation 中文:用于 3D LiDAR 语义分割的多传感器感 ...
【语义分割】OCRNet：Object-Context Representations for Semantic Segmentation
文章目录一.文章出发点二.方法三.效果一.文章出发点每个像素点的类别(label)应该是它所属目标(object)的类别. 所以这篇文章对像素的上下文信息建模建模方法:求每个像素点和每个类 ...
CVF2020邻域自适应/语义分割：FDA: Fourier Domain Adaptation for Semantic SegmentationFDA：用于语义分割的傅立叶域自适应算法
邻域自适应/语义分割:FDA: Fourier Domain Adaptation for Semantic Segmentation FDA:用于语义分割的傅立叶域自适应算法 0.摘要 1.概述 1 ...
三维点云语义分割【综述】 ——Deep Learning for 3D Point Clouds: A Survey
3D POINT CLOUD SEGMENTATION 3D Semantic Segmentation Projection-based Networks Point-based Networks ...
语义分割--Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes
Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes CVPR2017 Theano/Lasagne ...
语义分割--Global Deconvolutional Networks for Semantic Segmentation
语义分割 Global Deconvolutional Networks for Semantic Segmentation BMVC 2016 https://github.com/DrSleep/ ...
论文阅读：Regularizing Deep Networks with Semantic Data Augmentation
论文阅读:Regularizing Deep Networks with Semantic Data Augmentation 动机特征空间的语义变换 Implicit semantic data ...

语义分割--Efficient and Robust Deep Networks for Semantic Segmentation

语义分割--Efficient and Robust Deep Networks for Semantic Segmentation相关推荐

最新文章

热门文章