准确度判断语义分割_【语义分割】DeepLab v1/v2

【语义分割】【TPAMI2017】DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

核心思想

采用空洞卷积的方式在不增加参数数量的情况下扩大感受野，减少下采样次数。
采用空洞空间金字塔池化（ASPP）解决目标尺度不一的问题。
将CNN与条件随机场（CRF）结合，用于更好地处理分割目标边界等细节。

算法流程

将在图像分类问题上预训练的深度卷积网络（VGG-16或ResNet-101）的末尾所有全连接层转变为卷积层，并用空洞卷积替换普通的卷积来增大特征分辨率，将原来的1/32原图尺寸提升至1/8原图尺寸。
对网络输出结果使用双线性插值的方法增大8倍至原图尺寸。
使用全连接条件随机场处理放大后的特征图，得到最终的分割结果。

空洞卷积

传统CNN中的池化层或步长会大大降低特征图的分辨率，一些方法采用反卷积层来恢复图像尺寸，空间和时间开销较大。

DeepLab采用空洞卷积的方式来扩大感受野，即：

其中空洞率r控制了感受野的范围，当r=1时即为普通的卷积操作。1维上的原理：

由于空洞卷积代替池化层达到了扩大感受野的作用，因此原来下采样-卷积-上采样的过程只需要用一次空洞卷积即可替代，如图：

考虑到算法开销，5个下采样层中的最后两个用空洞卷积替换，得到的特征图为1/8原图尺寸，随后使用双线性插值的方式将特征图放大至原图大小。

空洞空间金字塔池化（ASPP）

该模块仿照R-CNN的空间金字塔池化，用多个空洞率各不相同的空洞卷积层平行地提取特征，并组合成最终的结果，目的是利用不同空洞率产生的不同感受野更好地捕捉不同大小尺度的目标。

条件随机场（CRF）

单纯由CNN得到的语义分割图像通常对于边界的预测并不精确。DeepLab采用了全连接条件随机场，来更好地预测分割的边界。条件随机场的效果如图，其中上图为得分图，下图为softmax之后的概率图：

实验细节

主干网络使用在ImageNet上预训练的VGG-16和ResNet-101网络，与FCN一致。
损失函数为输出的特征图在各个位置上的交叉熵之和，且所有位置以及所有标签都拥有相同的权重。
优化算法采用随机梯度下降，整个网络所有参数都参与学习。
CNN的训练和条件随机场的训练分开进行。

结果

作者测试了几种不同的卷积核尺寸搭配不同的空洞率情况下的计算速度和准确率，结果如图，其中最后一列为平均IOU，FOV为感受野大小：

该结果表明使用3x3卷积核以及12空洞率可以在准确率相似的情况下大大减少参数数量，加快计算速度。该模型在PASCAL VOC 2012的官方测试集上达到了70.3%的平均IOU。

作者也比较了给予VGG-16的单分支结构和ASPP结构的效果，结果如图，其中三种方法分别为单分支、小空洞率的四分支ASPP和大空洞率的四分支ASPP：

另外，使用ResNet-101结构代替VGG-16，以及采用多尺度输入、预训练、数据增强、条件随机场等方法都能不同程度地提升算法的准确度。作者的最优的模型在PASCAL VOC 2012测试集上达到了79.7%的平均IOU：