【图像分割模型】实例分割模型—DeepMask
这是专栏《图像分割模型》的第11篇文章。在这里，我们将共同探索解决分割问题的主流网络结构和设计思想。
本文介绍了用于实例分割任务的模型结构——DeepMask。
作者 | 孙叔桥
编辑 | 言有三
本期论文:《Learning to Segment Object Candidates》
1 实例分割
区别于本系列之前介绍的语义分割任务，实例分割任务有其自己的任务需求与度量矩阵。简单来讲，语义分割只分割视野内目标的类型，而实例分割则不仅分割类型，同时还需要分割同类型的目标是否为同一个实例。
举个例子，下面图片中所有的目标都是“猫”，但只有蓝色的那只是你家的，其他都是借来拍照凑数的。那么，拍照结束回家时，只能分辨眼前的目标是否是“猫”已经不够了，还需要能够知道哪只是自己的。否则，别家的主人可能会请你喝茶。
由此可以看出，在某些应用场景下，我们需要对视野内相同实例进行区别标注，比如cat1，cat2，等。这时就可以用到实例分割的网络，比如本文中会介绍的DeepMask。
2 DeepMask
DeepMask网络其实实现了三个任务：前背景分割、前景语义分割与前景实例分割。这三个任务是基于同一个网络结构进行的，只是各自有单独的分支。下图是DeepMask的网络模型概况：
与大部分分割网络相同，DeepMask同样应用了VGG模型作为特征提取的主要模块，在训练中也用了ImageNet下训练得到的VGG参数初始化这一部分模型。
随后，DeepMask用两条分支来分别实现分割任务和前景目标识别任务。下面我们来具体看一下这两个分支：
(1) 分割部分
分割部分要实现的是对图块内场景的类别的识别，由一个1x1卷积层后接分类层实现。这里的分类是稠密的，也就是对每一个像素都有其对应的标注。
这里需要注意的是，为了实现实例分割，分割部分的分支必须能够看到输入图块的所有信息，从而在多个目标同时存在时判断是否属于同一个我们需要的目标。比如下图中有多头大象：
但是我们只希望标注出其中的一头：
(2) 前景Score部分
网络的第二个分支要完成的任务是，判断一个图块是否满足下面两个要求：
目标位于图块的正中心附近
目标完整存在于图块中（在某一尺度范围内）
这一部分由一个2x2的最大池化层，后接两个全连接层组成。最终的输出是一个目标score，用来显示该目标是否满足上面的要求。
3 训练细节
DeepMask的训练过程对于分割任务是很有借鉴意义的。这里，网络的两个分支共同训练，损失函数如下：
除了基本的分割要求，DeepMask还做了一个限定，使得在测试推理阶段，网络会尝试对所有的图块都进行分割，即使该图块中不存在目标。为了实现这个目的，其采用的策略是，对于不存在目标的图块，只训练分割分支。
下图是DeepMask的训练输入，包括图块（左图）、是否是目标（右图）和目标类型（颜色框）。
网络与VGG-A相同，接收的RGB输入尺寸为3x224x224，生成的特征尺寸为512x14x14。由于网络结构导致输出尺寸小于原始尺寸（分割分支为1/16，目标分支为1/32），因此需要应用双线性插值将结果恢复成原始尺寸。这么做的原因是考虑到网络的体量和计算量。这个设定下，DeepMask约包含75M的参数。
4 实验结果
DeepMask在MS COCO数据集下进行了测试，下图是测试结果：
这里选择的学习率为0.001，batch size为32，动量0.9，权重下降0.00005，训练需要5天左右。
下表是分割结果比较：
本专栏文章：
第一期：【图像分割模型】从FCN说起
第二期：【图像分割模型】编解码结构SegNet
第三期：【图像分割模型】感受野与分辨率的控制术—空洞卷积
第四期：【图像分割模型】快速道路场景分割—ENet
第五期：【图像分割模型】以RNN形式做CRF后处理—CRFasRNN
第六期：【图像分割模型】多感受野的金字塔结构—PSPNet
第七期：【图像分割模型】全局特征与局部特征的交响曲—ParseNet
第八期：【图像分割模型】多分辨率特征融合—RefineNet
第九期：【图像分割模型】用BRNN做分割—ReSeg
第十期：【图像分割模型】BRNN下的RGB-D分割—LSTM-CF
第十一期：【图像分割模型】实例分割模型—DeepMask
第十二期：【图像分割模型】全景分割是什么？
感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！
【图像分割模型】实例分割模型—DeepMask相关推荐
- 线性插值改变图像尺寸_【图像分割模型】实例分割模型—DeepMask
这是专栏<图像分割模型>的第11篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文介绍了用于实例分割任务的模型结构--DeepMask. 作者 | 孙叔桥 编辑 | ...
- 在英特尔独立显卡上部署YOLOv5 v7.0版实时实例分割模型
作者:贾志刚 英特尔物联网创新大使 目录 1.1 YOLOv5实时实例分割模型简介 1.2 英特尔®消费级锐炫™ A 系列显卡简介 1.3 在英特尔独立显卡上部署YOLOv5-seg模型的完整流程 ...
- pascal行人voc_在一个很小的Pascal VOC数据集上训练一个实例分割模型
只使用1349张图像训练Mask-RCNN,有代码. 代码:https://github.com/kayoyin/tiny-inst-segmentation 介绍 计算机视觉的进步带来了许多有前途的 ...
- 基于yolov7开发实践实例分割模型超详细教程
在我前面的博文中写过基于yolov5-v7.0模型开发的实例分割模型的超详细教程,即使是零基础入门的新手也都是可以按照教程步骤一步一步开发构建自己的应用.文章在下面,感兴趣的话可以自行移步阅读即可: ...
- [深度学习概念]·实例分割模型Mask R-CNN详解
实例分割模型Mask R-CNN详解 基础深度学习的目标检测技术演进解析 本文转载地址 Mask R-CNN是ICCV 2017的best paper,彰显了机器学习计算机视觉领域在2017年的最新成 ...
- ajax 更新模型数据_PyTorch视觉工具包torchvision重大更新！支持各种检测模型、分割模型，还有许多数据集...
栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI PyTorch宣布了视觉工具包torchvision的重大更新. 终于来到torchvision 0.3了. 这次,工具包里增加了许多新模型 ...
- 实例分割模型Mask R-CNN详解——从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN
转载自 jiongnima 原文链接 https://blog.csdn.net/jiongnima/article/details/79094159 Mask R-CNN是ICCV 2017的bes ...
- 实例分割模型Mask R-CNN详解：从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN
Mask R-CNN是ICCV 2017的best paper,彰显了机器学习计算机视觉领域在2017年的最新成果.在机器学习2017年的最新发展中,单任务的网络结构已经逐渐不再引人瞩目,取而代之的是 ...
- 【深度学习】Mask-RCNN 计算机视觉实例分割模型介绍 Mask分支
论文:https://arxiv.org/pdf/1703.06870.pdf 视频:https://www.bilibili.com/video/BV1ZY411774T?spm_id_from=3 ...
最新文章
- .xyz域名注册总量TOP10服务商：中国占据4个席位
- 优衣库不雅_Uniqlo主页-用户体验案例研究
- python将excel导入oracle,使用Python将Excel文件导入到Oracle数据库里
- SAP澄清概念、理清思路、组织机构
- HDU 6444 Neko's loop（单调队列）
- python︱apple开源机器学习框架turicreate中的SFrame——新形态pd.DataFrame
- DBSCAN聚类︱scikit-learn中一种基于密度的聚类方式
- This account is currently not available 解决办法
- Unity3D 图集分割
- 无法处理文件 Snoop\Forms\BindingMap.resx，因为它位于 Internet 或受限区域中，或者文件上具有 Web 标记。要想处理这些文件，请删除 Web 标记。
- CAD2006 ----VBA(Hello World)
- android自动调节屏幕亮度自动调节流程解析
- 1894 Beckham’s Freekick
- 再生龙备份linux文件多大,使用再生龙Clonezilla备份还原Linux系统
- thinkphp图片拖动验证码
- 中国市场超阿迪耐克 安踏领衔打响国货反击战
- Android自定义控件系列二：自定义开关按钮
- 计算机已从异常关机中恢复,(BCCode7a蓝屏问题，急！)今天电脑开机放着，人离开了，回来后提示windows从异常关机中恢复...
- 我不喜欢孤单，但是我喜欢享受孤独！
- curl 设置超时时间