1.文字回答:按照自己的观点,总结对于语义分割的理解

语义分割是对一张图片的每一个像素点进行分类,并将每个类别(车,车道,人物,建筑,天空)用不同的颜色标注出来。它是计算机视觉中的关键任务之一,越来越多的应用场景需要从影响中推理出相关的知识和语义。语义分割可以帮助场景理解

2.文字回答:怎样理解论文中的Figure 2 ?

图2展示了如何把分类网络的backbone应用到语义分割任务中。把全连接层去了,转换成卷积层,让网络输出一个heatmap。这样做有两个好处,一是可以实现任意尺寸的输入,原vgg模型则要求固定尺寸的输入;二是输出为与输入同尺寸的图像,实现了端到端。

3.文字回答:用文字描述论文中的Figure 3

描述了网络特征图进行融合的过程。每次经过pool层进行一次下采样,尺寸减小一半,最后产生了1/32预测特征图(FCN-32s);1/32特征图上采用为1/16特征图,和原来的1/16特征图在通道上进行合并产生1/16预测特征图(FCN-16s);合并结果再二次上采样,成为1/8特征图,和原来的1/8特征图合并为1/8预测特征图(FCN-8s)。

4.文字回答:将论文Results中提到的前三个指标,用自己的理解描述出来

Pixel Accuracy(PA,像素精度):标记正确的像素点占所有像素点的比例。

Mean Pixel Accuracy(MPA 均像素精度):计算每个类内被正确分类像素数的比例,再求所有类的平均。

mean IU(MIoU 均交并比):按类别平均的交并比,计算真实值和预测值的交集和并集。

5.代码实践:在CamVid上得到测试结果,分析整个训练过程中loss和指标的变化趋势

6.本文摘抄

主要成就:FCN是第一个实现端到端,像素到像素的语义分割网络

核心思想:构建了一个全卷积网络,可以输入任意尺寸的图像,并得到同样尺寸的输出

主要方法:将当前分类网络改编成全卷积网络并进行微调,设计跳跃连接将全局信息和局部信息连接起来相互补偿

相关术语:局部信息:提取位置:浅层网络中提取局部信息;特点:物体的几何信息比较丰富,对应的感受野较小;目的:有助于分割尺寸较小的目标,有利于提高分割的精确程度

全局信息:提取位置:深层网络中提取全局信息;特点:物体的空间信息比较丰富,对应的感受野较大;目的:有助于分割尺寸较大的目标,有利于提高分割的精确程度

感受野:决定某一层输出结果中一个神经元所对应原始输入层区域大小,为感受野。stride越大,感受野越大。但过大的stride会使feature map保留的信息变少。

平移不变性:图片中的目标无论被移到图片的哪个位置,分类结果都应该是相同的。浅层CNN符合这个特征,深层CNN不符合。

Shift-and-stitch: 补零+平移原始图片得到四种版本的输入图片;再通过最大池化得到对应的四张输出特征图;最后通过四张输出图拼接成密集预测图。

上采样:以往用插值进行上采用,FCN中用反卷积进行上采样。

类平衡对模型最后结果有一定影响

算法通过混淆矩阵计算PA, MPA, IoU。

1. 将AlexNet, VGG, GoogLeNet框架都用了一遍,微调它们让他们能进行语义分割。

2. 语义分割在semantics和location之间权衡。global信息解决事什么, local信息解决在哪。因此本文用skip跳跃连接, 把deep, coarse, senmantic information和shallow, fine, appearance information连接起来。

3. 把全连接改成全卷积,不仅可以生成heatmap,也让计算量在这些块中被均摊。

语义分割matlab实现fcn_语义分割之FCN相关推荐

  1. 利用NVIDIA-NGC中的MATLAB容器加速语义分割

    利用NVIDIA-NGC中的MATLAB容器加速语义分割 Speeding Up Semantic Segmentation Using MATLAB Container from NVIDIA NG ...

  2. 超强语义分割算法!基于语义流的快速而准确的场景解析

    论文地址:https://arxiv.org/abs/2002.10120 代码地址:https://github.com/donnyyou/torchcv 该论文提出了一种有效且快速的场景解析方法. ...

  3. 憨批的语义分割重制版2——语义分割评价指标mIOU的计算

    憨批的语义分割重制版2--语义分割评价指标mIOU的计算 注意事项 学习前言 什么是mIOU mIOU的计算 1.计算混淆矩阵: 2.计算IOU: 3.计算mIOU: 计算miou 注意事项 这是针对 ...

  4. 眼睛血管分割matlab版本

    matlab的代码仅供参考,实现过程基本按照python版本的眼睛血管分割来实现.其中,python版本眼睛血管分割详见:眼睛血管分割python版 clc; clear all; close all ...

  5. matlab迭代分水岭分割,matlab分水岭分割算法

    single [-1, 1] double 17-17 17-17 Normalized Difference Vegetation Index NDVI with Threshold Applied ...

  6. 基于MATLAB改进Otsu阈值分割的车道线检测

    基于MATLAB改进Otsu阈值分割的车道线检测 摘要:在判断车道偏离以防止车辆碰撞等危害时,车道标线检测需要通过图像处理来进行,检测方法是否适用于各种背景环境条件以及检测的及时性至关重要传统的Ots ...

  7. 肺实质分割matlab实现

    肺实质分割matlab实现 前言 一.阈值分割 二.提取人体部分 三.提取疑似肺质 四.去除非肺质 五.最终输出肺质图 完整代码 前言 最近有个课程作业,肺实质分割,找了很多代码,大部分都不能用,最后 ...

  8. matlab中图像的阈值分割,基于MATLAB的图像阈值分割技术汇总

    数字图像处理课程论文 基于MATLAB的图像阈值分割技术 摘要:本文主要针对图像阈值分割做一个基于MATLAB的分析.通过双峰法,迭 代法以及OUTS法三种算法来实现图像阈值分割,并且就这三种算法做了 ...

  9. matlab人工选择阈值进行分割,基于MATLAB的图像阈值分割算法的研究

    [摘要]:图像分割是一种重要的数字图像处理技术.本文首先介绍了图像分割技术,其次总结了目前图像分割技术中所用到的阈值.边缘检测.区域提取等方法以及分水岭算法.针对各种阈值分割算法,本文在最后做了详细的 ...

最新文章

  1. android 让item满屏,Android的全屏活动?
  2. 【Java线程】深入理解Volatile关键字和使用
  3. spring集成mybatis后,打印SQL语句
  4. windows ubuntu使用移动硬盘出现无法挂载(解决办法)
  5. 查看docker镜像内部端口号_Docker 安装部署
  6. 汇编语言 XOR 指令
  7. 【android免root脚本制作】自动坐标操作手机——京东金融程序金果摇钱树自动收金果
  8. Visual FoxPro权威指南写作原稿及光盘下载
  9. 记忆训练 0-100的110个数字对应编码
  10. APP支付宝登录第三方授权如何签约入口在哪里
  11. Python动态画图小代码(Turtle Graphics)
  12. 28岁程序员的2016规划
  13. 神经网络基础之激活函数
  14. 串口调试助手总是多发送两个字节 0d 0a
  15. 旅行售货商模型matlab,旅行售货员问题的几种解决方案.doc
  16. 推荐 | CSP-JS信奥赛教材
  17. spring--享学课堂
  18. 基于CNN的图像识别(Tensorflow)
  19. c#第二课,气泡屏保
  20. 萧井陌java_萧井陌编程入门指南

热门文章

  1. 吉林大学计算机专业课资料包括视频
  2. Unity 垂直同步VSync
  3. 工业4.0下:毫米波产业链的落地变革
  4. [论文精读]GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
  5. 子弹短信,终于更新了一些有意思的功能
  6. ThreadPool.QueueUserWorkItem的用法,带参数和不带参数
  7. Vue elementUI中把数据库中的1,0转成男女
  8. window下查看网页保存的密码
  9. EAS工作流中的审批信息表关系
  10. ad域不去用frs_为什么超级巨星当不了教练?乔丹:用我的标准去要求年轻人不公平...