半监督方法:不确定性感知自增强模型
半监督方法:不确定性感知自增强模型
文献:Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation(半监督方法:不确定性感知自增强模型)
原文:https://arxiv.org/abs/1907.07034
代码:https://github.com/yulequan/UA-MT
主题:semi-supervised, segmentation,Uncertainty estimation
文章目录
- 半监督方法:不确定性感知自增强模型
- Abstract(摘要)
- Introduction(研究背景/意义)
- Method(研究思路)
- 1.数据来源
- 2.研究方法和原理
- Experiments and Results(实验结果)
- 实验细节
- Conclusion(结论)
Abstract(摘要)
想解决什么问题?question
深度卷积神经网络的训练通常需要大量的标记数据。然而,在医学图像分割任务中注释数据是昂贵和费时。
通过什么理论/模型来解决这个问题?method
a uncertainty-aware semi-supervised framework
作者给出的答案是什么?answer
我们的框架通过鼓励对不同干扰下的相同输入进行一致的预测,可以有效地利用未标记数据。具体来说,该框架由学生模型和教师模型组成,学生模型通过最小化对教师模型目标的分割损失和一致性损失来对教师模型进行学习。
Introduction(研究背景/意义)
为什么研究这个课题?
从3D医学图像中描绘注释是昂贵而乏味的,未标记的数据是丰富的。
目前这个课题的研究进行到了哪一阶段?(存在问题、待解决问题)
Previous methods: a self-training-based method ,the weight-averaged consistency targets ,deep adversarial network (DAN),aversarial learning based semi-supervised method (ASDNet)
Shortcoming: 虽然经取得了可喜的进展,但这些方法没有考虑目标的可靠性,这可能导致毫无意义的指导.
Current method: 我们的方法遵循mean-teacher的相同精神,鼓励对同一输入在不同扰动下的分割预测保持一致。
理论是基于哪些假设?(看不明白也没关系,先抄下来)
我们的框架通过鼓励对不同干扰下的相同输入进行一致的预测,可以有效地利用未标记数据。更重要的是,我们探索模型的不确定性,以提高目标的质量。我们设计了不确定性感知平均教师(UA-MT)框架,利用教师模型的不确定性信息,学生模型逐渐从有意义和可靠的目标中学习。具体地说,除了生成目标输出,教师模型还通过蒙特卡罗抽样估计每个目标预测的不确定性。在估计不确定性的指导下,在计算一致性损失时,我们过滤掉不可靠的预测,只保留可靠的预测(低不确定性)。
Method(研究思路)
1.数据来源
Atrial Segmentation Challenge dataset4, GE-MRIs
2.研究方法和原理
(先看文章中的table,而不是理论的推导过程)
2.1 整体流程
如上图(Fig.1)所示,对于有标签数据,学生模型 (student model)进行有监督学习。对于无标签数据,通过教师模型 (teacher model)预测分割图,作为学生模型 (student model)的学习目标,并同时评估学习目标的不确定性。基于学习目标的不确定性,采用一致性损失函数提高学生模型的性能。
下面的数学理论翻译来自: [Python编程和深度学习]
Experiments and Results(实验结果)
参数:
Dice:不同样本的相似度
Jaccard:
Hausdorff distance(HD):描述了两组点之间的相似性
ASD:平均表距离
MT: 原平均教师法,MT- dice:改进平均教师法
UA-MT-UN:为了分析一致性丢失对标记数据和未标记数据的重要性,仅对未标记数据进行一致性损失。
实验细节
数据预处理:
1、数据nrrd形式,归一化后转为h5py形式封装起来,构造Dataset类,Dataloader加载
2、数据集 train:test = 8 : 2
3、train data: Random crop ,Random flip、rotate
test data:Center Crop
V-net:
1、Dice loss与Cross entropy loss结合
2、2个dropout层,上采样和下采样的最后一层
Conclusion(结论)
使用未标记的数据、模型的不确定性,可以提高目标的质量
未来的工作研究:不同不确定性估计方式的影响
半监督方法:不确定性感知自增强模型相关推荐
- 超强文本半监督方法MixText
低资源少样本NLP问题是JayJay比较关注的一个方向,说白了就是一个问题:标注样本少怎么办?而半监督学习就是解决这一问题的一个重要手段. 半监督学习在CV领域早已经"大显身手", ...
- 登顶KITTI!Mix-Teaching:适用于单目3D目标检测的半监督方法【清华大学】
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨汽车人 来源丨自动驾驶之心 论文标题:Mix-Teaching: A Simple, Unifi ...
- 一种基于局部线性嵌入的半监督方法——半监督局部线性嵌入(SSLLE),MATLAB程序代码
具体内容大家可以看一下参考文献的原文,这里附上我的自己编的MATLAB程序代码: % SSLLE算法 % [Y] = sslle(X,K,d,l,r) % X :data as D x N matri ...
- 【Re-ID】现有方法调研 - 无监督/半监督方法 - 其他方法
文章目录 问题是什么 论文合集 [1.OSNet : Learning Generalisable Omni-Scale Representations for Person Re-Identific ...
- 【半监督医学图像分割 2022 CVPR】S4CVnet 论文翻译
文章目录 [半监督医学图像分割 2022 CVPR]S4CVnet 摘要 1. 介绍 2. 相关工作 3. 方法 3.1 CNN & ViT 3.2 特征学习模块 3.3 引导模块 3.4 目 ...
- 【半监督医学图像分割 2021 TMI】SimCVD 论文翻译
文章目录 [半监督医学图像分割 2021 TMI]SimCVD 论文翻译 摘要 1. 介绍 2. 相关工作 3. 方法 3.1 总览 3.2 任务制定 3.3 基础体系结构 3.4 边缘对比蒸馏 4. ...
- 医学影像半监督分割--基于数据扰动
从医学影像中分割出相应的组织,在临床应用中起着至关重要的作用.近年来,深度学习在在图像分割方面获得了巨大的成功,第一个图像分割的网络就是经典的U-Net模型,后续的图像分割的网络基本都是在此基础上进行 ...
- 半监督3D医学图像分割(三):URPC
Efficient Semi-supervised Gross Target Volume of Nasopharyngeal Carcinoma Segmentation via Uncertain ...
- 【半监督医学图像分割 2023 CVPR】UCMT 论文翻译
文章目录 [半监督医学图像分割 2023 CVPR]UCMT 论文翻译 摘要 1. 介绍 2. 相关工作 2.1 半监督学习 2.2 半监督分割 2.3 不确定性引导的半监督语义分割 3. 方法 3. ...
最新文章
- linux各种模式切换
- 7系列高速收发器总结 GTP IP核使用篇
- npm升级package.json依赖包
- 找不到r低版本_R 语言与数据挖掘直播班开始招生,生信分析帮你发高分文章
- 常用机器学习算法汇总(中)
- android am start activity,adb shell am start -n package/.XXXactivity命令学习汇总
- ffmpeg 推流命令记载
- Relay传递基础架构
- Gnome3桌面美化
- 程序猿头头(object与数组的简单应用)
- (五)JMockit的API:@Capturing--基础篇
- php如何对mysql加锁_MySQL 加锁处理分析(一)
- 抖抖代码-爬取企查查企业信息
- Linux中 ps命令详解
- 干货满满!25种绝佳VSCode扩展,体验便捷高效的生活
- 【Exploit trick】针对 cred 结构的 cross cache 利用(corCTF 2022-cache-of-castaways)
- Redis安装教程(详细)
- vue3源码分析--真的有必要掌握框架的细枝末节吗?
- 【FPGA】SCCB通信协议
- 详解 NFT 借贷资金池清算机制:如何避免 BendDAO 式流动性危机?
热门文章
- Jquery遍历元素
- android 支付宝特别卡,2017支付宝取消万能卡了吗 顺手牵羊卡被取消了吗
- 苹果小程序上下拉出现留白情况
- 对未来计算机的畅想英语50个单词,《英语2》作业
- 重置手机,腾出60G空间
- uniapp 分享微信好友、微信朋友圈、QQ
- 二维对象,根据最里面的子对象的属性,来过滤,获取新的对象
- Android 查看系统Linux kernel版本号
- 点击某个物体人机验证码java,captcha: 行为验证码(滑动拼图、点选文字),前后端(java)交互,包含h5/flutter/uni-app的源码和实现...
- AlexNet-阅读笔记-理解