RA-UNet阅读笔记

原文链接：https://arxiv.org/abs/1811.01328
代码链接：https://github.com/RanSuLab/RAUNet-tumor-segmentation

摘要：
由于肝脏和肿瘤的分布不均匀和形态各异，因此从CT图像中分割出肝脏和肿瘤是一个非常困难的任务。现在，2D和3D的卷积神经网络在医生图像分割任务中变得很流行，但是3D的卷积神经网络计算成本太高。因此本文提出一种名为RA-UNet的3D混合残差注意感知的分割方法，以精确提取感兴趣的肝脏体积(VOI)并从肝脏VOI中分割肿瘤。RA-UNet以3D Unet作为基本体系结构，然后结合低层特征图和高层特征图提取上下文信息。堆叠注意力模块使得网络变深，通过残差学习使得注意力特征图自适应变化。最后，在MICCAI 2017和3DIRCADb上性能达到SOTA，还将RA -UNet扩展到Brats2017和Brats2018中，并获得良好的性能。
引言：
通常肝脏肿瘤分割方法可分为3类：手动分割、半自动分割和自动分割。手动分割是一种主观性较强、可重复性差且非常耗时的方法。它高度依赖手工提取的特征，并且需要高级的技术人员来完成。半自动分割需要人工干预，而这可能导致偏差和错误。然而，自动分割受到大规模的空间和结构变化，肝脏与肿瘤区域之间的对比度低，噪声，部分体积效应，3D空间肿瘤特征的复杂性，以及与附近器官相似等因素的影响，使得自动化分割变得非常困难。
本文提出了一种名为RA-UNet的混合残差注意力的肝脏肿瘤分割方法，目的是以一种端到端的方式从CT图像中有效提取上下信息。论文贡献如下：首先，将残差块进行堆叠，这可以加深网络并且能够解决梯度消失问题。其次，注意力机制可以关注到图像的特定部分。通过堆叠注意力模块可以实现不同类型的注意，从而使注意感知的特征可以自适应地变化。第三，作者使用2D/3D U-Net作为基本架构来获取多尺度注意力信息并将低层特征与高层特征结合在一起。还值得注意的是，本文的肝脏/肿瘤分割方法是一个完整的3D网络，以端到端的方式进行分割预测。
相关工作：
介绍了许多用于肝脏肿瘤分割任务中的其他网络模型。(论文都这个套路，就不再赘述了。)
方法：
(1)数据预处理：
在表1中列出了一些主要组织的CT值，本文在实验过程中将HU窗口设置为-100到200，这样大部分无关的器官和组织都会被清除掉。在设置好窗宽以后，还对数据进行了零均值归一化和最小-最大归一化。

(2)网络结构：
网络结构如图1所示，(a)2D RA-UNet(RA-UNet-I)用一个box对肝脏进行粗略的定位。(b)3D RA-UNet(RA-UNet-II)设计用于在肝脏边界框内分层提取肝脏感兴趣区(VOI)的注意感知特征。（c）RA-UNet-II负责准确地提取肝脏VOI内部的肿瘤。(d)RA-UNet的总体架构。

其中，在(d)RA-UNet的总体网络结构里面，编码器和解码器之间是通过注意残差模块进行连接的，该模块包含一个主干分支(trunk branch)和一个软蒙版分支(soft mask branch)。具体结构如图2所示，(a)中主干分支学习图像的原始特征，而软蒙版分支则专注于减少图像噪声和增强有利于分割的好的特征；(b)表示的是(a)中软蒙版分支，其包含一堆编码器-解码器块。 D表示跳过连接的深度，在网络中根据注意力残差块的特定位置将D设置为0、1、2、3。

RA-UNet中使用的残差块如图3所示，由批处理归一化(BN)层，激活(ReLU)层和卷积层(Conv)的三组组合而成。

RA-UNet-I 的网络结构参数如表2所示，其中[ ]表示长连接；[ , ]定义拼接操作；Conv表示卷积；Up表示上采样； Res表示残差块；然后用 Att 表示“注意区域”的大小，以生成肝脏分割的最终概率图。

RA-UNet-II 的网络结构参数如表3所示，其中[ ]表示长连接；[ , ]定义拼接操作；Conv表示卷积；Up表示上采样； Res表示残差块；然后用 Att 表示“注意区域”的大小，以生成肝脏分割的最终概率图。

(3)损失函数：
实验中使用Dice系数作为损失函数，其中N是体素的数量，si和gi分别属于预测值和真实值。
实验结果：
表4和表5分别给出了RA-UNet和其他方法在LiTS和3DIRCADB的评测结果。图4表示的是RA-UNet的分割结果图，绿色区域表示正确提取的肝脏，黄色区域表示错误提取的肝脏，蓝色表示正确提取的肿瘤区域，红色表示错误提取的肿瘤。
总结：
本文提出了一种利用残差和注意力相结合的分割网络-RA-UNet，该网络包括三个部分：首先通过2D RA-UNet进行肝脏定位，然后通过3D RA-UNet精确分割肝脏，最后从肝脏的感兴趣区中精确分割出肿瘤。

RA-UNet阅读笔记相关推荐

Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
FCGF论文阅读笔记
FCGF论文阅读笔记 0. Abstract 从三维点云或者扫描帧中提取出几何特征是许多任务例如配准,场景重建等的第一步.现有的领先的方法都是将low-level的特征作为输入,或者在有限的感受野上提 ...
最详细的U-net论文笔记
个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-84.html 论文:Olaf Ronneberger, Phi ...
基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...
轻量级肝脏与肝脏瘤2.5D分割网络阅读笔记
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨李响来源丨GiantPandaCV 文章目录 1 前言 2 方法概述 2.1 Inceptio ...
《线性代数及其应用》阅读笔记：一 1.5 线性方程组的解集
<线性代数及其应用>阅读笔记:一 1.5 线性方程组的解集线性方程组的解集齐次线性方程组非齐次线性方程组平凡解非平凡解无解唯一解无穷解文章目录 <线性代数及其应用& ...
论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
TransMVSNet阅读笔记
------------------ 写在前面:本人研一小白,处于懵懂,潜心向老师师兄师姐学习的阶段,第一次发博客,也是一时兴起(向师兄学习,很羡慕师兄师姐们的能力和水平),因为是个人的笔记,当时记得 ...
论文阅读笔记之——《Multi-level Wavelet-CNN for Image Restoration》及基于pytorch的复现
本博文是MWCNN的阅读笔记,论文的链接:https://arxiv.org/pdf/1805.07071.pdf 代码:https://github.com/lpj0/MWCNN(仅仅是matlab ...
论文阅读笔记之——《FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction》
本文是对欧阳老师的paper的阅读笔记先给出论文的地址http://papers.nips.cc/paper/7356-fishnet-a-versatile-backbone-for-image- ...

RA-UNet阅读笔记

RA-UNet阅读笔记相关推荐

最新文章

热门文章