Deep Distance Transform for Tubular Structure Segmentation in CT Scans

一，摘要

医学图像中的管状结构分割，如CT扫描中的血管分割，是利用计算机辅助筛选早期相关疾病的重要步骤。但由于CT扫描中存在对比度差、噪声大、背景复杂等问题，使得管状结构的自动分割成为一个具有挑战性的问题。管状结构通常具有圆柱形，可通过其骨架和横截面半径（比例）很好地表示出来。受此启发，我们提出了一种几何感知的管状结构分割方法Deep Distance Transform（DDT），它结合了传统的骨骼化距离变换和现代深度分割网络。DDT首先学习多任务网络来预测管状结构的分割掩码和距离图。图中的每个值表示从每个管状结构体素到管状结构曲面的距离。然后利用距离图重构的形状先验信息对分割掩模进行细化。我们将DDT应用于6个医学图像数据集。实验表明：（1）DDT能显著提高肾小管结构的分割性能（如DSC对胰管分割的改善超过13%）；（2）DDT还可提供肾小管结构的几何测量，对临床诊断有重要意义（如胰腺导管的横截面尺度可以作为胰腺癌的一个指标）。

二，相关工作

2.1. 管状结构分割

2.1.1 基于几何信息的方法

针对管状结构的几何特征，提出了多种提高管状结构分割性能的方法，并对其进行了非穷尽综述。（1）基于轮廓的方法通过在横截面域中逼近管状结构的形状来提取管状结构的分割掩模[1，10]。（2）最小路径法对管状结构进行跟踪，通常是交互式的。他们捕获了用户给定的两点之间的全局最小曲线（由图像势加权的能量）。（3）基于模型的跟踪方法需要对管状结构模型进行优化，其中大部分时间采用的是椭圆形或圆形截面的三维圆柱体。在每个跟踪步骤中，他们通过在所有可能的新模型位置中找到最佳模型匹配来计算新模型位置[8]。（4）基于中心线的方法找到中心线并估计线性结构的半径。例如，文[34]中提出的多尺度中心线检测方法，采用了距离变换的思想，针对二维回归问题，重新构造了中心线检测和半径估计，充分利用了管状结构的几何信息，提出了一种隐式学习骨架和截面半径的距离变换算法，通过采用管状结构的先验形状信息来重构最终的分割掩模。

2.1.2 基于学习的方法

更强大的深度网络结构可以产生更好的分割结果。但是，在如何利用深度网络能力的同时充分利用几何信息是一个非常有趣的问题，尤其是对于管状结构。我们的工作旨在设计一个集成的框架，挖掘传统的距离变换，并为这种圆柱形结构建模深度网络，这是以往研究中没有的。

2.2 基于学习的骨架提取

基于学习的自然图像骨架提取在近几十年来得到了广泛的研究[38,31,34,22,21]，并在深度学习的帮助下取得了很好的进展[32,20,45,39]。Shenet等人[32]表明多任务学习，即联合学习骨架像素分类和骨架尺度回归，对于获得准确的预测尺度是非常重要的，对于基于骨架的目标分割是非常有用的。然而，这些方法不能直接应用于管状结构的分割，因为它们需要骨骼的ground truth，这是不容易从三维掩模中获得的，因为在3维医学图像中的注释错误[41]。

三，方法

3.1 管状结构距离变换

对于每个管状结构体素v，距离变换为其指定距离变换值，该值是从v到管状结构表面Cv的最近距离。这里我们使用欧几里德距离，因为欧几里德距离映射的骨架对旋转是鲁棒的[4]。

通过四舍五入到最接近的整数，将每个dv量化为k个bin中的一个，以将连续距离映射D转化为离散的量化距离映射Z，其中Zv∈{0,…,K}。我们进行这种量化，因为直接训练用于回归的深层网络相对不稳定，因为异常值，即医学图像常见的注释错误[41]，会导致一个大的错误项，这使得网络很难收敛并导致不稳定的预测[30]。基于量化，我们将距离预测问题重新表述为分类问题，即为每个量化距离确定对应的bin。我们将量化距离的K个bin称为K个尺度类。由于管状结构的骨架体素处的距离变换值是其横截面比例，因此我们使用“比例”一词。

3.2 DDT的网络训练

给定一个三维CT扫描X和它的地面真值标记图Y，我们可以根据（1. 管状结构距离变换）给出的方法计算它的比例尺类图（量化距离图）Z。在本节中，我们将描述如何通过Y和Z来训练用于管状结构分割的深网络。如图2所示，我们的DDT模型有两个头部分支。第一种是针对地面真值标签映射Y，它使用加权交叉熵损失函数Lcls对每个体素进行语义分割分类：

第二个头部分支在比例尺类映射Z上进行预测，该映射对管状结构体素（即zv>0）执行比例尺预测。我们引入了一个新的距离损失函数Ldis来学习这个头分支：

3.3 几何感知优化

在测试阶段，对每个体素v，我们的管状结构分割网络DDT输出两个概率，一个是：pv(W∗，W∗cls)p_v(W^∗，W^∗cls)pv(W∗，W∗cls)，即v是管状结构体素的概率，一个是：gvk(W∗，W∗dis)g^k_v(W^∗，W^∗dis)gvk(W∗，W∗dis)，即v的尺度属于kth尺度类的概率。为了便于注释，在本文的其余部分中，我们使用pvp_vpv和gvkg^k_vgvk分别表示pv(W∗，W∗cls)p_v(W^∗，W^∗cls)pv(W∗，W∗cls)和gvk(W∗，W∗dis)g^k_v(W^∗，W^∗dis)gvk(W∗，W∗dis)。pvp_vpv提供每体素管状结构的分割，gvkg^k_vgvk对管状结构的几何特征进行编码。我们引入了一种几何感知的优化方法，通过根据gvkg^k_vgvk优化pvp_vpv来获得最终的分割结果。该方法如图2所示，处理如下：

3.3.1 伪骨骼生成

对概率映射P进行阈值化，得到管状结构的二值伪骨架映射S。如果pv>Tpp_v>T^ppv>Tp，sv=1；否则，sv=0，TpT^pTp为阈值。

3.3.2 形状重建

对于每个体素v，其预测标度zv由zv^=argmaxkgvk\hat{z_v}=arg\ max_kg^k_vzv^=arg maxkgvk给出。众所周知，可以通过位于每个骨架点中心的包络最大球从骨架中重建出形状。例如，如果
我们可以通过S中的最大球获得管状结构的（二元）重建形状，其中B(u,z^u)B(u,\hat{z}_u)B(u,z^u)是一个以u为中心的球，半径为zu^\hat{z_u}zu^；否则y~v=0\tilde{y}_v=0y~v=0。然而，预测的尺度zu^\hat{z_u}zu^是量化的，这导致了非光滑表面。因此，我们拟合一个高斯核来软化每个球，并获得一个软重构的形状Ys~\tilde{Y^s}Ys~实例：

3.3.3 细分分割

四，实验

我们的DDT预测横断面量表作为副产品，对临床诊断等应用具有重要意义。我们发现横截面尺度是预测胰管扩张程度的一个重要指标，它有助于在不增加假阳性的情况下发现[49]中遗漏的PDAC肿瘤。

4.1 实现细节和评价指标

我们的实现基于PyTorch。对于数据预处理，在[46]之后，我们将原始强度值截断在[-100，240]HU的范围内，并将每个CT扫描归一化为零平均值和单位方差。所有方法都进行了数据增强（即平移、旋转和翻转），使增强因子为24。在训练过程中，由于内存问题，我们随机抽取指定大小（即64个）的补丁。我们使用指数学习率衰减，γ=0.99。在测试过程中，我们采用滑动窗口策略来获得最终的预测结果。通过计算每个前景体素到其最近边界体素的欧几里德距离，计算每个管状结构的真值距离图。除非另有说明，否则本文其余部分的分割精度由众所周知的Dice系数（DSC）来测量。

In our implementation, we set Tp= 0.98 and Tr= 0.5

可以看出，我们的方法在很大程度上优于[46]中报告的基线。值得一提的是，虽然我们的DDT只在静脉期进行测试，但其性能与集成多期信息（即动脉期和静脉期）的超分割网络[46]相当。对于3D-UNet，我们的DDT在DSC方面甚至比multi-phase法好13%以上。

图3，通过改变（a）伪骨骼生成参数Tp，和（b）分割细化参数Tr来改变性能。

论文分享 Deep Distance Transform for Tubular Structure Segmentation in CT Scans相关推荐

论文翻译与总结：Relational modeling for robust and efﬁcient pulmonary lobe segmentation in CT scans
目录前言一.介绍二.数据三.方法 1.级联关系U-Net 2.关系U-Net 3.非局部模块 4.Online Hard Example Mining(OHEM算法) 5.学习目标四.实验 ...
【论文分享】AF2:Highly accurate protein structure prediction with AlphaFold
前言:本文是PPT分享的文字稿,偏口语化,仅供参考. Outline 论文正文内容梳理团队介绍背景介绍预测方法分类预测效果算法框架 1. 模型输入 2. Evoformer 3. Struc ...
【论文阅读笔记】Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Net
本文提出一种从腹部CT片中自动分割肝脏和肝脏病变的方法. 使用的数据集为3DIRCADb dataSets:http://ircad.fr/research/3d-ircadb-01 使用的神经网络库 ...
【论文笔记】DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION
论文题目:DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION 收录于:ICME 2021 论文:Deep Featur ...
论文精读及分析：Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving
本文主要内容为论文<Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving:Data ...
【论文阅读】ICRA2021: VDB-EDT An Efficient Euclidean Distance Transform Algorithm Based on VDB Data Struct
参考与前言 Summary: 浩哥推荐的一篇无人机下的建图 and planning实验 Type: ICRA Year: 2021 论文链接:https://arxiv.org/abs/2105. ...
论文翻译--[TPAMI 2021]Deep Hough Transform For Semantic Line Detection
目录深度霍夫变换语义直线检测摘要 1,引言 2,相关工作 3,方法 3.1直线参数化和反转 3.2 深度霍夫变换的特征变换 3.3 在参数空间上进行直线检测 3.4 反转映射 3.5 边缘导向 ...
细粒度分类：DBTNet（Deep Bilinear Transform）（一）论文解读
文章目录前言一.参考论文二.论文解读摘要 1.简介 2.相关工作 3.Deep Bilinear Transform 3.1 Semantic Grouping Layer 语义分组层 3.2 ...
【论文精读】Focal Inverse Distance Transform Maps for Crowd Localization
文章目录摘要主要贡献主要内容一.FIDT 二.LMDS 三.I-SSIM loss 摘要在本文中,我们关注人群定位任务,这是人群分析的一个重要课题.基于回归的方法大多使用卷积神经网络( CN ...

论文分享 Deep Distance Transform for Tubular Structure Segmentation in CT Scans