论文笔记：基于3D病灶分割和分类多任务学习的新冠肺炎辅助诊断

标题

Joint learning of 3D lesion segmentation and classification for explainable COVID-19 diagnosis

来源

IEEE Transactions on Medical Imaging ( Early Access 13 May 2021)
链接：[https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9430522]
(https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9430522)

作者及单位

Xiaofei Wang, Lai Jiang, Liu Li
北京航空航天大学,帝国理工学院

方法

本文提出了用于诊断COVID-19的三维病变分割和分类的联合深度学习模型DeepSC-COVID，包括三个子网：用于特征提取的跨任务特征子网、用于病变分割的三维病变子网和用于疾病诊断的分类子网。此外，本文还提出了任务感知损失，以学习任务交互跨三维病变和分类子网，能够同时生成三维分割的病变和COVID-19、CAP或非肺炎的分类结果。

Framework of the proposed DeepSC-COVID model.

DeepSC-COVID框架

DeepSC-COVID模型由3个子网组成：跨任务特征子网络、三维病变分割子网络和分类子网络。对于三维病灶分割，将原始的3D CT图像裁剪成更小的不重叠的3D Patch，然后输入网络。对于分类任务，对3D CT图像进行平均间隔的切片采样预处理，去除相邻切片之间的冗余，提高分类效率。

经过预处理后，将裁剪后的3D CT补丁和重采样后的二维CT切片送入跨任务特征子网络，跨任务特征子网络由3D inception block和Cross-stitch unit 构成，3D inception block提取多尺度的三维特征，然后，Cross-stitch unit混合特征生成三维病变特征和分类特征，这两个特征分别被输入到三维病变分割子网络和分类子网络中。

Structure of the cross-task feature subnet in the proposed DeepSC-COVID model

在三维病变分割子网络中，有一个3D Unet网络和一个多尺度中间分割，对COVID-19或CAP的多尺度三维病变进行分割，将Unet上采样中不同尺度的特征进行Upscale，然后进行元素级别的相加，经Sigmoid得到预测的病变区域。

在分类子网络中，含有一个3D 编码器和一个分类器，预测COVID-19、CAP和非肺炎的概率评分。为了在分类时关注病变区域，将分割网络的输出病变区域与跨任务特征子网络输出的分类特征（C-特征）一起输入到分类子网络中。具体来说，分割得到的病变结果和C-特征风别经过卷积层后进行连接。然后，连接后的特征被3D encoder unit编码成不同的尺度。在分类子网络中，本文还提出了一种新的多层可视化机制，以生成包含细小和不清晰病变的evidence masks用于疾病诊断。此外，在训练阶段，基于分类子网的可视化机制，提出了一种新的任务感知损失，以实现分割任务和分类任务之间的有效交互。在病变分割后的指导下，分类子网能够聚焦病变，显著加快COVID-19诊断速度，提高分类准确率。最后，根据预测概率，将输入的3D CT扫描分为COVID-19、CAP和非肺炎。

Structure of the 3D lesion subnet in the proposed DeepSC-COVID model.

Structure of the classification subnet in the proposed DeepSC-COVID model.

损失函数

网络的总损失函数由三个构成，包括分割损失、分类损失和任务感知损失，如下所示。
L=λsegLseg+λclsLcls+λtaLtaL=\lambda_{seg}L_{seg}+\lambda_{cls}L_{cls}+\lambda_{ta}L_{ta}L=λsegLseg+λclsLcls+λtaLta

其中：分割损失由Dice Loss和Focal Loss两部分组成，分类损失由weighted cross-entropy loss定义，任务感知损失由不同尺度的的分割输出和分类网络得到的evidence masks得到。

实验数据

本项目新建3DLSC-COVID数据库。其中包括COVID-19阳性病例794例，CAP阳性病例540例，非肺炎病例471例。此数据库是第一个同时具备COVID-19和CAP诊断的3D细粒度病灶分割和疾病分类标签的CT数据库。

已公开，地址：https://ieee-dataport.org/documents/3dlsc-covid

主要结果

分割任务的加入能够提高分类任务的结果，反之亦然。