ISBI2023 APIS多模态医学分割比赛总结 + top3解决方案

0.比赛背景
1.比赛任务及结果
2.第三名方案 - 龙盈智达（北京）科技有限公司
- (0) Data Preprocessing
- (1) Data Augmentation
- (2) Approach（Model）
- (3) Approach(Data Sampling)
- (4) Approach(Loss function)
- (5) Approach(Trick)
- (6) Results submitted
3.第二名方案 - 厦门大学
- (0) 方法：Extending nnU-Net
- (1) 结果
4.第一名方案 - 脑部影像人工智能公司icometrix
- (0) 优化配准
- (1) Model
- (2) Inter-hemisphere Symmetry
- (3) Training Details
- (4) Results
5.比赛总结

比赛主页: APIS: A Paired CT-MRI Dataset for Ischemic Stroke Segmentation Challenge

0.比赛背景

中风是全球第二大死亡原因。即时诊断的关键组成部分是定位（通过 CT 扫描）和病变描绘（通过 MRI 研究）。尽管如此，病灶的描绘仍然很差，仅在晚期可见，并且分析使用手动描绘。这个挑战引入了 CT 和 ADC 研究的配对数据集。邀请研究人员提出计算策略，在训练期间处理配对数据，并处理 CT 起始序列上的病变分割。在培训期间，将提供带注释的配对序列（来自一位专家），并且将针对两位专家比较用于测试的结果分割。

CT (NCCT) 主要允许对中风和其他病理进行分类。然而，此类序列对缺血的对比度差、敏感性和特异性低，并且病变的低衰减具有时间依赖性。因此，临床方案包括扩散加权 MRI 序列，例如 ADC（表观扩散系数），以正确描述和量化中风病变，除其他外，允许正确显示缺血半影和缺血核心。APIS 挑战赛提供配对 (CT-ADC) 数据集。有 60 个成对的 (CT-ADC) 数据集以及来自专业放射科医师的相关描述以供训练。最后将使用40个数据集作为测试集进行验证

NCCT
-NCCT 可用于区分缺血和出血并检测早期缺血变化 [3]。
-它的快速获取和高可用性与诊断中风有关。
-在最初几个小时内，细微的低衰减是中风的预测因素，但其对比度差导致检测缺血的灵敏度和特异性较低。
ADC
-这种成像技术在患者报告症状后的最初几个小时诊断急性缺血性梗死具有显着更高的敏感性和特异性。
-然而，这种方式比 CT 昂贵、耗时且可用性低。

1.比赛任务及结果

2.第三名方案 - 龙盈智达（北京）科技有限公司

(0) Data Preprocessing

对于2D模型，我们需要将原始nifiti格式的CT和ADC图像切片成2D图像数据。为了提高图像质量，我们需要分别对2D图像进行crop和CLAHE (一种非常有效的直方图均衡算法)，并将数据调整到unit16。处理后的图像如下图所示：

对于3D模型，我们同样对3D CT和ADC图像进行裁剪和CLAHE处理，将数据调整到unit16。处理后的图像如下图所示：

(1) Data Augmentation

为了丰富当前给定图像数据的信息量，我们对现有图像数据进行增强，防止过拟合，提高预测精度。本研究中主要的数据增强包括 HorizontalFlip, VerticalFlip, RandomRotate90, RandomContrast, ShiftScaleRotate, GaussNoise, GaussianBlur, HueSaturationValue, ElasticTransform, GridDistortion, etc.

(2) Approach（Model）

我们使用U-Net网络结构来分割2D和3D图像；
UNet架构由两个主要部分组成：编码器和解码器；
由于CNN和Transformer在提取图像特征方面存在差异，我们的实验使用了两种encoder-decoder组合：一种是使用CNN网络来提取特征，encoder-decoder组合是Efficientnet_B6，EfficientNet在ImageNet数据集中有很好的效果 ;
另一类使用Transformer网络提取特征，encoder-decoder组合为Coat_parallel_small和daformer。 Coat 的 Co-scale 机制保持了 Transformer 编码器分支在各种尺度下的完整性，同时允许在不同尺度上学习到的表征能够有效地相互通信。 CoaT 为 Image Transformer 提供了丰富的多尺度和上下文建模能力；
3D模型使用residual block Unet模型，因为本次比赛的数据源数量并不丰富，所以选择这个网络进行3D分割。

(3) Approach(Data Sampling)

StratifiedGroupKFold在划分数据集时，不仅要考虑划分后的数据集与原数据集的比例大致相同，还要保证同一组的数据不能同时出现在训练集和验证集中。我们在比赛中使用了StratifiedGroupKFold交叉验证方法，取得了良好且稳定的性能结果。
而且，由于数据集中的正负样本不均衡，我们在Dataloader中添加了一个BalanceSampler来调整两个类别的权重，在整个样本组中对每个类别进行调整和平衡。

(4) Approach(Loss function)

Focal loss 是动态缩放的交叉熵损失。通过一个动态缩放因子，可以在训练过程中动态降低易区分样本的权重，从而快速关注那些难区分样本。
α_t超参数用来平衡正负样本，γ的目的是减少易分类样本的损失。对于中风识别，通过减少易分割样本的损失，整体模型可以专注于难分割样本，从而提高整体分割精度。

(5) Approach(Trick)

在模型训练过程中，我们使用SWA和EMA方法训练技术来提高整体性能：
Stochastic Weight Averaging (SWA)：随机权重平均。 SWA加入了一个周期性的滑动平均操作来限制权重的变化，对SGD得到的不同pth的权重值进行平均。解决传统SGD在逆过程中的权值震荡问题。
在本实验中，我们还使用EMA（exponential moving average）方法对模型的参数进行平均，以改善测试指标，增加模型的鲁棒性。

(6) Results submitted

整体程序流程如图所示：
总体方案可以分为两部分，即2D模型部分和3D模型部分。
2D部分首先对原始数据进行2D数据预处理，将原始3D图像正则化为16进制深度的2D图像，经过图像裁剪和CLAHE增强后送入2D模型。二维模型有两类，分别是COAT_Unet模型和efficientb6_unet模型。
在3D部分，首先对原始数据进行16进制数据正则化、图片裁剪和CLAHE增强处理，然后送入3D模型。 3D模型使用ResidualUNet3D。
这些模型的融合使用加权平均集成方案，我们使用 TTA（Test Time Augmentation）技术来改进我们的方案结果。
验证集上表现

3.第二名方案 - 厦门大学

(0) 方法：Extending nnU-Net

Isensee 等人的 nnU-Net。是 BraTS 2020 的获奖作品。由于 nnU-Net 易于适应新数据集以及完全开源的代码和模型，nnU-Net 可以作为进一步实验的极好基线。
考虑到 APIS 数据集包含许多小目标样本，我们通过以下修改扩展 nnU-Net：

我们将patch size 从原来的 [24, 192, 160] 更改为 [16, 128, 128]。
nnU-Net 的验证损失默认使用batch dice loss，我们将其更改为instance dice loss。

(1) 结果

对于NCCT 分割任务，我们仅使用 CT 图像来训练 nnU-Net。 nnU-Net 的“ct”方案用于预处理。我们将默认的补丁大小更改为 [16, 128, 128]。其他超参数保持不变。
对于 ADC 分割任务，我们仅使用 ADC 图像来训练 nnU-Net。 nnU-Net 的“non-ct”方案用于预处理。我们将默认的补丁大小更改为 [16, 128, 128]。其他超参数保持不变。

4.第一名方案 - 脑部影像人工智能公司icometrix

(0) 优化配准

(1) Model

(2) Inter-hemisphere Symmetry

(3) Training Details

(4) Results

5.比赛总结

由于病变的对比度差和低衰减，对缺血性中风 NCCT 序列的分割仍然具有挑战性。
目前在 ADC 序列上的工作可以以良好的性能分割病变，但在缺血病例的临床作用路径中是不可行的。
无论是模型、预处理还是其他方法都无法在 NCCT 序列上取得显着的结果。
nnU-Net 在3D分割任务中依旧表现优异，数据预处理的不同可能会对分割表现有较大影响。

[医学分割比赛] ISBI2023 APIS多模态医学分割比赛总结 + top3解决方案相关推荐

基于PaddleSeg的眼底血管分割——使用飞桨助力医学影像分析
基于PaddleSeg的眼底血管分割--使用飞桨助力医学影像分析一.项目背景研究表明,各类眼科疾病以及心脑血管疾病会对视网膜血管造成形变.出血等不同程度的影响.随着生活水平的提高,这类疾病的发病率 ...
ECCV2020 | 北京大学提出RGB-D语义分割新网络，多模态信息融合
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达这篇文章收录于ECCV2020,由北京大学.商汤科技.香港中文大学提出的基于RGB-D图像的语义分割算 ...
影像组学工作站：医学影像组学中多模态的任务类型
医学影像组学之多模态任务类型
临床医学中计算机的应用,临床医学中计算机图像处理技术的应用
[摘要] 随着科学技术的不断发展,我国临床医学当中的计算机图像处理技术也越来越成熟.医学影像技术的发展就是计算机技术与临床医学相结合所产生的.随着近几年临床医学的不断完善,计算机图像处理技术的应用在医 ...
【天池赛事】零基础入门语义分割-地表建筑物识别 Task6：分割模型模型集成
[天池赛事]零基础入门语义分割-地表建筑物识别 Task1:赛题理解与 baseline(3 天) – 学习主题:理解赛题内容解题流程 – 学习内容:赛题理解.数据读取.比赛 baseline 构建 ...
CVPR 2020 oral 首次提出VPSnet用于分割界新问题-视频全景分割
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达论文题目:Video Panoptic Segmentation 论文下载: http://opena ...
SQL分割字符串,SQL按照指定字符分割字符串,SQL处理字符串...
SQL分割字符串,SQL按照指定字符分割字符串,SQL处理字符串 -----原文来源于网络 T-SQL对字符串的处理能力比较弱,比如我要循环遍历象1,2,3,4,5这样的字符串,如果用数组的话,遍历 ...
大文件做分割处理的方法——winRAR压缩分割法
###可以把一些大的文件压缩成多个小文件,享受压缩.分割文件 1,开始分割: 2,分割后:(压缩.分割文件) 完成设置后,单击"确定"按钮,这样WinRAR压缩软件就会把软件压缩并 ...
医学科研中的作用_医学方复旦附属中山医院科研技能训练营开课啦！一起来感受数据挖掘的魅力！...
医学方-复旦附属中山医院公益讲座开讲啦! 欢迎参加复旦大学附属中山医院学术季系列活动之科研技能训练营讲座主题生物信息学(数据挖掘)在科研工作中的作用以及当下热点的文章思路介绍. 讲座内容一篇 ...

[医学分割比赛] ISBI2023 APIS多模态医学分割比赛总结 + top3解决方案