Outline

写在前面
- nnU-Net
- Abstract 摘要部分
- Introduction 引言部分
- Methods 方法部分
- - Network architectures
  - Preprocessing
  - Training Procedure
  - Inference
  - Postprocessing
  - Ensembling and Submission
- Experiments and Results 实验和结果部分
- Discussion 讨论部分

写在前面

你好！这是你第一次阅读我的博客。我也是第一次写博客。对于论文nnU-Net的一点理解。希望对读者有所帮助，同时也可交流得到新的见解和思路。

nnU-Net

论文的全称是“nnU-Net:Self-adapting Framework for U-Net-Based Medical Image Segmentation”，点击查看原文, 出版时间是2018年9月，在arXiv上下载¹。论文的主要结构为：

Abstract 摘要部分；
Introduction 引言部分；
Methods 方法部分；
Experiments and Results 实验和结果部分；
Discussion 讨论部分；
Reference 参考文献部分

Abstract 摘要部分

摘要中给出了3个关键词，Semantic Segmentation, Medical Imaging, U-Net。足以说明该文章并没有提出新奇的网络或者是损失函数等方法。

Introduction 引言部分

在引言中，一共由3个段落组成。
第一段，宏观地介绍了CNN及其影响力，以及一个The Medical Segmentation Decathlon挑战赛。
第二段，证明了图像分割中的除了所用的框架以外的细节同样是对结果影响很大的，但同时又是被低估的。
第三段，所以作者提出了nn U-Net(no-new-Net),因为不是新的深度神经网络，所以他们从其他方面做了小的修改。

Methods 方法部分

Network architectures

在这一小节中，介绍了3种神经网络。分别是2D U-Net, 3D U-Net, U-Net Cascade。以及后面介绍了如何动态的适应网络拓扑。

2D U-Net 表面上2D U-Net分割3D图像效果不好，但也有人证明了3D分割对某种数据效果也不好。
3D U-Net 3D U-Net分割理想中效果不错，但是鉴于GPU内存的限制，不得不减小patch（因为3D的分割是基于patch的），从而减小了感受野（field of view）。
U-Net Cascade 所以作者提出了U-Net级联来解决3D U-Net在分割大图像师遇到的问题。
Dynamic adaption of network topologies 由于不同的数据集大小是不一样的，所以作者针对不同的数据集的尺寸去动态地调整batch-size（批处理地数量），patch size，pool 次数。

Preprocessing

为了更好地学到数据的特征，作者对数据进行了预处理。包括Cropping，Resampling，Normalization。

Cropping 对数据进行裁割，只剩下非零值；
Resampling 对数据进行重采样；
Normalization 对数据进行正则化。

Training Procedure

在训练的过程中，作者使用了5折的交叉验证，损失函数使用了交叉熵和DICE，优化函数使用了Adam，激活函数使用了Leaky ReLU。同时使用了

Data Augmentation，数据增强；
Patch Sampling，其中Patch采样是在一个batch中至少要有1/3的前景类被随机选中，作者说这样能增加网络训练的稳定性。

Inference

这个词经常见到，翻译成推理比较合适。这一小节有两小段。

第一段 作者增加了体素中心的权重，因为patch的边缘的准确率是下降的；
第二段 作者把交叉验证的每个模型聚合在一起，增加模型的鲁棒性。

Postprocessing

在这一小节中，只有3句话。作者对数据进行了后处理。对不起，这一部分不理解。

Ensembling and Submission

在这一小节中，只有2句话。作者对模型进行整合和提交。

Experiments and Results 实验和结果部分

这一部分比较简短，对结果做成了表格，去分析不同数据集不同网络下的metric，即评价指标。

Discussion 讨论部分

这一部分对作者的工作做出了总结和展望。

总结
- 该网络可以动态地适应各种数据；
- 非框架的修改，效果很好；
- 交叉验证，从中模型择优提交到挑战赛中；
展望
- 对于激活函数的选择，数据增强的使用，作者没有验证他们的功效，将来要进行ablation studies，即控制变量法；
- 作者还承认了对最优模型的选择（即2D U-Net，3D U-Net，U-Net Cascade）不是最干净的，假以时日，也许会探索出一个最好的模型。

以上是本人对这篇文章的初步解读，欢迎交流意见！

arXiv网址 ↩︎

nnU-Net论文解读相关推荐

自监督学习(Self-Supervised Learning)多篇论文解读（下）
自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等 ...
自监督学习(Self-Supervised Learning)多篇论文解读（上）
自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以 ...
可视化反投射：坍塌尺寸的概率恢复：ICCV9论文解读
可视化反投射:坍塌尺寸的概率恢复:ICCV9论文解读 Visual Deprojection: Probabilistic Recovery of Collapsed Dimensions 论文链接: ...
从单一图像中提取文档图像：ICCV2019论文解读
从单一图像中提取文档图像:ICCV2019论文解读 DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regressi ...
点云配准的端到端深度神经网络：ICCV2019论文解读
点云配准的端到端深度神经网络:ICCV2019论文解读 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration ...
图像分类：CVPR2020论文解读
图像分类:CVPR2020论文解读 Towards Robust Image Classiﬁcation Using Sequential Attention Models 论文链接:https:// ...
CVPR2020论文解读：手绘草图卷积网络语义分割
CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
CVPR2020论文解读：三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3D ...
CVPR2020论文解读：CNN合成的图片鉴别
CVPR2020论文解读:CNN合成的图片鉴别 <CNN-generated images are surprisingly easy to spot- for now> 论文链接:htt ...

nnU-Net论文解读