[MICCAI2019] Conv2Warp: An unsupervised deformable image registration with continuous convolution an

Conv2Warp: An unsupervised deformable image registration with continuous convolution and warping
作者信息：Sharib Ali ， Oxford，Institute of Biomedical Engineering
贡献：

使用可变形卷积学习局部非线性形变；
使用可学习的 bicubic Catmull-Rom 样条重采样来减少DVF的重采样误差；
使用多重scale wraping 策略
L2正则平滑DVF

在肺CT和脑MRI的公开数据集上进行实验

基础知识

Rigid/Affine registration ：简单配准，仅优化转换矩阵，参数量少，不考虑器官形变。
deformable image registration(DIR) ：传统方法，参数多，计算量杂；深度学习方法更好，体现在两点，一CNN结构能直接从数据同时学习到大量特征，二GPU硬件加速减少运算时间。

DIR的监督学习方法

标签为用传统方法得到的变形向量场（deformable vector fields，DVF），网络学到产生DVF，然后利用predict的DVF对source image 进行形变，使得形变后的图像和target image 最接近。缺点是这样的学习使得CNN仅作为一个回归器来学习DVF，其次得到标签很费时间和计算成本，也可能产生不准确的DVF

DIR的无监督学习方法

CNN无需标签，直接预测DVF。作者认为现有方法中线性CNN对非线性局部形变的预测精度不高。其次，B样条会产生较大的插值误差。

Method

LD-ConvNet (Linear and deformable)

8层卷积，5层普通conv（包含三个AVP）+3层deformable conv； I s I^s Is与 I t I^t Itconcat后输入，输出缩小8倍的两张图像的DVF

NL-DVF-R (Non-linear DVF Resampler)

双三次样条插值（使用bicubic Catmull-Rom样条）放大 LD-ConvNet 得到的DVF。

CWS (Continuous Warping Stage)

在NL-DVF-R中，用每个level得到的DVF和同样大小的图像配准，计算出每个level的loss

损失函数

metric为 NCC(multi-modal normalized cross-correlation)，这里等价优化SSD（sum-of-difference）

总loss，其中第二项为正则项，保证DVF能平滑；第三项为CWS计算的NL-DVF-R每个level的DVF配准的loss：

Results

数据集1: 肺CT，DIR-LAB的4DCT 训练，POPI lung dataset 测试
数据集2: 脑MRI，LBPA40 训练，MGH10和CUMC12 测试

我的笔记

目前无监督的深度学习在非刚性配准方面还算比较有挑战性的
这篇效果很好，效果达到传统方法的同时，借助GPU，大大缩减了时间。

另外，最近有篇综述文章
Deep Learning in Medical Image Registration: A Survey