X-ray2Shape: Reconstruction of 3D Liver Shape from a Single 2D Projection Image

X-ray2Shape:从单个2D投影图像重建三维肝脏形状

摘要

计算机断层扫描(ct)和磁共振成像(MRI)扫描仪测量患者的三维(3D)图像。然而，在手术或放射治疗期间，只能获得低维局部二维(2D)图像。尽管计算机视觉技术已经表明可以从多个2D图像中估计3D形状，但是从单个2D图像(例如内窥镜图像或x光图像)中重建形状仍然是一个挑战。在这项研究中，我们提出了xray2Shape，它允许从单个2D投影图像重建基于深度学习的三维器官网格。该方法从平均模板和从各个投影图像计算的深度特征中学习网格变形。使用器官网格和腹部区域的数字重建射线照片(DRR)图像进行实验，以确认这些方法的估计性能。

1、介绍

三维医学成像，如计算机断层扫描(CT)和磁共振成像(MRI)，可以对人体内部器官进行成像，广泛用于诊断、术中导航和放射治疗。然而，通常需要大量的图像切片才能从3D医学图像中获得准确的器官形状和肿瘤位置[1][2]；在CT的情况下，这引起电离辐射的高暴露，这对患者来说是不希望的。可以通过降低图像切片的数量或分辨率来减少测量时间和成像辐射剂量，但是图像质量可能相应地被牺牲。最重要的是，在手术或日常放射治疗中很少可能使用CT和MRI设备，因为它们通常是分开放置的。当高分辨率3D图像不可用时，只能用低维和局部图像进行治疗，例如内窥镜图像和x光图像。

为了解决这个问题，一些研究人员提出了一种从单个图像重建3D器官形状的方法，例如内窥镜或x光图像[3] [4] [5]。例如，吴等人提出了一种基于卷积神经网络(CNN) [4]的3D形状重建算法，并表明在除气变形过程中肺的3D形状可以仅从一个捕获的二维(2D)图像重建。

【3】Deformation Estimation of Elastic Bodies Using Multiple Silhouette Images for Endoscopic Image Augmentation（IEEE ISMAR2015）
【4】Reconstructing 3d lung shape from a single 2D image during the deaeration deformation process using model-based data augmentation(2019 IEEE BHI2019)
在除气变形过程中使用基于模型的数据增强从单个2D图像重建3d肺部形状
【5】DeepOrganNet: On-the-fly reconstruction and visualization of 3D/4D lung models from single-view projections by deep deformation network(arXiv2019)深度组织网:通过深度变形网络从单视角投影动态重建和可视化三维/4D肺模型

然而，吴方法估计的形状被表示为点云；这意味着对于变形计算很重要的顶点之间的表面和拓扑信息丢失了。点云变形前后的顶点对应关系很难准确获取，尤其是肺、腹部器官等发生大变形的器官。王等人提出了一个基于CNN的框架，用于从模拟x光图像的数字重建射线照片(DRR)图像中计算肺呼吸变形[5]。然而，在王的研究中，训练和测试实验是使用人工创建的增强数据进行的，并且3D形状是从多个3D初始模板变形的。因此，基于美国有线电视新闻网的真实患者器官形状重建还有待检验。

我们研究的目的是从单个患者的单视角2D X光图像重建器官的三维形状。我们的方法使用了图形卷积网络(GCN) [6]和美国有线电视新闻网的组合。我们将基于自然图像上使用的Pixel2Mesh [7]的框架扩展并应用于低对比度DRR图像。x光图像和DRR图像是投影图像，特别是在腹部区域，在那里不能获得清晰的器官轮廓，并且来自背景的对比度也很低。因此，形状重建是一项艰巨的任务。我们将从训练三维CT数据中得到的平均形状设置为初始模板，并且旨在利用DRR图像的图像特征来计算从初始模板到个体器官形状的变形。我们的方法可以实时生成三维器官图像，因此可以用于未来基于图像的肿瘤跟踪放射治疗。

2、方法

A、方法概述

图1显示了所提出方法的框架。整个框架由2D图像特征CNN网络和GCN网格变形网络组成。由于在x光成像期间患者的姿势相对于x光照射位置是固定的，所以可以假设成像时的照相机位置和角度是已知的。因此，可以使用相机参数来计算每个3D形状顶点的2D图像像素坐标。在我们提出的方法中，将三维初始模板投影到输入DRR图像上，提取每个顶点对应的图像特征。然后，我们连接图像特征和三维顶点坐标，并将它们合并到GCN变形网络中。我们使用两种损耗，MSE损耗和离散拉普拉斯损耗来训练网络生成精确的网格。

图1：完整的X-ray2Shape框架包含CNN和GCN。

CNN用于从二维图像中提取图像特征，GCN用于网格变形。

＋表示图像特征与顶点坐标的连接。

B、X-ray2Shape模块

在本节中，我们将描述每个Xray2Shape模块的内部结构。对于初始模板，我们从训练数据计算器官的平均形状(图2 (a))。我们在实验中使用的初始肝脏模板包含500个顶点和996个面，所有的估计形状都是根据这个初始模板进行变形的。

图2a：五个器官(肝、胃、十二指肠、左肾、右肾)的初始模板

对于图像特征CNN模块，图1所示的CNN的层来自于一个扩展的VGG-16模型，因为它已经被广泛使用，并证明了对[10]图像处理的有效性。然而，VGG-16经常被用于从224×224像素图像[8]中提取特征，但我们输入的DRR图像要大得多，在640×640像素。为了提取有效的特征，我们将卷积滤波器的大小从3×3更改为5×5，这意味着我们扩大了接受域，从更大的像素范围获取特征。利用摄像机参数，每个3D顶点可以在输入DRR图像中找到自己的2D像素坐标。我们从CNN的后一层(即图1中的红色层)中提取特征，并将这些高级特征连接起来，以准确学习形状。

对于GCN模块，它是一种将深度学习应用于图结构数据的网络。网格)是一对集合(V,E)，其中V是顶点的集合，E是边的集合。通过更新每个顶点的特征，可以使图变形。我们实验中的GCN网络由8个序列图卷积层组成，每个卷积层定义如下:

F^(l) 和 F^(l+1)是卷积前后特征矩阵
A∈R^n*n 是邻接矩阵
D∈R^n*n 是出度入度矩阵
n是顶点的总数
W是可学习的参数矩阵
特征F^(l)是由CNN和三维顶点坐标拼接而成的二维图像特征。通过更新F(l)可以使初始模板变形。

c、loss

在本节中，我们定义了两个损耗函数，MSE损耗和离散拉普拉斯损耗[9]，用来生成精确的三维形状。与pixel2mesh框架不同的是，其估计形状是从具有较少顶点的椭球体变形而来的，我们的估计形状是从具有相同数量顶点的平均形状变形而来的。因此，我们定义了MSE损失，以减小估计形状与ground truth之间对应顶点的距离。MSE损耗定义为

其中n为顶点总数，vi∈V(i = 1,2，…， n)为ground truth顶点，ˆvi为预测顶点。这个损失函数趋向于将估计的顶点收敛到正确的位置。

为了保持曲面的光滑性，我们使用了离散拉普拉斯损失函数。顶点vi处的离散拉普拉斯算子定义为

其中N(vi)为一个环上顶点与边相连的相邻顶点数，v j为vi的相邻顶点，离散拉普拉斯损失可定义为

L(vi)和L(ˆvi)为变形前后的离散拉普拉斯算子。

MSE损失使顶点移动过于自由，而离散拉普拉斯损失恰当地限制了顶点移动的自由。

总损耗是两个损耗函数的加权和，表示为

在我们的实验中，我们设置超参数λM SE= 1和λ_laplacian= 100来平衡两个损耗函数。

论文阅读：X-ray2Shape: Reconstruction of 3D Liver Shape from a Single 2D Projection Image相关推荐

论文阅读 End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds
[论文阅读] End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds 原文链接:https://arxiv ...
人脸对齐（十九）--Regressing a 3D Face Shape from a Single Image
Regressing a 3D Face Shape from a Single Image 主要提出了对一张单独的图片进行3D人脸特征点定位的方法.该方法基于一个级联回归框架直接在3D中对人脸特征点 ...
论文阅读（3）:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era
论文标题:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era 论文类型: ...
【论文阅读】Occupancy Networks: Learning 3D Reconstruction in Function Space
论文题目:Occupancy Networks: Learning 3D Reconstruction in Function Space(占据网络:在函数空间内学习三维重建,简称ONet) 论文作者 ...
【论文阅读】【综述】3D Object Detection 3D目标检测综述
目录写在开头 3D Object Detection 相关博客: Sliding window Vote3Deep: Fast Object Detection in 3D Point Clouds ...
[论文阅读][深度学习-三维重建]Single-Shot 3D Shape Reconstruction Using Structured Light and CNN
Single-Shot 3D Shape Reconstruction Using Structured Light and Deep Convolutional Neural Networks 文章 ...
【论文阅读笔记】One Shot 3D Photography
论文主页:https://facebookresearch.github.io/one_shot_3d_photography/ 代码地址:https://github.com/facebookres ...
【论文阅读】【弱监督-3D目标检测】Weakly Supervised 3D Object Detection from Point Clouds
前言 ACM MM 2020录用的一篇文章.不使用任何真实的3D框来进行训练.通过采用归一化的点云密度来生成目标候选框.不过性能一般,算是第一个吃螃蟹的人 MIT和微软合作的论文,模型简称为VS3D ...
高光谱计算成像论文阅读-High-Quality Hyperspectral Reconstruction Using a Spectral Prior
原文:High-Quality Hyperspectral Reconstruction Using a Spectral Prior 作者:Inchang Choi, Daniel S. Jeon, ...

论文阅读：X-ray2Shape: Reconstruction of 3D Liver Shape from a Single 2D Projection Image

X-ray2Shape: Reconstruction of 3D Liver Shape from a Single 2D Projection Image

X-ray2Shape:从单个2D投影图像重建三维肝脏形状

摘要

1、介绍