Analysis of Scoliosis From Spinal X-Ray Images

脊柱侧凸的x线影像分析

摘要

脊柱侧弯是一种先天性疾病，脊柱从其正常形状变形。测量脊柱侧弯需要标记和识别脊柱中的椎体。脊柱x光片是脊柱成像最具成本效益和最方便的方式。在影像引导下的脊柱评估、疾病诊断和治疗计划中，可靠准确的椎体分割是至关重要的。传统的评估依赖于繁琐和耗时的手工测量，这受到观察者之间的变化的影响。在文献中没有一种全自动的方法可以准确地识别和分割相关椎体。利用经过微调的U-Net模型和渐进式侧输出，我们提出了一个端到端分割模型，该模型提供了与脊柱侧凸测量相关的全自动和可靠的椎骨分割。我们对脊柱前后x线图像的实验结果表明，我们的模型骰子平均得分为0.993，有望成为识别和标记脊柱的有效工具，最终帮助医生可靠地估计脊柱侧凸。此外，从节段椎骨的Cobb角的估计进一步证明了我们的模型的有效性。

关键词：脊柱侧弯、脊柱 X 射线、Cobb 角、椎骨分割、渐进式 U-Net

1、介绍

脊柱侧弯是一种由脊柱向左或向右弯曲所定义的异常状况。早期检测是关键，如果准确，可以制定更好的治疗计划 [1]。放射线照相术 (X-Ray) 是用于脊柱侧弯临床分析和测量的首选成像技术，因为它具有高度可用性、价格低廉且可快速产生结果。传统的脊柱图像分析任务涉及繁琐的手工劳动，需要手工制作特征提取来测量脊柱侧弯。 Cobb角，脊柱侧弯的标准量化是通过计算上下椎骨的上下终板两条切线之间的角度来估计的。具有 10°或更大 Cobb 角的人通常被认为是脊柱侧弯诊断 [2]。图 1 说明了 Cobb 角的计算和 X 射线图像中相关椎骨的标记。

图 1. 我们通过相关椎骨的分割、标记和识别来计算脊柱 X 射线中 Cobb 角的框架概述。在确定顶点上方和下方最倾斜的椎骨后，通过延伸上椎骨的上边缘和下椎骨的下边缘来绘制切线。根据这些切线，计算 Cobb 角并且可以对脊柱侧弯进行分类。

传统上，需要识别和标记特定椎骨结构的测量和评估由临床医生手动执行。然而，脊柱侧弯的手动测量面临几个困难。首先，患者之间的巨大解剖差异和脊柱 X 射线图像中的低组织对比度使得准确可靠地评估脊柱侧弯的严重程度具有挑战性 [3]，以及对脊柱和身体整体的影响，以及对单个椎骨的影响, 给脊柱侧弯的量化带来额外的困难 [4]。其次，由于仪器、椎体旋转和患者定位[2]，在脊柱侧弯的常规临床评估中测量误差很普遍，并且在测量 Cobb 角时通常报告了 5°–10° 内部或更大的观察者间差异【5】，【6】。

因此，需要一种用于准确测量脊柱侧弯的自动技术。我们在本文中的具体贡献如下：

用于测量和分析脊柱侧弯的全自动高效管道。
一种新的从脊柱x射线图像中准确分割脊椎的分割网络。
基于二值分割的全自动准确识别和标记脊椎个体。
准确诊断脊柱侧凸的严重程度，这是至关重要的治疗计划。

3、方法

A、椎骨分割和标记

我们使用与脊柱侧凸分析相关的可分辨的n个椎骨对脊柱进行二元分割。
为了解决这个问题，我们假设图像X和椎骨分割标签Y上的数据分布p（X，Y）未知。
模型可以从P（X，Y）中得到采样后带有标签的训练数据集D（x，y）。如算法1所示，

算法1：脊柱x射线图像分割脊柱的训练。

分割预测网络f(φ)采用一组可学习参数(φ)进行训练。
我们把目标定为minΦFL(y,y^)_{\Phi F}^{}\textrm{}L(y,\widehat{y})ΦFL(y,y),其中y是参考椎体掩模，y^\widehat{y}y是每次训练迭代的模型预测。

按照渐进式密集V型网[17]、[18]的模式，我们提出了渐进式u型网，并对u型网[19]进行了一些仔细的调整。

网络模型
如图2所示，

图2所示。我们的分割网络(渐进式U-Net)架构:在解码器的三个不同阶段生成边输出，并逐步添加到下一阶段边输出。在最后的卷积之前，将第三边输出的输出添加到最后一阶段，生成最终的分割输出。

我们的模型有一个带有跳过连接的编码器和解码器。在每个编码器层中，两个3×3卷积之后是instance normalization、ReLU激活和a2×2max-pooling。dropout应用于网络的每个编解码器阶段。

我们在译码器的每个阶段产生边输出。与U-Net中从最终译码器阶段收集最终输出相比，逐步将一个边输出添加到下一个边输出，分割性能得到了改善。然而，与[17]的一个关键区别是，我们的模型是在没有旁听监督的情况下训练的。只有副输出被逐步生成和相加，从而在最终输出产生改进的分割。
执行卷积操作以从每个解码器级生成侧输出。渐进的旁路输出还确保微结构不会通过卷积运算从解码器的任何级别丢失。我们在最终输出x分辨率前之前生成x/8、x/4和x/2分辨率的侧面输出。因此，分辨率为x/8的侧输出被添加到下一解码器级，依此类推。

B、脊柱侧凸的测量

我们的管道利用椎骨分割来估计Cobb角。算法2自动计算通过分析分段掩模的轮廓来确定柯布角度。

算法2：cobb角的计算

当与其他轮廓很好地分开时，每个轮廓代表与脊柱侧弯测量相关的椎骨。为了验证轮廓是否实际上与相关椎骨相关联，我们对轮廓像素数计算最小尺寸a（对大于a个像素的mask进行去噪）。在对4个角进行提取和排序后，从相关椎体中确定最倾斜的上椎和最倾斜的下椎(图3)。然后根据上椎上缘和下椎下缘的斜率计算Cobb角。

图3：从输入X射线图像(左)，到分割掩模预测(中)，再到脊椎识别和脊柱侧弯测量(右)。

此外，脊柱侧凸的严重程度可以分类，并根据患者脊柱X光片计算出的Cobb角进行适当的治疗计划。因此，在我们的计划中，我们根据临床公认的脊柱侧凸严重程度等级进行自动诊断分类，如表I所示。轻度脊柱侧凸通常不需要积极治疗，中度脊柱侧凸时，硬性支具可以阻止其进展。手术是危重病例的最后手段，但可以推迟到青春期[20]。

表1：基于cobb夹角测量的青少年脊柱侧凸临床公认的分型和治疗方案

4、实验评估

A、实施细节

数据
我们使用了100张有不同程度脊柱侧凸证据的儿童的高分辨率脊柱X光图像的数据集。该数据集包含专家对18个相关椎体(颈椎C7、胸椎T1-T12、腰椎L1-L5)的手动注释。我们将数据集分为训练（80），测试（15）和验证（5）集。

baseline
作为基线，我们使用常规的U-Net模型，选择二进制交叉熵(XE)和骰子作为损失函数。为简单起见，我们将模型表示为

UD(带有dice的UNet)、
UX(带有XE损耗的UNet)、
PUD(带有dice损耗的Progressive UNet)、
PUX(带有XE损耗的Progressive UNet)。

训练
模型在训练集上进行训练，在测试集上评价模型的性能。验证集用于超参数优化和模型选择。

输入
所有的图片在发送到网络之前都要调整大小并标准化to1024×512×1。

超参数
我们使用具有自适应学习率的亚当优化器，初始学习率为0.01，每20个epoch后减少10倍。我们以0.25的速率应用dropout。

机器配置
我们在带有64位Intel® Xeon® 440G CPU的系统中运行特斯拉P40 GPU的TensorFlow中实现了算法1

分割评估
为了进行分割评价，我们使用了Dice指数(DI)、结构相似度指数(SSIM)、平均Hausdorff距离(HD)和F1评分(F1)，以及掩模和边缘的定性可视化。

脊柱侧凸的评估
为了评估脊柱侧凸，我们测量Cobb角，上、下倾斜椎体的指数和严重程度分类由于专家注释只包括用于分割参考的椎骨标签，我们在参考测量和基于u - net的渐进方法中都遵循相同的脊柱侧凸测量程序。

B、分割结果

基于定性和定量评价的实验结果证实了我们的模型的优越性，它一致地提供了不同损失(Dice和XE)的改进分割。椎骨节段的可视化（图4，图5）仅用二值分割更好地描述了单个椎骨的区别。

图4：在脊柱x射线中预测的椎骨面具的边界可视化显示，我们的模型比所有其他模型都有一致的改进。

图5所示。脊柱x射线中预测的椎骨面具的可视化(放大)显示，我们的模型比其他所有模型都有持续的改进。

在所有四种定量测量中，我们的模型获得了比基线模型更好的分数(表II)。

椎体分割模型的性能比较

图6中的须盒图进一步证实了我们模型的优越性。

图6：所有四种模型的Whisker-Box图显示了我们的模型的一致性能，在从脊柱x线测试装置分割18个脊柱侧弯相关椎骨时损失不同。

C、脊柱侧凸的结果

为了评价脊柱侧凸，我们将基于PUX模型的测量结果与通过处理专家注释获得的参考测量结果进行比较。如表III所述，我们基于分割的pipeline实现了非常精确的Cobb角。在我们的模型和参考测量之间观察到很好的一致性，在测试集中的每一个x射线的平均角度差仅为2.41度，这远远低于专家[21]推荐的可接受的误差限制。与现有的Cobb角测量技术相比，我们的方法获得的测量误差比[13]和[11]中报道的测量误差小。此外，脊柱侧凸[22]的分类表明，相对于参考文献，我们的方法的诊断准确率为100%。

表3：相对于参考测量值，我们计算测试集cobb角和脊柱侧弯严重程度的方法的性能

5、总结

准确可靠的椎体分割是有效测量脊柱侧凸的前提。为此，我们建立了一种全新的全自动脊柱x线图像分割技术。我们通过前后脊柱x线片准确评估脊柱侧凸的新框架使用了端到端模型，该模型可以准确可靠地分割脊柱，输出脊柱分割掩膜，通过计算Cobb角实现脊柱侧凸的准确测量。我们的管道有望成为脊柱侧凸临床诊断以及治疗计划决策支持的有效工具。我们设想将脊柱侧凸的测量与训练阶段相结合，这样我们的模型就能做出更智能的预测。

论文阅读：Analysis of Scoliosis From Spinal X-Ray Images相关推荐

论文阅读之A Challenge Dataset and Effective Models for Aspect-Based Sentiment Analysis（2019）
文章目录前言论文阅读变量定义 Embedding Layer Encoding Layer Primary Capsule Layer Aspect Aware Normalization Ca ...
论文阅读：EMPIRICAL ANALYSIS OF UNLABELED ENTITY PROBLEM IN NAMED ENTITY RECOGNITION
论文阅读:EMPIRICAL ANALYSIS OF UNLABELED ENTITY PROBLEM IN NAMED ENTITY RECOGNITION1 0. Summary 由于人工打标的昂 ...
[论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测（经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (04) 人工智能真的安全吗？浙大团队外滩大会分享AI对抗样本技术
外滩大会 AI安全-智能时代的攻守道 Deep Learning Security: From the NLP Perspective 浙江大学 <秀璋带你读论文>系列主要是督促自己阅读优 ...
[论文阅读] (03) 清华张超老师 - GreyOne: Discover Vulnerabilities with Data Flow Sensitive Fuzzing
数据流敏感的漏洞挖掘方法 Discover Vulnerabilities with Flow Sensitive Fuzzing Chao Zhang 清华大学 2nd International ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（3）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](3) What types of problems have graph ...
论文阅读：Natural Language Processing Advancements By Deep Learning: A Survey
文章目录一.介绍二.背景 1.人工智能和深度学习 (1)多层感知机 (2)卷积神经网络 (3)循环神经网络 (4)自编码器 (5)生成对抗网络 2.NLP中深度学习的动机三.NLP领域的核心概念 ...
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation 论文搜索(studyai.com) ...

论文阅读：Analysis of Scoliosis From Spinal X-Ray Images