文章目录

Multi-modal learning for predicting the genotype of glioma
- 摘要
- 本文方法
- - 多模态数据生成
  - - Brain networks construction via self-supervised NNs
    - Multi-modal learning for image, geometrics and brain networks
    - Bi-level multi-modal contrastive loss
  - Population graph for classifying glioma patients
- 实验结果

Multi-modal learning for predicting the genotype of glioma

摘要

背景
异柠檬酸脱氢酶（IDH）基因突变是神经胶质瘤诊断和预后的重要生物标志物。
通过将局灶性肿瘤图像和几何特征与MRI衍生的脑网络特征相结合，可以更好地预测神经胶质瘤基因型。卷积神经网络在预测IDH突变方面表现出合理的性能，然而，它不能从非欧几里得数据中学习，例如几何数据和网络数据。
本文方法

提出了一个多模态学习框架，使用三个独立的编码器来提取局灶性肿瘤图像、肿瘤几何和全局脑网络的特征。
为了缓解扩散MRI的有限可用性，我们开发了一种自监督方法，从解剖多序列MRI生成大脑网络
为了从脑网络中提取与肿瘤相关的特征，我们为脑网络编码器设计了一个分层注意力模块
设计了一个双水平的多模态对比损失，以对齐多模态特征
最后，我们提出了一个加权总体图来整合多模态特征，用于基因型预测

本文方法

模型包括三个阶段：（1）从多序列MRI中生成肿瘤图像、肿瘤几何图和脑网络的多模态数据；（2）多模态对比学习从局灶性肿瘤图像、几何图形和全局脑网络中提取特征；（3）特征集成，构建用于患者分类和基因型预测的群体图。

多模态数据生成

三种数据模型：
（1）通过在肿瘤掩模和MRI上指定布尔值来获得局灶性肿瘤的图像数据（表示为xI）；
（2）通过使用标准的最远点采样策略对肿瘤掩模的表面网格进行采样，生成点云形式的肿瘤几何数据（表示为xP）；
（3）大脑网络（表示为xB）由下面详述的两个自监督神经网络（NN）生成

Brain networks construction via self-supervised NNs

大脑网络由重建的节点和边缘组成，是基于先前的神经解剖学图谱生成的
节点属性表示分离的大脑区域的独立区域特征。大脑边缘属性被定义为由预先训练的边缘编码器从解剖MRI中提取的特征，该特征表示由解剖先验定义的不同大脑区域之间的白质通道连通性。

经过训练的编码器从先前的大脑图谱中提取节点属性（作为大脑网络的节点）。具体而言，由图谱上的90个皮层/皮层下大脑区域包围的体素被提取并输入到基于神经网络的自动编码器（AE）中，以产生大脑网络的大脑节点属性。
AE由从大脑节点中的体素中提取高级表示向量的NN编码器和试图从表示向量中恢复体素的NN解码器组成。

通过采用这种自监督模型，可以提取大脑区域中体素的表示作为大脑节点属性。相反，边缘属性的对比学习编码器（MLP）的输入在训练阶段包括FA图和解剖MRI，而在测试阶段不再需要FA图和相应的编码器。经过训练的解剖MRI编码器从束图谱中提取边缘属性（作为大脑网络的边缘）。

使用束图谱作为重建大脑边缘属性bE的感兴趣区域，表明连接90个大脑区域的2309条白质束通路。
由于扩散MRI得出的分数各向异性（FA）图在表征大脑连接/边缘方面具有临床意义，我们利用FA图来指导解剖MRI的属性提取。
首先，将解剖MRI的体素和束图谱所包围的相应FA图输入到两个多层感知器（MLP）中

脑边缘LE的对比损失定义为：

其中i是目标患者的指数，而j是mini-batch中其他患者的指数；S（·）是相似性得分；τ是温度参数，设置为0.1；M是mini-batch的尺寸。负对是不同患者的边缘属性对（FA，解剖MRI），而正对是同一患者的边缘-属性对。
该损失最大化了正极对之间的距离，并最小化了负极对之间的间距，以从解剖MRI中提取与FA最相关的特征

Multi-modal learning for image, geometrics and brain networks

所提出的多模态学习框架从三种模态的数据中提取特征，即局灶肿瘤图像、局灶肿瘤几何和全局脑网络。

此外，为脑网络编码器开发了层次注意力，以提取与肿瘤相关的脑网络特征。

最后，将提取的特征投影到一个共享的潜在空间中，用于双水平多模态对比学习，这可以最大限度地减少从肿瘤水平（图像和几何图形）到全局大脑水平（局灶肿瘤和大脑网络）的领域差距。

注意力机制由边缘级注意力和节点级注意力构成。前者是通过将肿瘤边界的几何注意力投影到边缘上而获得的。具体而言，点云被投影到边缘图集。然后为交叉边指定点云的边界注意力。边缘注意力定义为：

其中aEi是连接第i个患者的第m个节点和第n个节点的第（m，n）个边缘的边缘注意力。K是第（m，n）条边穿过的点云中的点数，aPi，K是第（m，n）个边穿过的第K个点的注意力

Bi-level multi-modal contrastive loss

通过最小化来自同一患者i的多模态潜在特征（zIi，zPi）之间的余弦距离（吸引）并最大化多模态潜在特性对（zIi，zPj）的余弦距离，开发了双水平多模态对比损失，以首先减小肿瘤水平特征的域间隙，（zPi、zIj）。其次，针对脑网络（zBi）和局灶性肿瘤（zFi）的特征，使用类似的方法优化脑水平域间隙。
设计了三种对比损失，分别是肿瘤图像与肿瘤几何图、肿瘤几何图与肿瘤图像和全局脑网络与局灶性肿瘤。最后，我们用加权系数λ对这三个子损失进行积分。

Population graph for classifying glioma patients

用于患者分类的总体图：每个节点权重（wnode）表示一个患者的特征，而每个边缘权重（wedge）表示患者特征之间的相似性。GNN节点分类器被训练用于对患者进行分类。

实验结果

预测神经胶质瘤基因型的多模态学习相关推荐

多模态学习研讨会：预训练是AI未来所需要的全部吗？
编者按:文字.图片.语音.视频--我们的日常生活充满了不同模态的数据,涉及不同模态数据交互的任务也越发普遍.最近,微软亚洲研究院举办了一场多模态表征学习与应用研讨会,与来自亚太高校的多位学者深度探讨了 ...
2020AI顶会的腾讯论文解读 | 多模态学习、视频内容理解、对抗攻击与对抗防御等「AI核心算法」
关注:决策智能与机器学习,深耕AI脱水干货报道 | 腾讯AI实验室计算机视觉领域三大顶会之一的 ECCV(欧洲计算机视觉会议)今年于 8 月 23-28 日举办.受新冠肺炎疫情影响,今年的 EC ...
Incomplete Multimodal Learning（不完整多模态学习）
博主已经更新过很多多模态系列的文章了,专栏传送门:多媒体与多模态专栏. 可以发现多模态虽然效果很好,但需要保证"多个"模态都一定要存在.但是在现实世界中,部分模态的缺失是很常见的, ...
多模态学习研究进展综述
一.引言模态是指人接受信息的特定方式.由于多媒体数据往往是多种信息的传递媒介(例如一段视频中往往会同时使得文字信息.视觉信息和听觉信息得到传播),多模态学习已逐渐发展为多媒体内容分析与理解的主要手段 ...
多模态学习（Multimodal Deep Learning）研究进展综述（转载）
转载: AI综述专栏--多模态学习研究进展综述 https://zhuanlan.zhihu.com/p/39878607 文章目录一.引言二.主要研究方向及研究进展 (一)多模态表示学习 (二) ...
多模态学习、迁移学习、元学习、联邦学习、表示学习、知识图谱、无监督学习、半监督学习、弱监督学习、自监督学习简介
多模态学习 Multimodal Learning :文本.视觉.声音模态结合的学习迁移学习 transfer learning:在某训练集上训练后的模型(预训练模型),相似训练集再进行训练后可以使 ...
卷积神经网络和多模态学习
目录一.卷积神经网络的介绍 1.1 局部连接 1.2 权值共享二.卷积神经网络在文本领域的运用 2.1 BERT模型 2.2 预训练模型 2.3 BERT模型的架构 2.4 BERT模型的输入表征 ...
做时间序列预测有必要用深度学习吗？事实证明，梯度提升回归树媲美甚至超越多个DNN模型...
来源:机器之心本文约2600字,建议阅读9分钟在时间序列预测任务上,你不妨试试简单的机器学习方法. 在深度学习方法应用广泛的今天,所有领域是不是非它不可呢?其实未必,在时间序列预测任务上,简单的机 ...
做时间序列预测有必要用深度学习吗？梯度提升回归树媲美甚至超越多个DNN模型...
©作者 | 杜伟.陈萍来源 | 机器之心在深度学习方法应用广泛的今天,所有领域是不是非它不可呢?其实未必,在时间序列预测任务上,简单的机器学习方法能够媲美甚至超越很多 DNN 模型. 过去几年,时 ...

预测神经胶质瘤基因型的多模态学习