关注公众号，发现CV技术之美

在医学影像分析领域的国际顶级会议MICCAI 2021（International Conference on Medical Image Computing and Computer Assisted Intervention）上，深圳大学倪东教授团队的医学超声影像计算实验室（http://www.music-bme.net/）有多篇论文被接收。

为更好地介绍相关研究工作，给予实验室萌新充分的展示锻炼机会，广泛接受同行的专业建议与反馈，MUSIC实验室准备了本次线上论文分享。三篇论文围绕智能化超声影像分析的多个基础和前沿方向，概要信息如下：

报告时间：

2021年8月24日（星期二）晚上20:00（北京时间）

报告主题：

1. 基于在线学习框架的无传感器自由式三维超声影像重建

2. 基于多智能体强化学习的弱监督精确分割研究

3. 基于风格课程学习的医学影像分割稳健性研究

主持人：

倪东教授（深圳大学），杨鑫博士（深圳大学）

线上分享链接：

Bilibili:

https://live.bilibili.com/23407664

腾讯直播：

https://meeting.tencent.com/l/yCLo0pXNVDpS

▊ 1. 基于在线学习框架的无传感器自由式三维超声影像重建

论文一

Self Context and Shape Prior for Sensorless Freehand 3D Ultrasound Reconstruction

论文：https://arxiv.org/abs/2108.00274

作者：骆明远*，杨鑫*，黄晓琼，黄雨灏，邹玉欣，胡歆迪，Nishant Ravikumar，Alejandro F Frangi，倪东

三维超声影像由于具有丰富的空间信息而得到重要应用。然而，其视野范围（Field of View）和可操作性仍有较大的改善空间，以更好地满足临床需求。通过直接从2D超声视频影像重建3D的超声立体影像，无传感器自由式三维超声重建（如图1.1所示）有望解决这一问题。

目前这一领域内的研究方法仅实现了基于简单扫查手法的超声视频影像重建，这与实际临床扫查中通常包含的复杂扫查手法之间仍存在较大差异，因此无法有效应对复杂的序列重建任务。

本研究提出了一个新型的在线学习框架（图1.2），通过在测试阶段（testing phase）挖掘测试序列自身包含的信息来应对上述复杂的超声扫查手法所带来的挑战。本工作的主要贡献如下：

• 提出了一种自监督学习策略来挖掘测试数据自身的上下文信息，作为约束以提高模型的感知度；

• 受形状先验的启发，引入了在线对抗学习以加强深度模型对于重建容积中解剖形状先验知识的学习；

• 设计了一种可微的重建近似方法以保证在线学习的端到端优化。

在多个超声视频影像数据集上的实验，验证了在线学习框架在精确重建、降低漂移误差和提高路径相似度方面的优越性（表1.1）。

图1.1 三维超声影像重建任务示意图（左：2D超声扫查视频；右：重建3D超声容积）

图1.2 本工作所提出的在线学习框架

表1.1 不同重建方法在两个超声数据集上的评估指标平均值（标准差）

▊ 2. 基于多智能体强化学习的弱监督分割研究

论文二

Flip Learning: Erase to Segment

论文：https://arxiv.org/abs/2108.00752

作者：黄雨灏*，杨鑫*，邹玉欣，陈超宇，王键，窦浩然，Nishant Ravikumar，Alejandro F Frangi，周建桥，倪东

全监督分割方法在医学影像分割任务中取得了不错的成绩。但是，逐像素的标注耗时巨大，且严重依赖专家经验。弱监督分割的出现有望缓解影像标注的问题。然而，目前的相关研究仍存在着轮廓定位不准、依赖于伪标签生成和类别激活图（CAM）等限制。

本研究尝试提出一种新型的基于强化学习的弱监督分割框架，命名为逆转学习（Flip Learning），实现仅基于矩形框弱标注的超声影像精确分割（图2.1和图2.2）。

Flip Learning以改变矩形框区域的分类标签为弱奖励，驱动强化智能体将病灶目标从标注框中逐步擦除，从而逆转分类标签（如：肿瘤->正常组织），最终被擦除的区域就是目标分割结果（图2.3）。

为了提升强化智能体的学习效率和弱监督分割的准确度，在多个协作智能体（Multi-Agent）的基础上，本工作提出了如下关键设计，以实现精确分割：

• 通过超像素编码以稀疏化图像环境（Environment）；

• 防止欠分割和过分割的奖励函数（Rewards）；

• 由粗到细的两阶段学习策略（Coarse-to-Fine）。

在大量且具有足够难度的乳腺超声数据集上进行验证，本研究方法可达到91.12%的DICE，接近全监督方法的93.44%，且比经典的类别激活图类的方法Grad-CAM提升了接近40个点（52.66%）（表2.1）。

图2.1 基于标注框的弱监督分割任务示意图（蓝色为矩形框弱标注，白色为分割的病灶区域）

图2.2 基于Flip Learning的弱监督分割整体框架

图2.3 智能体擦除过程，擦除曲线以及结果展示

表2.1 不同方法在乳腺超声数据集上的指标平均值±标准差

▊ 3. 基于风格课程学习的医学影像分割的稳健性研究

论文三

Style Curriculum Learning for Robust Medical Image Segmentation

论文：https://arxiv.org/abs/2108.00402

作者：刘振东*，Van The Manh*，杨鑫，黄晓琼，Karim Lekadir，VÍctor Campello，Nishant Ravikumar，Alejandro F Frangi，倪东

深度模型在医学影像分割任务上取得了巨大的成功。然而，实际的临床情况是复杂的，成像设备、成像参数、采集医生等差异因素都会使得医学影像出现一定的分布漂移问题。深度模型在面对上述分布漂移时，往往会缺乏稳健性，进而造成性能下降（图3.1）。

nn-Unet是经典设计且拥有较好的稳健性，但其训练和推理均极为耗时。轻量化且稳健的医学影像分割模型是本论文的研究目标。

本研究受课程学习（Curriculum Learning）的启发，设计了一个通用的由易到难的课程学习策略（图3.2）。通过使深度模型渐进式地学习更加困难的对抗样本，有效拓展模型的分割稳健性。论文的主要贡献如下：

• 采用梯度操纵（Gradient Manipulation）的方式来自动化地定义课程学习样本的难度；

• 提出有效的平滑策略以降低梯度攻击的强度，使得基于对抗样本的课程训练更稳定可训练；

• 在2021年M&Ms Challenge进行的大量实验，验证了我们的方法拥有媲美竞赛第一名 (nn-Unet) 的性能和稳健性（表3.1）；

• 本研究仅基于一个基础的U-net，训练时间仅是 nn-Unet 的1/10，且同时满足实时和轻量化的临床应用需求。

[备注] M&Ms Challenge中，训练集仅有A和B两种机器的影像，测试集则包括算法从未见过的C和D两种机器的影像（图3.1）。

图3.1 分布偏移情况下深度分割模型的性能下降，以MMs竞赛数据为例

图3.2 本研究提出的风格课程学习整体框架

表3.1 不同方法在四个厂商上的DSC和HD指标平均值（标准差）（P1/P2/P3均为nn-Unet方案）

▊ 4. 作者介绍

骆明远 博一

研究方向：三维超声影像重建

个人主页：https://scholar.google.com/citations?user=LwZENJ8AAAAJ&hl=en

黄雨灏 研二

研究方向：强化学习与医学影像研究

个人主页：https://scholar.google.com/citations?user=mciKo6MAAAAJ&hl=en

刘振东 研二

研究方向：医学影像分割的稳健性

个人主页：https://scholar.google.com/citati

ons?user=X-QSRsYAAAAJ&hl=en

▊ 5. 主持人介绍

倪东（教授）

博士生导师，香港中文大学计算机科学与工程系博士，深圳大学优秀学者，深圳市海外高层次人才，深圳市科技进步奖一等奖及吴文俊人工智能奖获得者。MICCAI理事会成员、MICCAI 2019执行主席、广东省超声医学工程学会常务理事、中国医学装备协会超声技术分会大数据与人工智能专委会副主任委员。研究方向包括人工智能医疗影像与计算机辅助介入手术，致力于相关前沿科技的研究与产业化。近5年主持国家重点研发计划项目、国家自然科学基金等9个国家、省市级项目，作为常务负责人主持深圳市孔雀团队项目1项，总经费四千余万元，并建设了高水平团队。近5年在Nature Communication、IEEE TMI、MedIA等国际顶刊发表SCI论文20余篇。

研究方向：智能医学超声，机器人超声，影像基因组学等。

个人主页：

https://scholar.google.com/citations?user=J27J2VUAAAAJ&hl=en

杨鑫（博士）

硕士生导师，香港中文大学计算机科学与工程系博士，深圳市海外高层次人才。曾于北卡罗莱纳教堂山分校（UNC IDEA Lab）和哈佛医学院心血管核磁影像中心交流访问。发表MICCAI论文15篇，两次获得MICCAI大会Oral。是国产首个医学影像一站式智能标注软件Pair的主要发起人和贡献者。

研究方向：产前超声影像分析，人工智能，心脏影像和计算机图形学等。

个人主页：https://xy0806.github.io/

▊ 6. 团队介绍

深圳大学医学超声影像计算实验室（http://www.music-bme.net/）孵化于医学超声关键技术国家地方联合工程实验室。实验室十余年来一直聚焦于医学超声影像分析相关的基础与前沿研究，在智能产科超声等领域取得了重要研究成果。

实验室目前共有教授1名，副教授2名，助理教授3名，研究员1名，博士研究生4人，研究助理2名，以及硕士研究生50余人。MUSIC实验室常年招收相关方向的硕士研究生、博士和博士后。团队一直坚持成员前途至上的理念，诚挚欢迎志同道合、才华横溢的同学加入。

END,入群????备注：医学影像