Dual Cross-Attention for Medical Image Segmentation

摘要

代码链接
论文链接
提出了双交叉注意(Dual Cross-Attention, DCA)，能够增强u - net架构下医学图像分割的跳过连接。
DCA通过连续捕获跨多尺度编码器特征的通道和空间依赖关系来解决编码器和解码器特征之间的语义差距。

首先，通道交叉注意(CCA)利用多尺度编码器特性的跨通道交叉注意令牌提取全局信道依赖关系。
然后，空间交叉注意(SCA)模块执行交叉注意，以捕获跨空间标记的空间依赖关系。
最后，对这些细粒度编码器特征进行上采样，并将其连接到相应的解码器部分，形成跳越连接方案。
我们提出的DCA模块可以集成到任何具有跳过连接的编码器-解码器体系结构中，例如U-Net及其变体

方法

Patch Embedding from Multi-Scale Encoder Stages

我们首先从n个多尺度编码器阶段(即跳过连接层)提取patch。给定n个不同尺度的编码器，使用2D平均池化提取patch，其中池大小和步幅为Psi，并在2Dpatch上使用1×1 depth-wise 卷积应用投影:

Channel Cross-Attention (CCA)

将不同的token沿着通道维度创建键和值，同时我们使用Ti进行查询。虽然线性投影通常用于传统的自我注意，但最近的研究成功地将卷积应用于自我注意，以带来局域性并降低计算复杂度。特别是深度卷积被用于自我注意，因为它们能够以可忽略不计的额外计算成本捕获局部信息。基于之前的工作和这些优势，我们将所有线性投影替换为1 × 1深度卷积投影:

Spatial Cross-Attention (SCA)

沿着通道维度执行层归一化和连接。与CCA模块不同，我们使用连接的token C作为查询和键，而我们使用每个token i作为值。我们在查询、键和值上使用1 × 1 depth-wise projection

实验结果

基于双重交叉注意的医学图像分割相关推荐

基于U-Net系列算法的医学图像分割（课程设计）
基于U-Net系列算法的医学图像分割(课程设计) 参考论文:包括U_Net/R2U_Net/AttU_Net/R2AttU_Net,如下图所示: 基于Pytorch的代码和数据集下载地址:下载地址运 ...
MedSegDiff：基于 Diffusion Probabilistic Model 的医学图像分割
目录前言 MedSegDiff 动态条件编码 FF-Parser 实验 MedSegDiff-V2 概述 Anchor Condition with Gaussian Spatial Attenti ...
新突破！Swin-UNet：基于纯 Transformer 结构的医学图像分割网络
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:Sophia知乎 https://zhuanlan.zhihu.com/p/393412176 AI博士笔记系 ...
nnUNet原创团队全新力作！MedNeXt：医学图像分割新SOTA
Title:MedNeXt: Transformer-driven Scaling of ConvNets for Medical Image Segmentation MedNeXt:用于医学图像分 ...
分享一个PyTorch医学图像分割开源库
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转载自:我爱计算机视觉分享一位52CV粉丝Ellis开发的基 ...
基于深度学习的自然图像和医学图像分割：网络结构设计
来源:知乎.极市平台.深度学习爱好者作者丨李慕清@知乎 https://zhuanlan.zhihu.com/p/104854615 本文约5100字,建议阅读10分钟本文首先介绍一些经典的语义分割 ...
基于深度学习的医学图像分割综述
转载:https://blog.csdn.net/weixin_41783077/article/details/80894466 摘要:医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问 ...
基于U-Net的递归残差卷积神经网络在医学图像分割中的应用
转载: 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/weixin_45723705/ ...
nnU-Net: 基于U-Net医学图像分割技术的自适应框架
** nnU-Net: 基于U-Net医学图像分割技术的自适应框架 ** https://arxiv.org/pdf/1809.10486.pdf 作者:Fabian Isensee 提要 U-Net ...

基于双重交叉注意的医学图像分割