一、概述

Swin Transformer是一个用了移动窗口的层级式Vision Transformer。

在图像领域，Transformer需要解决如下两个问题：

①尺度问题：同一语义的物体在图像中有不一样的尺度。(大小不同)

②Resolution过大：若以像素点作为单位，则会出现序列过长的情况。

由于使用了移动窗口，Swin Transformer的自注意力仅在窗口中计算，降低了计算量；同时移动窗口的应用还带来了图像之间的层级关系，使得其能更好的应用在图像领域。

二、重要操作

1.移动窗口

对于视觉任务而言，多尺度特征极为重要。例如对于目标检测而言，常用的方法是提取不同尺度的特征后进行特征融合(FPN)，这样可以很好的把握物体不同尺寸的特征。而对于语义分割而言，也需要对多尺寸特征进行处理。(skip connection/空洞卷积等)

patch：最小的计算单元

window：原文中默认有 7x7(合计49个)个patch

Shift操作：将原来的Window往右下移动窗口大小/2并向下取整（2个patch），再沿着原window的延长线对图进行分割。可以使得一个窗口中的自注意力机制注意到其他patch中的信息。

Masked掩码：

窗口移动后，由于窗口大小不一致无法直接merging，通常的操作是将小patch进行padding补至与中间大patch一致。但是这样会提升计算复杂度。

而Masked是在窗口移动后再进行一次循环移位(cyclic shift)；

组合后的窗口由于发生了patch移动导致除左上角的patch保持原有位置信息之外全部混入和其他位置的patch；针对这种情况。在对其进行自注意力运算，然后对运算后的结果中不是原始组合的部分按照特定的遮罩进行求和（用来屏蔽错误的组合），如下图所示。

遮罩模板如下：

2.patch merging

用于生成多尺寸特征，类似于CNN中的Pooling(池化)。具体做法是将相邻的小patch合并成一个大patch。

三.模型架构

①Patch Partition：在图上划分patch（原文为4x4，对于标准的224*224*3的图片而言，经过此操作后尺寸变为56*56*48）

②Linear Embeding：将向量的维度转换为预先设定好的值；原文设置了一个超参数c=96（操作后尺寸变为96*96*96，前面的96*96将被拉直成3136成为序列长度，最后一个96编程每个token的维度；由于96*96拉直后一共3136对于Transformer太长了，所以采用基于窗口的自注意力，默认每个窗口仅有7x7=49个patch）

③Swin Transformer Block：每组做两次多头自注意力：①基于窗口的多头自注意力；②基于移动窗口的多头自注意力。这样做可以实现窗口与窗口之间的通信。

④Patch Merging：Transformer若不进行限制的话，输入和输出尺度并不会发生改变。如果想像CNN一样得到多尺度特征的话就必须使用Patch Merging。具体做法是将相邻的小patch合并成一个大patch(以原文为了例下采样数为2倍，采用跳步式合并--每隔一个点采集一个)；

但是经过Merging后，通道数会变为4c，为了和CNN每卷积一次通道数仅x2，在进行Merging后再进行一个1x1卷积将通道数调整为2c。（空间大小/2，通道数x2）

[自注意力神经网络]Swin Transformer网络相关推荐

【读点论文】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows通过窗口化进行局部MSA，sw-MSA融合信息
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows abstract 本文提出了一种新的视觉transfor ...
【读点论文】A ConvNet for the 2020s，结合swin transformer的结构设计和训练技巧调整resnet网络，在类似的FLOPs和参数量取得更好一点的效果
A ConvNet for the 2020s Abstract 视觉识别的"咆哮的20年代"始于视觉transformer(ViTs)的问世,它迅速取代ConvNets成为最先进 ...
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文翻译 + 网络详解
目录 1 3 4 5 是论文的翻译,如果看过论文也可以直接看关于网络的结构详解. Abstract 1. Introduction 3. Method 3.1 Overall Architicture ...
当Swin Transformer遇上DCN，清华可变形注意力Transformer模型优于多数ViT
©作者 | 小舟来源 | 机器之心本文中,来自清华大学.AWS AI 和北京智源人工智能研究院的研究者提出了一种新型可变形自注意力模块,其中以数据相关的方式选择自注意力中键值对的位置,使得自注意力 ...
屠榜各大CV任务！最强骨干网络：Swin Transformer V2来了
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达转载自丨极市平台作者丨happy 导读针对SwinV1在更大模型方面存在的几点问题,Swin tra ...
【神经网络架构】Swin Transformer细节详解-1
目录源码: 1. Patch Partition + Liner Embedding 模块 2. Swin Transformer block(一个完整的W-MSA) partition windo ...
屠榜各大CV任务！最强骨干网络：Swin Transformer来了
原文地址:https://mp.weixin.qq.com/s/z91JuI2w1QZg-3ZxN-OmwQ paper: https://arxiv.org/abs/2103.14030 code: ...
重磅开源！屠榜各大CV任务！最强骨干网络：Swin Transformer来了
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达本文转载自:Smarter Swin Transformer 代码于2021年4月13日凌晨刚刚开源! ht ...
专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」原创
文 | 刘冰一.Echo 编辑 | 极市平台本文原创首发于极市平台,转载请获得授权并标明出处. 胡瀚,湖北潜江人,本博均毕业于清华大学自动化系,曾就职于百度研究院深度学习实验室,目前任职于微软亚洲研 ...

[自注意力神经网络]Swin Transformer网络