语义分割，也称为像素级分类问题，其输出和输入分辨率相同（如题图中，左边为2048x1024分辨率的Cityscapes街景图像，输入模型，得到右边同样分辨率的语义图）。由此，语义分割具有两大需求，即高分辨率和高层语义，而这两个需求和卷积网络设计是矛盾的。

卷积网络从输入到输出，会经过多个下采样层（一般为5个，输出原图1/32的特征图），从而逐步扩大视野获取高层语义特征，高层语义特征靠近输出端但分辨率低，高分率特征靠近输入端但语义层次低。高层特征和底层特征都有各自的弱点，各自的分割问题如图１所示，第二行高层特征的分割结果保持了大的语义结构，但小结构丢失严重；第三行低层特征的分割结果保留了丰富的细节，但语义类别预测的很差。

一个自然的想法就是融合高低层特征，取长补短，分割经典工作FCN和U-Net均采用了这个策略，物体检测中常用的特征金字塔网络(FPN)也是采用了该策略。为下文需要，先介绍两类融合策略，一类是FPN，先自下而上获取高层语义特征，再通过自上而下逐步上采样高层语义特征，并融合对应分辨率的下层特征；另一类是HRNet，自下而上包含多个分辨率通路，不同分辨率特征在自下而上过程中及时进行融合。

待融合的低分辨率高层特征一般通过双线性插值到低层特征的相同分辨率，然后通过相加或沿通道维拼接的方式进行融合。这里引入了两个问题，１．是否每个位置的高低层特征都是同等有效；２．高低层特征空间上存在对不齐的问题，简单上采样无法解决。

对问题１，我们提出了GFF，借鉴LSTM中的Gate机制，在不同位置给高低层特征根据有效性，给予不同的加权。

对问题２，最近arXiv上先后放出了两篇工作[1, 2]，都是借鉴光流（对齐不同帧图像）来对齐不同层特征。其中，Semantic Flow [1]是基于FPN的自上而下策略，AlignSeg [2]是基于HRNet的自下而上策略。

Semantic Flow实现非常简单，首先引入Flow Alignment Module (FAM，图５)，然后改造FPN（图６）。该方法由于没有使用常用的高层用带孔卷积替代下采样操作，整个网络计算量小、显存消耗少。

该方法的优势是既快又准，如下图所示，ResNet18 backbone以26 FPS速度取得了80.4 mIoU。

AlignSeg采用类似HRNet保持分辨率的做法（图７），在保持分辨率过程中使用特征对齐模块(AlignFA)进行不同分辨特征之间的融合。

最新进展

• Self-attention用于实现多层特征之间的融合[9]。

• Self-attention同时作用于Space&Scale[10]。

这里面还要很多问题待探究，比如：

1. 用于特征对齐的最优网络结构应该怎么设计？目前是采用了类似FlowNet-S的结构，FlowNet-C结构不适合于该任务，原因是高低层特征之间不能像前后帧图像对应层特征之间算相似性。
2. 高低层特征对不齐的原因是什么？
3. 能否在对不齐发生时就记录下来，而不是事后补救（类似SegNet那种记录Pooling Indices的方式）？
4. 如何拓展到视频分割，同时处理时序上、高低层特征上的对不齐？

5. 如何处理超高分辨率图像分割？

参考文献

[1] Xiangtai Li, Ansheng You et al. Semantic Flow for Fast and Accurate Scene Parsing. ECCV, 2020.

[2] Zilong Huang et al. AlignSeg: Feature-Aligned Segmentation Networks. arXiv: 2003.00872.

[3] Xiangtai Li et al. GFF: Gated Fully Fusion for Semantic Segmentation. AAAI, 2020.

[4] Rudra P K Poudel et al. ContextNet: Exploring Context and Detail for Semantic Segmentation in Real-time. arXiv:1805.04554.

[5] Tsung-Yi Lin et al. Feature Pyramid Networks for Object Detection. CVPR, 2017.

[6] Ke Sun et al. Deep High-Resolution Representation Learning for Human Pose Estimation. CVPR, 2019.

[7] Junyi Feng et al. How to Train Your Dragon: Tamed Warping Network for Semantic Video Segmentation. arXiv:2005.01344.

[8] Ho Kei Cheng et al. CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement. CVPR, 2020.

[9] Ping Hu et al. Real-time Semantic Segmentation with Fast Attention. arXiv:2007.03815.

[10] Dong Zhang et al. Feature Pyramid Transformer. ECCV, 2020.

[11] Yuxiang Wei et al. Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision. ECCV, 2020.

[12] Jun Gao et al. Beyond Fixed Grid: Learning Geometric Image Representation with a Deformable Grid. ECCV, 2020.

[13] Jianbo Liu et al. EfficientFCN: Holistically-guided Decoding for Semantic Segmentation. ECCV, 2020.

[14] Yimian Dai et al. AFF: Attentional Feature Fusion. arXive:2009.14082.