变化检测

变化检测(Change Detection)主要是捕获同一地区在不同时间的地物变化信息。CD流程主要包括三个步骤：预处理、变化分析和差异图生成。根据输出变化图中需要的语义标签信息的类型，CD分为两类：二进制变化(BCD)和语义变化检测(SCD)。在BCD中，变化结果图通过一个二进制标签来区分变化和未变化的像素。而SCD还可以捕获到变化的类型。这里的变化类型是指双时相图像之间的土地覆盖过渡，如“土地到建筑”、“森林到农田”等。因此SCD可以更好的捕获到全面的变化信息。同时也是一个更加复杂的变化检测任务。

新的网络架构

SCD的局限性

（1）不同RS场景难以定义合适的patch大小;
（2）由于场景patch仅表示目标物体的矩形区域，无法勾画出物体的边界，这对于准确的变化信息后处理和统计分析是必不可少的，如变化物体矢量化、变化区域计算等。因此，使用像素级标签信息实现SCD是至关重要的。

提出的SCDNET架构

为了克服上述局限性，提出了一种新的语义CD网络(SCDNet)，在该网络中可以生成像素级的语义变化图。因此，通过带有“从到”类标签的双时态语义更改映射，可以很容易地表示更改转换状态。SCDNet基于编码器-解码器架构设计，由两个编码器和两个解码器组成，可以有效地结合双时间图像信息生成语义变化图。本文的贡献可以概括为两个方面:
（1）采用权重共享的暹罗Unet结构对双时相图像进行多层次的特征表示和融合
（2）为了捕捉多尺度变化，编码器中采用了多尺度的空洞卷积模块，为了提高特征融合和避免梯度消失，在解码阶段进一步引入了注意力机制和深度监督策略，为了解决类不均衡问题，提出了一种新的基于dice损失和focal损失的目标函数。

网络结构

为了加强网络收敛速度，采用预训练的Resnet34作为主干网络，生成各比例的差异特征图，进行变化分析。在编码器的末端，插入MAC模块来扩大感受野。然后通过上采样和卷积操作对收缩后的特征图进行扩展，恢复出全分辨率的特征图。为了嵌入图像每一时期的变化信息，将图像特征图和不同层次的差异特征图结合在一起，形成跳跃连接。此外，为了有效融合编码器和解码器之间的特征映射，利用注意力模块对特征进行校准。在解码器的末端加入dropout层以提高网络泛化能力。最后利用softmax生成语义变化图，为了克服梯度消失，提高收敛性，进一步采用了深度监督策略来促进网络训练。

多尺度空洞卷积模块

注意力机制

LOSS函数

对于SCDnet，由于使用了深度监督策略，每段图像生成了四个输出分割映射，因此单时间损失函数可以定义为四个侧输出损耗的组合。

其中，yity^t_iyit表示双线性下采样产生的yipy^p_iyip。假设y4ty^t_4y4t是全分辨率的最终输出，BDsBD_sBDs是尺度为s下采样操作，y1t=BD16(y4t)y^t_1 = BD_{16}(y^t_4)y1t=BD16(y4t), y2t=BD8(y4t)y^t_2 = BD_{8}(y^t_4)y2t=BD8(y4t), y3t=BD4(y4t)y^t_3 = BD_{4}(y^t_4)y3t=BD4(y4t)。侧输出损失函数由两部分组成：全局交叉熵损失LceL_{ce}Lce和类别组合损失LdfL_{df}Ldf。

其中wcew_{ce}wce是权衡参数，利用交叉熵损失对预测输出ypy^pyp和目标输出yty^tyt的不一致性进行全局惩罚：

为了平衡dice loss，加入权重系数

其中c为类别数，wjw_jwj表示每个类别标签j的权重，wdicew_{dice}wdice和wflw_{fl}wfl分别表示dice loss和focal loss的系数权重，各个公式如下:

其中γ用于调整简单样本的影响，通常设置为2。其中yty_{t}yt和ypy_{p}yp表示目标和预测的二进制映射。此外，设r(j)(1<=j<=C)r(j)(1<=j<=C)r(j)(1<=j<=C)表示每个改变类别的类别占比。可定义wiw_{i}wi为：

最后损失函数LtotalL_{total}Ltotal可以通过对图像各个周期之前的损失求和来定义：
其中Lt1L_{t1}Lt1和Lt2L_{t2}Lt2分别表示图像t1和t2的损失函数。

实验

结论

本文提出了一种新颖的语义变化检测体系结构SCDNet，旨在以端到端方式解决大规模遥感数据集的SCD任务。为了生成每段输入图像的语义变化映射，SCDNet由两个共享权重的并行编码器和解码器组成。前者用于提取多尺度的深度特征图，后者将深度特征图与差异特征图相结合，用于解码变化信息。为了利用多尺度信息，在编码器的末端引入了MAC单元。采用注意机制有效地融合了编码器和解码器之间的特征映射。为了避免梯度消失，提高网络性能，采用深度监督策略生成中间层的多尺度语义变化图。在softmax层之前进一步加Dropblock模块，旨在提高网络泛化能力。在两个VHRsCD数据集上验证了该方法的有效性。实验结果表明，SCDNet在视觉比较和定量精度指标上稳定优于其他SOTA方法。

论文阅读：SCDNET: A novel convolutional network for semantic change detection in high resolution optical相关推荐

全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
论文阅读笔记:Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文. 论文下载地址:Fu ...
【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
最近在看3d目标检测的文章,感觉看完东西还是要记一下自己的想法,尤其是有思考的文章. 论文题目:Point-GNN: Graph Neural Network for 3D Object Detect ...
论文阅读——CcNet:A cross-connected convolutional network for segmenting retinal vessels using multi-scale
论文阅读:CcNet:A cross-connected convolutional network for segmenting retinal vessels using multi-scale ...
论文阅读 - Social Bot-Aware Graph Neural Network for Early Rumor Detection - CCF B
目录摘要: 1 绪论 2 问题定义 3 SBAG模型 3.1社交机器人检测 3.2 机器人感知图神经网络 3.2.1基于GCN的用户发布 3.2.2 基于GAT的用户交互 3.2.3文本编码器 3. ...
论文阅读：iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
iCAN(BMVC2018) 文章在InteractNet上做的改进,达到了 V-COCO 45.3%. 在由h或者o计算a的分数时,不止用它们本身的特征,还concat了context特征,c ...
自监督论文阅读笔记SELF-SUPERVISED SPECTRAL MATCHING NETWORK FOR HYPERSPECTRAL TARGET DETECTION
高光谱目标检测是一个像素级的识别问题.给定几个目标样本,它旨在从整个高光谱图像中识别特定的目标像素,例如飞机.车辆.船舶.一般来说,背景像素占图像的大部分并且分布复杂.结果,数据集的注释很弱并且非常不 ...
【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）
[论文阅读]Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecastin ...
论文阅读11——《Mutual Boost Network for Attributed Graph Clustering》
是聚类让我们"聚类",我整理了部分深度图聚类代码,希望大家多多支持(GitHub代码):A-Unified-Framework-for-Deep-Attribute-Graph-C ...
论文阅读：Saliency-Guided Region Proposal Network for CNN Based Object Detection
论文阅读:Saliency-Guided Region Proposal Network for CNN Based Object Detection (1)Author (2)Abstract (3 ...

论文阅读：SCDNET: A novel convolutional network for semantic change detection in high resolution optical

SCDNET:一种用于高分辨率光学遥感图像变化检测网络