三维视觉论文阅读：GANet2019双目立体匹配

论文

GA-Net: Guided Aggregation Net for End-to-end Stereo Matching

摘要

自从大家开始将SGM的思想引入双目立体匹配网络后，越多越多的学者开始开脑洞。在GANet这篇论文中，作者的主要的贡献就是将SGM的“代价聚合”模块引入到端到端网络之中。

模型

在文章中，作者给出了一个网络结构的示意图。然而由于作者并没有添加任何图例，本人完全看不懂这个图中的具体细节。
为了大致搞清楚本文的网络结构，本文阅读代码，大致画了以下两个图（其中绿色模块是各种卷积，黑色箭头是数据流），表示网络的结构（参考的代码是https://github.com/feihuzhang/GANet/blob/master/models/GANet11.py）

1 特征提取模块

整个模型的第一部分是特征提取模块，包括cost和guidance模块。cost比较容易理解，和GCNet和PSMNet中并没有什么太大区别，唯一区别在于用了两个堆砌的UNet。guidance模块，有点像导向滤波的参数，在计算这个东西的时候，还专门的融合了高层特征。

2 代价聚合模块

整个模型的第二部分是代价聚合模块，这块是本篇文章的重点。作者也花费了大量的时间和精力来介绍。总的来说其结构图如下，大概就是先用SGA模型做全图传播，然后再用LGA模型做局部传播。

SGA模型的数学模型如下，及大致按照SGM的思路进行代价聚合。这里很多人可能看的云里雾里的，但是其实只要了解SGM，就不是很难。大致意思就是，每个像素在某个视差的代价，不仅应该由自己的观测决定，还需要由一些邻近的观测决定（这里的邻近观测，包括相邻视差和相邻像素，而相邻像素的定义显然和方向有关，所以需要分别从四个方向聚合）；总的来说就是data+smooth。

LGA模块的数学模型如下，这个其实也就是一个导向滤波，考虑了一下视差平滑性。

结果

总的而言，本篇文章的模型还是很复杂的，个人感觉效率并不一定能够提高，但是idea是还是很棒的。另外，就是作者的论文和代码差别实在是有点大，看了半天头晕目眩的。。。