此篇论文已被 AAAI 2022 收录，论文链接请见“阅读原文”。

研究动机

光流可以表达视频两帧图像之间的像素级对应关系，它是视频理解和分析领域中的一项基本任务。尽管基于深度学习的方法展示了强大的帧间匹配能力，但现有方法都存在一个明显的问题，即这些方法主要侧重于解决两帧图像的特征之间的匹配相似性，缺乏对给定场景的全局性运动情况进行分析。因此，由运动模糊、遮挡和大运动引起的匹配困难的情况严重影响了当前模型的精度。

图 1 展示了一组具有强烈运动模糊的困难样本示例，可以明显看出，现有前沿方法 RAFT[1]和 SCV[2]受到运动模糊的严重影响而得到误差较大的光流估计结果。

图1  一组来自 Sintel(finalpass)数据集的具有强烈运动模糊的困难图像示例

仔细分析现在的前沿的光流方法[1,3]，它们的成功主要归功于一个重要的模块--四维关系体(4D correlation-volume)，用该关系体对帧间图像特征之间的相关性进行建模。此外，为了更好地利用图像场景信息对运动场进行约束，现有方法[1]通过引入额外的卷积分支对场景信息进行编码，再利用简单的级联操作将其融入运动特征进行最终的流场估计。

基于该框架，可以分析现有方法难以得到图像中的全局性运动情况的原因：

第一，现有的方法仅通过简单的操作（例如特征叠加）来使用场景信息，并没有显式建模此类过程的方法；

第二，它们的操作都受限于原始坐标（网格）空间和卷积的局部操作，不但需要依赖大量的计算资源来获得足够的感受野，并且缺乏对给定场景的全局情况进行分析；

第三，它们忽略了“域差异”带来的影响，即场景内容特征（context feature）和运动特征（motion feature）之间的差异。

为了解决以上问题，本文提出了一种新的基于图模型的方法，即自适应图推理光流模型（AGFlow），如图 2 所示，将图模型技术融入到光流估计网络中，以实现有效的场景内容特征推理和运动特征交互，从而降低了模糊匹配的不确定性对光流估计的影响。

图2  本文提出的自适应图推理光流模型的整体框架

节点生成

首先将标准坐标空间中的特征投影到图空间中，投影操作需要将特征信息与原始网格位置信息分离，使生成的低维节点特征更加紧凑。这里将图模型中的节点向量分为两组：1) 内容节点  ，包含场景中的区域信息、物体的形状以及外观特征；2) 运动节点  ，包含帧间图像匹配相关的运动特征。

给定特征图  ，这里用投影函数  来将具有相似特征表达的向量分配给同一节点，即  ，因此生成的节点能够在原始特征图中整合远距离特征的信息。投影过程表示为：

其中，  是 L-2 归一化函数，在每个节点向量的通道维度上进行。  是基于特征生成投影权重的函数。因此，两种类型的节点向量都可以通过  和  来生成。

自适应图推理

首先从特征属性角度分析场景内容节点和运动节点的差异。运动节点主要对帧间图像之间的像素级对应关系进行编码，而忽略在两帧中对各自图像像素之间的内部关系进行分析；相反，场景内容节点只捕捉形状和区域边界的判别性特征。因此，这里需要解决两个困难：1) 场景内容和运动节点之间不可避免地存在特征表达的差异，这可能会阻碍直接进行全局性图模型推理的有效信息传递；2) 运动节点缺乏对潜在位移场的形状或分布的约束，因此其节点特征之间无法产生足够的信息来支撑准确的特征交互。

本文提出自适应图推理模块来解决这些问题，其核心思想是利用全局环境中的形状和区域的判别性特征表达来引导具有自适应参数的动态邻域矩阵的学习。本文参考引导学习[4]的方法，设计了一种学习邻域矩阵的自适应过程，可以根据当前图像特定的场景内容来预测动态参数并进行运动关系建模。自适应邻域矩阵可以表示为：

其中，  是一个参数学习器，  表示基于动态权重  的场景内容到运动节点的图适应模块（graph adapter），如图 3 所示。

图3  自适应图推理中的图适应模块

生成的参数  依赖于内容节点来动态利用当前场景的区域、形状和边界等先验特征。因此，运动节点可以快速适应场景内容，并充分利用节点关系进行图模型推理。整个模型可以表示为：

其中  表示图卷积神经网络的信息交互过程 （） [5]。

实验分析

图4  本文方法与前沿方法在光流估计标准数据集上的对比

本文提出方法与前沿方法在光流估计标准数据集上的对比如图 4 所示，AGFlow 在 Sintelclean pass 上可以达到 1.43 EPE 的效果，在 finalpass 上创造了 2.47 EPE 的新记录，分别比之前的最好结果提高 11.2%和 13.6%。在 KITTI2015 测试集上，AGFlow 实现了 4.89% F1-all 的最好效果，分别比之前的方法 SCV 和 RAFT 高出 20.7%和 4.1%。更多的消融实验如图 5 所示。

图5  自适应图推理的模块消去实验

图 6 展示了 AGFlow 与 RAFT[1]在充满挑战的 Sintelfinal pass 和 KITTI 数据集上的定性对比结果，可视化结果表明了本文方法能够充分利用场景内容信息，有效地利用形状和区域约束等信息来辅助运动估计，从而得到更精确的流场和清晰的运动边界。

图6  本文方法与 RAFT 在光流估计标准数据测试集上的可视化结果对比

总结

1.本文提出第一个使用图模型技术来显式利用场景内容信息辅助光流估计的模型，它可以打破图像常规网格结构的限制来进行图空间上的信息交互，以实现更好的全局性运动理解；

2.本文设计的图适应模块可以充分利用场景内容特征，以学习适应机制来引导全局运动信息在图模型中进行信息交互；

3.AGFlow 在Sintel 和 KITTI 基准上以明显的优势超过了前沿方法。

参考文献

[1] Teed et al.RAFT: Recurrent All-Pairs Field Transforms for Optical Flow. In ECCV 2020.

[2] Jiang etal. Learning Optical Flow from a Few Matches. In CVPR 2021.

[3] Sun et al.Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume. InCVPR, 2018.

[4] Bertinettoet al. Learning feed-forward one-shot learners. In NeurIPS, 2016.

[5] Kipf et al.Semi-Supervised Classification with Graph Convolutional Networks. In ICLR,2017.