Iterative Updates

这段话给iterative updates以定性，输入一个初始化的流场，逐步地更新这个流场。
具体来讲：输入->流场、相关性金字塔和隐藏状态
输出->更新的 Δ f \Delta f Δf

具体步骤

1.初始化

顾名思义，将第一次输入的流场初始化为 f 0 = 0 f_{0} = 0 f0=0

2.inputs

def forward(self, net, inp,corr, flow, upsample=True):motion_features = self.encoder(flow, corr)  #首先通过flow 和 相关 估计一个motion的特征torch.Size([8, 128, 40, 40])inp = torch.cat([inp, motion_features], dim=1)#net也属于上下文信息 是gru的隐藏状态net = self.gru(net, inp)delta_flow = self.flow_head(net)  #输出二通道光流# scale mask to balence gradients# mask = .25 * self.mask(net)  #用来做特殊的插值return net, delta_flow

这一部分我认为看代码理解会更加清晰，最开始输入的很明显只有 f 0 f_{0} f0和 c o r r e l a t i o n p y r a m i d correlation pyramid correlationpyramid，输出一个隐藏状态 n e t net net和更新的 Δ f \Delta f Δf

GRU

那么具体的GRU在做什么事情呢？

首先， i n p inp inp实际上就是上下文信息，我们知道上下文信息储存了特征信息，将特征信息 i n p inp inp和运动信息 m o t i o n f e a t u r e s motion features motionfeatures concat到一起就得到了一个新的信息。（我认为这一部分其实非常玄学，很难去解释，如果有小伙伴有更好的理解欢迎交流）

然后，这样一个新的信息 i n p inp inp和原始的上下文特征 n e t net net输入到GRU中输出一个新的 n e t net net，如果要定性理解GRU，我认为也没什么东西，就是一个比较特殊的卷积层(有"记忆"的)。

最后， n e t net net输入到flow的预测头中，输出 Δ f \Delta f Δf。在这一部分，我相信小伙伴都非常好奇，输出是2通道的一个图，为什么它是 Δ f \Delta f Δf而不是 f f f。我的理解是，这跟最后loss的反馈直接相关！如果我定义最终输出的是一个 f f f（这是我可以定义的，因为我要与 f f f的ground truth无限接近），那么我过程中的 f f f是通过 f k f_{k} fk + 一个预测头的输出而来的，这直接限制了预测头的输出不可以是 f f f。（这一部分如果有小伙伴有更好的理解欢迎交流）

4.光流预测

f k + 1 = f k + Δ f f_{k+1} = f{k} + \Delta f fk+1=fk+Δf

三分钟理解RAFT光流网络中的Iterative Updates相关推荐

两分钟理解RAFT光流中的相关层
RAFT: Recurrent All-Pairs Field Transforms for Optical Flow是ECCV 2020的Best paper,在看文章时对这个4D相关层感到非常困惑 ...
三分钟理解零序电流保护向量图
三分钟理解零序电流保护向量图 --ujslili 1.正向故障疑问? 2.反方向故障: 3.接线方式 4.零序电流保护的评价优点: 1)灵敏度高--几乎不受负荷电流影响--影响零序电流的就只有变压 ...
AUTOSAR从入门到精通100讲（三十八）-通信网络中的⽐特和帧同步技术
使⽤位和帧同步技术是为了确保从通信的⼀个发送器传输的信号可以被接收器正确解码.为了实现这⼀⽬标,必须将某些定时信息传递给接收器,例如通信数据的开始和结束位置.本⽂介绍了各种位和帧同步技术以及相应的底层 ...
三分钟理解Python函数式编程与闭包
函数式编程函数式编程这个概念我们可能或多或少都听说过,刚听说的时候不明觉厉,觉得这是一个非常黑科技的概念.但是实际上它的含义很朴实,但是延伸出来许多丰富的用法. 在早期编程语言还不是很多的时候,我们 ...
三分钟理解三种基本进程状态
进程的三种基本状态进程在生命周期内可能有多种状态,不过一般而言,每一个进程都至少有三种基本状态就绪(Ready)状态进程已处于准备运行的状态,获得除CPU以外所有必要的资源.如果获得CPU,则立 ...
五分钟理解yield在python中的简单用法，让你不再迷惑
很多同学无论是在学习python还是使用python的过程中,都会遇到yield关键字,这个让人头大的问题,今天,就给大家分享一下我自学yield的心路历程基本概念: (1)在 Python 中,使 ...
三分钟让你掌握JavaScript中值传递和引用传递的区别
值传递:传递的是实际参数的一个副本.基本数据类型Undefined,Null,Boolean,Number.String都是值传递. 引用传递:传递的是实际参数的地址.引用数据类型Object,Arr ...
三分钟理解辗转相除法
今天下午偶然看到辗转相除法, 以前不能够理解原理, 现在能够想明白了. 比如求gcd(1211, 341) #include <iostream> #include <string& ...
用三分钟理解c语言sizeof
一.概念 sizeof是单目操作符,同++等操作符一样.作用是以字节形式输出操作对象所在储存大小. 二.用法 a.操作数据类型如sizeof(int),输出int类型在内存中所占的字节长度,具体取决 ...

三分钟理解RAFT光流网络中的Iterative Updates