RAFT: Recurrent All Pairs Field Transforms for Optical Flow

ECCV 2020
Zachary Teed and Jia Deng

论文：https://arxiv.org/pdf/2003.12039.pdf
代码：https://github.com/princeton-vl/RAFT

论文框架：

RAFT 网络包含三个部分：

（1）Feature Encoder：提取对应每个像素的特征
（2）Correlation Layer：对所有特征求内积矩阵，大小为 W×H×W×H
（3）Update Operator：使用 GRU 循环神经网络更新光流，通过迭代获得更好结果

光流更新GRU：

其中，GRU之中全连接层由卷积代替
输入当前光流 fk，经过两层卷积与经过一层卷积的 Correlation 叠加，最后再与 Context 直接叠加组成 GRU 输入的特征。

特征提取对两帧进行处理，共享权重，得到两个256通道的特征图进行点乘计算，得到相关性
H * W * D * D * H * W = H * W * H * W

CNN的架构由6个残差层组成，就像ResNet的层一样，每隔一层分辨率就降低一半，同时通道数量也在增加。

视觉相似度计算为所有特征图对的内积。因此，我们将得到一个称为相关体积的四维张量，它提供了关于大小像素位移的关键信息。

Upsampling

由于输出的光流是 1/8 尺度下的，因此为了得到原始分辨率尺度，Upsampling 部分在粗分辨率上通过周围共计 3x3 的网格预测进行差值，在这一部分使用了两个卷积操作并经过一个 softmax 得到一个 H/8×W/8×(8×8×9)H/8×W/8×(8×8×9) 尺度的 mask。最终原始分辨率的光流就通过这一 mask 进行加权获得。网络输出就是得到一个 H \times W \times 2H×W×2 的结果，其中2代表x、y坐标偏移。该层通过一个 PyTorch 中的 unfold 操作即可实现。
Correlation Lookup

给定一个光流场（flow field)

损失函数为L1

Flow Prediction

GRU 的输出经过两个卷积操作就变成了最终的光流，输出光流是 1/8 尺度的，在实际预测中会经过下述 Upsampling 操作转换成原始大小。

【PaperRead】RAFT-论文笔记相关推荐

Raft 论文精读笔记｜In Search of an Understandable Consensus Alg orithm (Extended Version)
In Search of an Understandable Consensus Alg orithm (Extended Version) 寻找⼀种易于理解的⼀致性算法(扩展版) 这篇文章完全按照原 ...
Raft论文读书笔记
Raft论文读书笔记 Raft是当前分布式领域最重要的一致性算法之一,今天我们就来好好研究研究这个算法的[论文][1], 还有对应[网站][2], [动画][3], 不想看英文的也有中文的[翻译][4 ...
ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
[论文笔记] Fast Quality Driven Selection of Composite Web Services (ECOWS, 2006)
Time: 4.0 hours Jae-Ho Jang, Dong-Hoon Shin, Kyong-Ho Lee, "Fast Quality Driven Selection of Co ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记《Maxout Networks》《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...

【PaperRead】RAFT-论文笔记

RAFT: Recurrent All Pairs Field Transforms for Optical Flow

论文框架：

【PaperRead】RAFT-论文笔记相关推荐

最新文章

热门文章