RIFE-实时视频插帧算法 | RIFE:Real-Time Intermediate Flow Estimation for Video Frame Interpolation
关注一下实时视频插帧算法
论文地址:https://arxiv.org/pdf/2011.06294.pdf
Github地址:https://github.com/hzwer/arXiv2020-RIFE
Abstract:
我们为视频帧插值(VFI)提出了一种实时中间流估计算法RIFE (Real-Time Intermediate Flow Estimation)。 现有的大多数方法首先估计双向光流,然后将它们线性组合以近似中间流,从而导致运动边界周围出现伪影。 我们设计了一个中间流模型IFNet,它可以直接估计从粗到细的中间流。 然后,我们根据估计的中间流对输入帧进行warp,并采用融合过程来计算最终结果。 基于我们提出的leakage蒸馏技术,RIFE可以进行端到端的训练并获得出色的性能。 实验表明,RIFE比现有的基于流的VFI方法要快得多,并且可以在多个基准上达到最新的指标。
Introduction:
视频帧插值(VFI):
旨在合成视频的两个连续帧之间的中间帧,并广泛用于提高帧速率和增强视觉质量。VFI还支持各种应用,例如慢动作生成,视频压缩和用于视频运动去模糊的训练数据生成。 此外,以实时速度运行在高分辨率视频(例如720p和1080p)上的VFI算法具有更多潜在的应用,例如在客户端播放器上播放更高帧频的视频,为有限的用户提供视频编辑服务 计算资源。
目前VFI的常用方法包括两个步骤:
1)根据近似的光流对输入帧进行warping;
2)使用卷积神经网络(CNN)融合和完善warped的帧。
依据输入帧如何warping,基于流的VFI算法可以分为基于forward warping的方法和基于backward warping的方法。目前主要采用后者的warping方式。给定输入帧 I 0 I_{0} I0, I 1 I_{1} I1,基于backward warping的方法需要从我们希望进行合成的帧It的角度近似中间流Ft-> 0,Ft-> 1。双向流的方法过于繁杂,无法达到实时。此外,也不能很好地消除运动边界伪影问题。
为了解决这些问题,本文首先提出了一个名为IFNet的专门高效的中间流网络,以直接估算中间流。 IFNet采取从粗到精的策略,并逐步提高分辨率。 它通过以递增分辨率运行的连续IFBlock迭代地更新流场。
如上图所示,RIFE是第一个基于流的实时VFI算法,以每秒30帧的速度处理720p视频。 实验表明,RIFE可以在多个公共基准上取得令人印象深刻的性能。
RIFE:
A.Pipeline Overview
如图2所示,给定两帧输入 I 0 I_{0} I0, I 1 I_{1} I1,VFI的目的是生成 t − > ( 0 , 1 ) t->(0,1) t−>(0,1)的中间帧 I t ^ \hat{I_{t}} It^。首先,本文算法通过将输入帧输入到IFNet来直接估计中间流 F t − > 0 F_{t->0} Ft−>0,然后使用线性运动假设近似 F t − > 1 F_{t->1} Ft−>1:
其次,通过backward warping输入帧得到两个粗略结果 I ^ 0 − > t \hat{I}_{0->t} I^0−>t, I ^ 1 − > t \hat{I}_{1->t} I^1−>t。 为了消除warp后的伪像,本文使用FusionNet等编解码器将输入帧,近似流和warp后帧馈入融合过程,以生成最终的插帧图像。
B.Efficient Architecture Design
RIFE有两个主要组成部分:
(1)使用IFNet进行有效的中间流估算。
(2)使用FusionNet对warp后的帧进行融合处理。
(1)IFNet:
网络结构上图所示,IFNet采用了“Coarse-to-Fine”方式逐渐提升分辨率,也就是先在低分辨率上计算粗糙的光流,然后在高分辨率上计算精细的光流。主要组成部分就是IFBlock,降采样和上采样模块。
在上图中,本文提供了IFNet的视觉结果,并将它们与由预训练的LiteFlowNet 成的线性组合双向光流进行比较。可以看出,IFNet产生清晰而清晰的运动边界,而线性组合流会遇到像素重叠以及运动边界周围模糊的问题。
(2)Fusion process:
通过IFNet和对输入帧backward warping得到两个粗略结果 I ^ 0 − > t \hat{I}_{0->t} I^0−>t, I ^ 1 − > t \hat{I}_{1->t} I^1−>t后,为降低仿射结果的伪影问题,作者提出了如下的调整与融合方式:
其中 M M M是用于融合两个warp帧的软融合图, Δ \Delta Δ是用于细化图像细节的重建残差项。
融合网络包括上下文提取器ContextNet和具有类似于U-Net的编解-码器架构的FusionNet。 FusionNet的上下文提取器和编码器部分具有相似的架构,由4个步幅为2的ResNet块组成。FusionNet的解码器部分具有四个转置卷积层。 使用sigmoid形函数来限制FusionNet的输出。
结合代码,具体来说:
class ContextNet(nn.Module):def __init__(self):super(ContextNet, self).__init__()self.conv1 = ResBlock(3, c)self.conv2 = ResBlock(c, 2*c)self.conv3 = ResBlock(2*c, 4*c)self.conv4 = ResBlock(4*c, 8*c)def forward(self, x, flow):x = self.conv1(x)f1 = warp(x, flow)x = self.conv2(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f2 = warp(x, flow)x = self.conv3(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f3 = warp(x, flow)x = self.conv4(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f4 = warp(x, flow)return [f1, f2, f3, f4]
ContextNet主要做的:
1.对原始输入图像 I 0 I_{0} I0, I 1 I_{1} I1通过上下文提取器分别提取金字塔上下文特征,文中表示为 C 0 C_{0} C0, C 1 C_{1} C1;
2.对以上特征和对应的IFNet估计流一起使用backward warping,得到估计的中间流以生成对齐的金字塔特征 C 0 − > t C_{0->t} C0−>t和 C 1 − > t C_{1->t} C1−>t;每个金字塔上下文特征包含4个尺度的特征 f 1 f_{1} f1-> f 4 f_{4} f4
class FusionNet(nn.Module):def __init__(self):super(FusionNet, self).__init__()self.down0 = ResBlock(8, 2*c)self.down1 = ResBlock(4*c, 4*c)self.down2 = ResBlock(8*c, 8*c)self.down3 = ResBlock(16*c, 16*c)self.up0 = deconv(32*c, 8*c)self.up1 = deconv(16*c, 4*c)self.up2 = deconv(8*c, 2*c)self.up3 = deconv(4*c, c)self.conv = nn.Conv2d(c, 4, 3, 1, 1)def forward(self, img0, img1, flow, c0, c1, flow_gt):warped_img0 = warp(img0, flow)warped_img1 = warp(img1, -flow)if flow_gt == None:warped_img0_gt, warped_img1_gt = None, Noneelse:warped_img0_gt = warp(img0, flow_gt[:, :2])warped_img1_gt = warp(img1, flow_gt[:, 2:4])s0 = self.down0(torch.cat((warped_img0, warped_img1, flow), 1))s1 = self.down1(torch.cat((s0, c0[0], c1[0]), 1))s2 = self.down2(torch.cat((s1, c0[1], c1[1]), 1))s3 = self.down3(torch.cat((s2, c0[2], c1[2]), 1))x = self.up0(torch.cat((s3, c0[3], c1[3]), 1))x = self.up1(torch.cat((x, s2), 1))x = self.up2(torch.cat((x, s1), 1))x = self.up3(torch.cat((x, s0), 1))x = self.conv(x)return x, warped_img0, warped_img1, warped_img0_gt, warped_img1_gt
然后,将另外两个输入:warp后的的帧和IFNet估计的中间流输入到FusionNet,将FusionNet编码器部分中每个块的输出与相应的对齐金字塔特征连接起来,然后馈入下一个块。最后输出的x包含4个通,其中前3个通道是生成的重建残差 Δ \Delta Δ,第4个是融合图M。其他返回的4个warped_img0, warped_img1, warped_img0_gt, warped_img1_gt主要是被下面所介绍的Leakage Distillation使用。
C.Leakage Distillation for IFNet
为了使得IFNet预测的中间流结果比较准,采用一个预训练的光流模型提供额外的中间流信息作为监督信息训练。
Experiments:
1.UCF101, Vimeo90K, Middlebury OTHER set and HD benchmarks:
2.Increase model complexity:
3.Ablation Study:
RIFE-实时视频插帧算法 | RIFE:Real-Time Intermediate Flow Estimation for Video Frame Interpolation相关推荐
- RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation 原文:https://arxiv.org/pdf/ ...
- 视频插帧(Video Frame interpolation)论文及源码
视频插帧论文列表(含Code) 蓝色突出表示热门方法 CCF A AAAI 2019 CyclicGen:Deep Video Frame Interpolation Using Cyclic Fra ...
- 商汤插帧算法让视频顺滑如丝丨NeurIPS 2019 Spotlight论文
点击我爱计算机视觉标星,更快获取CVML新技术 自相机被发明以来,人们对更高画质视频的追求就没有停止过. 分辨率从480p,720p,再到1080p,现在有了2K.4K:帧率也从25FPS到60FPS ...
- 视频插帧--Video Frame Interpolation via Adaptive Convolution
Video Frame Interpolation via Adaptive Convolution CVPR2017 http://web.cecs.pdx.edu/~fliu/project/ad ...
- 论文阅读笔记(1)Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation——超越自然运动: 探索视频帧
论文:Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 会议:2022CVPR February ...
- 详解插帧算法DAIN论文和代码(Depth-Aware Video Frame Interpolation)
Project : https://sites.google.com/view/wenbobao/dain Paper: https://arxiv.org/abs/1904.00830 Code: ...
- NeurIPS 2019 Spotlight论文:商汤最新插帧算法让视频显示更加平滑
自从相机发明以来,人们对高质量视频的追求从未停止过. 分辨率从480p,720p,到1080p,现在是2K,4K:帧速率从25FPS到60FPS,到240FPS,960FPS甚至更高. 如果仅依靠相机 ...
- ffmpeg插帧算法
ffmpeg -threads 16 -i in.mp4 -filter_complex "minterpolate='fps=60'" out.mp4 ffmpeg -threa ...
- 视频插帧—学习笔记(算法+配置+云服务+Google-Colab)
恰好碰到同学项目需要,了解了一下关于利用深度学习视频插帧的相关知识,在这里做一个简单的记录. 目录 一.方法+论文 1.DAIN (Depth-Aware Video Frame Interpolat ...
- 深度学习MEMC插帧论文列表paper list
整理一下深度学习用于运动估计和运动补偿的论文列表.大致按照内容与时间区分.鉴于工作量太大,而且MEMC这块点击量很少,就不介绍文章内容了. 认准原创:https://blog.csdn.net/lon ...
最新文章
- 成功跳槽百度工资从15K涨到28K,BAT大厂面试总结
- CNN收购Beme视频分享APP 11个员工也将加入
- python items函数用法,Python中dictionary items()系列函数的用法实例
- App Engine中的Google Services身份验证,第1部分
- React 入门学习笔记2
- zstd安装_PHP: 安装 - Manual
- 8个成功秘笈(针对所有人)
- 51-高级路由:BGP community属性:local-as
- 【转】C# SqlServer操作辅助类(SqlServerHelper.cs)
- javascript基础案例解析
- 华为性格测试通关指南
- libvlc.java_java – LibVlc android无法加载库
- 经历没有亮点可讲?你需要做份“详历”
- linux中的__setup的作用
- 关于Windows 2003 安装Inter G33/G31 显卡问题
- TensorFlow 2.9的零零碎碎(二)-读取MNIST数据集
- vue引入阿里巴巴icon
- 有哪些便宜好用的虚拟主机推荐?
- Html5面试问题总结(精华)
- python自然语言处理 |分析句子的意思