2020CVPR VSR Space-Time-Aware Multi-Resolution Video Enhancement

Space-Time-Aware Multi-Resolution Video Enhancement

1、总结

同时做时间和空间的超分。高分辨率可以提高运动细节，高帧率有利于做运动对齐。文中的方法是在ST-SR期间生成潜在的低分辨率和高分辨率表示的模型组件可用于微调仅针对空间SR或时间SR的专用机制。

作者提出了 Space-Time-Aware multi-Resolution Network STARnet。STARnet通过为ST-SR提供从LR到HR的直接连接，明确合并了在LR和HR空间中相互增强S-SR和T-SR的空间和时间表示，如图1（e）中的紫色箭头所示。

2、STA multi-Resolution

提供两帧低帧图片(Itl,It+1l)(I_t^l, I_{t+1}^l)(Itl,It+1l)，大小为(Ml×Nl)(M^l \times N^l)(Ml×Nl)，超分结果是得到(Itsr,It+nsr,It+1sr)，n∈[0,1](I_t^{sr}, I_{t+n}^{sr}, I_{t+1}^{sr})， n \in [0,1](Itsr,It+nsr,It+1sr)，n∈[0,1]，大小为(Mh×Nh)(M^h \times N^h)(Mh×Nh)，目标是产生{Itsr}t=1T+\{I_t^{sr}\}_{t=1}^{T+}{Itsr}t=1T+。
网络分成了三个步骤：

initialization
refinement
reconstruction
建议根据公式，自己画下网络图

2.1 Initialization(Stage 1)

这部分主要实现S-SR，T-SR,ST-SR的联合学习。输入时两张低帧RGB图(Itl,It+1l)(I_t^l, I_{t+1}^l)(Itl,It+1l)，和他们的双向光流图(Ft→t+1,Ft+1→t)(F_{t \to t+1}, F_{t+1\to t})(Ft→t+1,Ft+1→t)

第一个阶段的输出是中间帧的HR和LR特征Ht+nH_{t+n}Ht+n和Lt+nL_{t+n}Lt+n。
在这个阶段STARnet保持周期一致性1）S-HR和S-LR，2)t和t+1。

2.2 Refinement(Stage2)

进一步保持循环一致性，以再次完善特征图。

2.3 Reconstruction(Stage3)

通过只使用一层卷积将四个特征(H^t,H^t+n,H^t+1,L^t+n)(\hat H_t, \hat H_{t+n}, \hat H_{t+1}, \hat L_{t+n})(H^t,H^t+n,H^t+1,L^t+n)转换成对应的图像(Itsr,It+nsr,It+1sr,It+nl)(I_t^{sr}, I_{t+n}^{sr}, I_{t+1}^{sr}, I_{t+n}^l)(Itsr,It+nsr,It+1sr,It+nl)。

2.4 训练目标

S-HR图像作为gt, T-HR帧也作为gt，loss可以写为
Space loss ItsrI_t^{sr}Itsr，It+1srI_{t+1}^{sr}It+1sr
Times loss It+nlI_{t+n}^lIt+nl
Space-Time loss It+nsrI_{t+n}^{sr}It+nsr
Loss函数
上面每个loss都包含了L1L_1L1项和LvggL_vggLvgg项。

2.5 Flow Refinement

大的运动视频插帧很难。大的运动引起的flow noise对插值结果有不良影响。作者提出了一个简单的方案可以refine或者denoise flow image, flow refinement(FR) module。