老片影像修复-DeepRemaster

Paper:
DeepRemaster:Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement
Project：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/
code:https://github.com/satoshiiizuka/siggraphasia2019_remastering

这段时间B站上比较火的百年前的老北京的影像修复视频，今天解读这篇文章正是该修复技术背后的算法原理。
AI老片影像修复是是相对复杂的多子任务技术结合，包括视频超分辨技术，视频去燥，对比度增强，视频去模糊等，那么从黑白影像恢复彩色影像，需要视频着色。在这篇文章中，作者提出了一个半监督的单一端到端框架去处理诸多的子任务。这是论文中所给出复原后的结果。

1、Introduction
主要讲解Remastering老电影不是简单的使用去燥的算法，一般老电影会有模糊、低分辨率等情况，增加了处理问题的复杂性。作者提出一个single end-to-end framework去处理黑白影像。该方法基于全卷积网络，通过Source-reference attention机制，实现了比较好的结果。

2、Related Work
(1)Denoising and Restoration
经典方法：Block-Matching and 3D filtering(BM3D)
目前常用方法：Optical flow(光流) Transformer networks
(2)Colorization
黑白影像的着色：ill-posed problem
传统方法解决：解决输入灰度图和引导图的优化问题
近年来：

文中方法：A CNN with temporal convolutions and attention.

（3）Attention

注意力机制在视觉中的应用越来越广泛，需要了解更多注意力机制在视觉中的应用https://mp.weixin.qq.com/s/ePZ7jH4pdEAW_trHWMAswQ
该论文使用：self-attention mechanism

3、Approach
(1) Source-Reference Attention

通过Source data和reference data，使模型探索原图和引导图之间的non-local similarites。通过这种机制就可以使用引导图中的颜色去着色原图中的相似区域。
定义source-reference attention layer:

该式即上图所示，比较好理解，需要解释的是，此处的es,er,et是编码函数，降低通道的数量，通过temporal convolution operators的111-pixel kernels实现。d是解码函数，reshape the tensor。图中C’=C/8。
（2）Model

该模型主要是两部分：
A preprocessing network和A source-reference network，实现端到端的训练。
Pre-Processing Network:
该部分使用encoder-decoder结构，由系列的卷积层组成，先下采样，再上采样。输入和输出之间使用Skip connection。该模块主要是移除原图像灰度图中的artefacts and noise.
Source-reference Network：
该网络由两部分输入组成，一部分是Pre-Processing Network的输出，另一部分是任意数量的Reference Images作为输入。 Source-reference attention使用引导图的颜色信息来间接控制原图的着色；self-attention使得non-lacal temporal information来增加序列着色的一致性。
通过上图，首先输入视频和引导图分三阶段降低至1/8，然后分成两个branches:一部分直接对1/8图处理，另一部分降低分辨率至1/16。两个分支都使用source-reference attention layer、temporal convolution layers、self-attention layers.最后通过decoder通过三阶段上采样得到最终结果。

4、Training
文章第四部分主要是损失函数的设计以及作者使用数据增强等技术来提高修复质量。
损失函数：

P：预处理模型结果
yl：彩色图像的亮度图
S：source-reference model结果
yab:Lab颜色空间的色度图
文章最后对比试验结果，可以看出修复效果有很大的提升。

通过阅读文章，我觉得值得学习的地方是如何把注意力机制很好的运用到影像修复中，而且整个网路是端到端的训练。

老片影像修复-DeepRemaster相关推荐

基于PaddlePaddle的八一制片厂拍摄的空军题材电影 50年代少有的经典老片子《长空比翼》影像修复
基于PaddlePaddle的八一制片厂拍摄的空军题材电影 50年代少有的经典老片子 <长空比翼>影像修复
AI修复100年前晚清影像喜提热搜，这两大算法立功了
整理 | 夕颜来源 | CSDN(ID:CSDNnews) 昨天,一条"100 年前北京晚清的影像"喜提热搜,博主用 AI 技术修复了一段 10 多分钟的古董视频,使得 100 ...
AI 修复 100 年前晚清影像喜提热搜，有穿越内味儿了！
整理 | 夕颜出品 | CSDN(ID:CSDNnews) 昨天,一条"100 年前北京晚清的影像"喜提热搜,博主用 AI 技术修复了一段 10 多分钟的古董视频,使得 100 ...
还原时代原声，AI修复老北京再次火爆全网
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达凭借AI修复老北京影像火爆B站的Up主大谷兄,今天又来带我们玩穿越了! 这次是1929年的老北京,除了 ...
AI技术重现的老北京原声影像又火了，网友：这口音太过真实
来源:机器之心本文约1700字,建议阅读7分钟. "大谷的游戏创作小屋"又用AI修复了一段老北京影像,这次还带时代原声-- 剃头挑子.街边地摊.京韵大鼓,多数人可能只在电影.电视 ...
北京小伙用AI修复100年前的京城老视频爆火网络，作者：7天完成，颜色还有不足...
来源:大数据文摘本文长度为4300字,建议阅读8分钟. 下次给AI看看清宫剧学习. 标签:机器学习昨天,一个"修复老北京街道"的视频刷屏全网.一段由加拿大摄影师在100年前的北 ...
程序员用 AI 修复百年前的老北京视频后，火了！
公众号关注 "GitHubDaily" 设为 "星标",带你了解技术圈内新鲜事! 最近,一个 "修复老北京街道" 的视频刷屏全网. 一段由加 ...
张国荣《热·情》演唱会再现荧幕：AI修复解锁的经典与视听生活
每年的4月1日,都会有千万人自发地去追思张国荣.或重温影视片段,或听经典曲目,在哥哥生前倾注的心血中持续不断获得动力与力量. 熟悉张国荣的粉丝,可能都了解哥哥生前最后的一场演唱会--<热·情&g ...
一行命令，瞬间从“马赛克”到高清影像
如上图,从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么? 它意味着: 老照片.老电影.动漫等画质可快速提升,分辨率自由调节产业算法 ...

老片影像修复-DeepRemaster

老片影像修复-DeepRemaster相关推荐

最新文章

热门文章