Video Style Transfer汇总
Video Style Transfer
非深度方法
- Processing images and video for an impressionist effect. (ACM Press/Addison-Wesley Publishing Co 1997)
- Image and video based painterly animation. (NPAR 2004)
- 解决97年那篇中的抖动问题
- Painterly rendering for video and interaction. (NPAR 2000)
- 基于Painterly rendering with curved brush strokes of multiple sizes. 扩展到video的工作
深度方法
| 序号 | 时间 | 文章 | 会议/期刊 | 源码 | 描述 |
|---|---|---|---|---|---|
| 1 | 2016 | Artistic Style Transfer for Videos | GCPR | torch7 | 光流(基于优化) |
| 2 | 2017 | Characterizing and Improving Stability in Neural Style Transfer | ICCV | 无 | 光流(只在训练时用) |
| 3 | Coherent Online Video Style Transfer | ICCV | 无 | 光流(训练测试都用) | |
| 4 | Real-Time Neural Style Transfer for Videos | CVPR | pytorch | 光流(只在训练时用) | |
| 5 | 2018 | Artistic Style Transfer for Videos and Spherical Images | IJCV | torch7 | 1的期刊版本(前向网络) |
| 6 | Stereoscopic Neural Style Transfer | CVPR | 无 | 3扩展到三维立体图像的版本 | |
| 7 | Evolvement Constrained Adversarial Learning for Video Style Transfer | ACCV | 无 | 光流 | |
| 8 | Reconet: Real-time coherent video style transfer network | ACCV | pytorch | 光流(只在训练时用) | |
| 9 | 2019 | Learning Linear Transformations for Fast Image and Video Style Transfer | CVPR | pytorch | LST |
| 10 | Video style transfer by consistent adaptive patch sampling | Visual Computer | 无 | ||
| 11 | 2020 | Optical Flow Distillation- Towards Efficient and Stable Video Style Transfer | ECCV? | 无 | 光流(只在蒸馏时使用光流) |
| 12 | Consistent Video Style Transfer via Compound Regularization | AAAI | 无 | 加入随机warp的正则化项(训练测试都无光流) | |
| 13 | Fast Video Multi-Style Transfer | WACV | pytorch |
Artistic style transfer for videos. (GCPR 2016)
- 将基于优化的方法扩展到video领域
- 引入短时光流相邻帧的时序一致性
- 初始化设置为上一帧风格化后的图片
- 引入长时光流解决目标消失又出现的问题
- 每个帧设置一个对比序列，对序列中的都加入光流约束
- 提出multi-pass解决图像边界对比度和多样性少的问题
- 随机初始化与初始化为上一帧图片做一个blend
- 速度慢
Characterizing and Improving Stability in Neural Style Transfer (ICCV 2017)
- 从理论分析了基于Gram矩阵的方法的固有不稳定性
- 使用到了backpropagation throuch time
- 使用了光流来约束时序一致性
- 时序一致性损失使用了mask，数据集里面带有mask，有两个数据集
- Anaturalistic open source movie for optical flow evaluation.
- Lessons and insights from creating a synthetic optical flow benchmark.
- 待解决问题
- 第一幅图是否是单独处理的然后作为下一帧的参考帧输入
- mask应该是移动区域为0，静止区域为1，只用约束静止区域的时序一致性即可
Coherent Online Video Style Transfer (ICCV 2017)
- 三个子网络：风格化子网络、flow-subnet、mask-subnet
- 训练时风格化网络参数固定，只训练flow-subnet、以及mask-subnet
- 训练时应该一对儿一对儿得输入，输入一对儿，backforward一下。
Real-Time Neural Style Transfer for Videos (CVPR 2017)
- 清华与腾讯AI-Lab的文章
- 和Characterizing and Improving Stability in Neural Style Transfer基本一样
Consistent Video Style Transfer via Compound Regularization (AAAI 2020)
不使用光流，使用一个随机warp来模拟类似光流建立混合正则损失，因此可以不使用视频序列训练而只使用不相关的图像集合训练。
使用一个跨通道filter来实现风格迁移
Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer
- 使用一种残差蒸馏的方式来蒸馏，共用到四种网络：带有光流的教师网络、不带光流的教师网络，带有光流的学生网络，不带光流的学生网络(最后输出的网络)
- 使用低秩loss来逼近原始输入视频
Video Style Transfer汇总相关推荐
- 论文解读：《Learning Linear Transformations for Fast Image and Video Style Transfer》，CVPR 2019
论文解读:<Learning Linear Transformations for Fast Image and Video Style Transfer>,CVPR 2019 0. 论文 ...
- CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer
文章目录 Abstract 1 Introduction 2 Related Works 3 Methods 3.1 Contrastive Coherence Preserving Loss 3.2 ...
- 【读点论文】Image Style Transfer Using Convolutional Neural Networks（将卷积特征图提取语义信息，融合内容和风格的做法）
Image Style Transfer Using Convolutional Neural Networks 以不同风格呈现图像的语义内容是一项困难的图像处理任务.可以说,以前的方法的一个主要限制 ...
- Neural Style Transfer: A Review
这篇是风格转移方面的综述,文中总结了多种风格转移的方法.因为18年看过很多风格转移方面的论文,因此翻译这篇综述. Gatys等人的开创性工作.通过分离和重新组合图像内容和风格,展示了卷积神经网络(CN ...
- Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记 目录 Arbitrary Style ...
- 吴恩达老师深度学习视频课笔记：神经风格迁移(neural style transfer)
什么是神经风格迁移(neural style transfer):如下图,Content为原始拍摄的图像,Style为一种风格图像.如果用Style来重新创造Content照片,神经风 ...
- 深度摄影风格转换--Deep Photo Style Transfer
Deep Photo Style Transfer https://arxiv.org/abs/1703.07511 Code: https://github.com/luanfujun/deep-p ...
- AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss代码调试过程
论文: AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 代码实现参考:https://github.com/peis ...
- AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss笔记
文章目录 网络结构 说话人编码器 内容编码器 解码器 声码器 实验 论文: AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder L ...
最新文章
- 爬虫之Xpath详解
- plupload使用例子
- Xshell 基本使用方式 (1) -- 使用Xshell 连接 VMware下的linux系统
- 全栈深度学习第7期: 研究方向这么多，哪些是有有趣又潜力的呢？
- python建模大赛算法_Python数据分析kaggle-Titanic+天池-工业蒸汽量预测建模算法
- 惊呆了，竟然可以用这种方式秒建 Redis 集群？
- python函数主要通过接口与外界通信_PySpark源码解析，用Python调用高效Scala接口，搞定大规模数据分析...
- python实践项目（三）
- 【java】监听器的使用
- 关于口令强度等级的设计
- 如何解决 MacBook Pro Touch ID不起作用？
- unity3d协同不同设备的代码
- Burpsuite Professional安装及使用教程(抓包)
- jsp汽车4S店维修管理系统
- PG-FP6烧录机1拖16上位机项目
- 使用分身术变身术创建新进程
- Centos 7/8 root密码重置
- 绚丽彩虹同学录V1.4公测版
- 新版js进阶高频面试题
- 最新电脑CPU天梯图