让蒙娜丽莎活过来的视频驱动人像生成
本文介绍 让蒙娜丽莎活过来的视频驱动人像生成
 This article was original written by Jin Tian, welcome re-post, first come with https://jinfagang.github.io . but please keep this copyright info, thanks, any question could be asked via wechat:
jintianiloveu
图像生成里面有一个有趣的子任务，即图像视频生成，简单来说就是给你一张静态的图片，你通过各种方法把它驱动起来。而其中一个思路就是用一段已经知道的视频，去生成和这段视频风格相似的视频。
听起来比较复杂，看下面的几个gif图片就知道这是完成啥任务了：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XFGUZDKa-1590138208753)(https://s1.ax1x.com/2020/04/07/G2g86f.gif)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ydnIzCwa-1590138208757)(https://github.com/AliaksandrSiarohin/first-order-model/raw/master/sup-mat/vox-teaser.gif)]
简单来说就是将一张静态的图片，通过一个video去驱动它，生成一模一样的表情和动作。比如上图的川普的动作，被冰与火之歌的人物所模仿。最上面的蒙娜丽莎开始咧嘴微笑，要知道这可是600多年前的人物画像，现在终于开口说话了。
原理
我们其实很好奇这个网络模型的原理。事实上，图像动画包括生成视频序列，以便根据驾驶视频的运动对源图像进行动画处理。 这个框架无需使用任何注释或先前信息即可解决此问题关于要动画的特定对象。 一旦接受了一系列视频训练，同一类别的物体（例如，面孔，人体），这个方法可以应用此类的任何对象。 为此，将外观和运动分离使用自我监督的公式表示信息。 为了支持复杂的动作，使用由一组学习到的关键点以及它们组成的表示形式局部仿射变换。 生成器网络对在目标运动并结合从源图像中提取的外观和来自行车视频的运动。 这个框架在多样化方面得分最高基准以及各种对象类别。
在之前有Nvidia出品的vid2vid进行视频生成，但是那个方法并非直接端到达u端，比如需要先进性人脸关键点检测，或者需要进行姿态检测，然后再进行风格迁移和动作转换。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KCRFwTHS-1590138208762)(https://s1.ax1x.com/2020/04/08/GfE5kt.png)]
这篇文章采用方法是一种盲关键点法，不针对热定问题提取特定的关键带你，而是采用一种自监督学习方法进行自主学习，然后对学习到的盲点进行空间变换，同时学习动作与动作之间的场变换，最终合成动作连续的风格迁移视频。
代码
原始代码可以在神力平台获取：
http://manaai.cn
下载代码之后，直接运行：
python3 demo.py --config config/vox-256.yaml --driving_video data/a.mp4 --source_image a.png --checkpoint vox-cpk.pth.tar --relative --adapt_scale
就可以对静态图片进行风格迁移。
对应的模型可以参考代码readme获取。
蒙娜丽莎画像生成效果
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RYIMPEx5-1590138208765)(https://s1.ax1x.com/2020/04/07/G2g86f.gif)]
这个生成的效果还是非常生动的！！
上车
如果你对GAN感兴趣，欢迎加入我们的QQ交流群1037662480，入群暗号：GAN。然后可以进一步加入我们的wx群。
http://t.manaai.cn
让蒙娜丽莎活过来的视频驱动人像生成相关推荐
- 英伟达验证图片加载不出来_让大卫雕塑跳舞、蒙娜丽莎说话，英伟达视频合成有如此多「骚操作」...
用视频到视频的合成技术生成会跳舞的小哥哥(小姐姐) 或自己本人已经不是什么无法解决的问题,但这些方法通常需要大量目标人物的数据,而且学到的模型泛化能力相对不足.为了解决这个问题,来自英伟达的研究者提出 ...
- 你动、蒙娜丽莎跟着一起动，OpenCV这么用，表情口型造假更难防了
梅宁航 发自 凹非寺 量子位 报道 | 公众号 QbitAI 有没有想过让蒙娜丽莎跟着你的表情动,来一番亲切的交流? Aliaksandr的一阶运动模型(First Order Motion Mode ...
- 用 AI 分析蒙娜丽莎的微笑，情绪分析认为她没那么高兴
作者:孙晓 编辑:麦芽杨 凝音 来源:我是科学家iScientist 本文约2800字,建议阅读6分钟 本文为你介绍用算法洞察真实情绪. 合肥工业大学情感计算研究所一直致力于情绪分析的研究,本文为孙晓 ...
- 让图片动起来，特朗普和蒙娜丽莎深情合唱《Unravel》
作者 | Jack Cui 来源 | Jack Cui(ID:JackCui-AI) 前言 让一张图片,动起来,应该怎么做? DeepFake 一阶运动模型,让万物皆可动. 利用这项技术,用特朗普和蒙 ...
- 眨眼算什么，让蒙娜丽莎像你一样唠上嗑才算硬核
第一次写文章还把蒙娜丽莎名字写错了,原谅四川人我N.L不分,蒙娜丽莎表示有很多话要说.这不,三星莫斯科AI中心和Skolkovo 科学技术研究所(DeepWarp也是他们的作品)在19年5月份就发表了 ...
- tensorflow sigmoid 如何计算训练数据的正确率_“来自蒙娜丽莎的凝视”— 结合 TensorFlow.js 和深度学习实现...
客座博文 / Emily Xie,软件工程师 背景 坊间传闻,当您在房间里走动时,蒙娜丽莎的眼睛会一直盯着您. 这就是所谓的"蒙娜丽莎效应".兴趣使然,我最近就编写了一个可互动的数 ...
- 神级程序员8000行css代码画出一个蒙娜丽莎，堪比达芬奇！
代码画出的蒙娜丽莎 今天逛CODEPEN找HTML5动画案例的时候,偶尔看到一位神级大师的作品,用纯CSS代码画出一副蒙娜丽莎,虽然分辨率不高,但是仍然让我很是震撼,一看代码,整整8000行,基本一行 ...
- GitHub 热点速览 Vol.16：化身蒙娜丽莎和乔布斯对话
作者:HelloGitHub-小鱼干 摘要:妙趣横生,上周的 GitHub 热点的关键词.无论是让你化身为爱因斯坦开启会议脑暴模式 avatarify,还是和上周人人都是抠图师项目的同门项目 3D 照 ...
- AI算法让图片动起来，特朗普和蒙娜丽莎深情合唱《Unravel》
点赞再看,养成习惯,微信公众号搜索[JackCui-AI]关注这个爱发技术干货的程序员.本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录 ...
最新文章
- 一致 先验分布 后验分布_遇到分布式一致性问题，咋整？
- 科普：目标检测Anchor是什么？怎么科学设置？[附代码]
- 安全开发之碰撞检测与伤害计算逻辑
- AtCoder Beginner Contest 176总结
- java 调试 工具_Java调试器–权威的工具列表
- 电子计算机职业40201,天津滨海中等专业学校
- 【转】Java：String、StringBuffer和StringBuilder的区别
- 1026 程序运行时间 (15 分)
- 漫步线性代数十八——正交基和格拉姆-施密特正交化(下)
- java oo 封装_javaOO——封装、static、成员内部类
- SCOM 2012 RC 升级到 SCOM 2012 RTM 手记
- python 遍历文件夹文件代码
- 双网卡电脑同时访问内外网设置静态路由表
- PCB天线和陶瓷天线
- 完美运营版悬赏任务积分墙源码
- onenote使用python开发_我应该用onenote还是印象笔记？
- 响应式Web设计：HTML5和CSS3实战
- 顺序主子式的英文翻译（定义）
- 快速收录的软文发布平台
- dubbo入门之异步调用