想让照片里的美女“回头”?清华MIT谷歌用AI帮你实现了
伊瓢 发自 凹非寺
量子位 报道 | 公众号 QbitAI
“麻烦帮我把照片上这个美女转过来,脸朝前。”
设计师们总是接到这种神奇的需求,但是受限于素材和工具的“想象力”,设计师无法凭空推理出背影女子的正脸是美女还是恐龙,这种需求根本无法达成。
不过,AI似乎把这个问题解决了。不过转过来的不是美女,而是香车。
我们看到图上汽车的背影,几辆车在道路的右侧向前行驶。清华、MIT和谷歌的研究人员,通过AI“脑补”3D图形,成功的让最后面这辆黑色的车“掉头”了。
先打个左转弯转过来。
然后掉头180°,开始“逆行”。
而且除此之外,这项研究成果还可以实现“看图拍电影”功能,一张静态图就可以演化出一系列不同帧的镜头。
比如雾霾天气路上的车辆:
准备超车,成功超越,消失在雾霾中。
或者给道路上的车“喷上”不同的颜色。
这样看,似乎这项技术不仅帮设计师解决了难题,甚至以后电影拍摄也可以在GPU里进行了。
这项研究本身基于三类研究:
1.可解释的图像表示,比如Tejas D Kulkarni的DC-IGN;
2.深度生成模型,比如大家都知道的GAN;
3.深度图像处理,比如风格迁移。
不过这些研究主要还是围绕2D图像来进行的,我们介绍的这项新研究则在其中加入了3D感知。
语义、纹理、几何分层
主要的原理是将图像的语义、纹理、几何三个维度分层,分别经过一系列去渲染和渲染流程。
先让原图像经过语义去渲染器,生成语义地图;同时经过纹理去渲染器,生成纹理代码;然后还要经过几何去渲染器,生成3D属性。
3D属性经过几何渲染器后,与语义地图及纹理代码共同进行纹理渲染,最终实现图像分层,将图像分解为背景和多个前景对象。
3D几何推理:脑补3D
上图是几何解释模块。 该模块获取整个图像,使用来自对象提议的适当公式推断3D属性,并且可以生成可解释的表示以用于理解和操纵。这里首先使用MaskRCNN对对象实例进行分割。 对于每个对象,推断其3D网格模型和对象姿势。
之后,得出其3D属性,确保重新得出的3D投影一致。
语义&纹理推理
在语义和纹理分析的过程中,先要分析类似场景的2D信息。
使用两个单独的卷积网络来获得背景中道路、天空、树林等部分,以及前景中的轿车、货车等物体,以及的必要颜色和纹理描述代码。
传送门
3D-Aware Scene Manipulation via Inverse Graphics
Shunyu Yao, Tzu Ming Harry Hsu, Jun-Yan Zhu, Jiajun Wu, Antonio Torralba, William T. Freeman, Joshua B. Tenenbaum
https://arxiv.org/pdf/1808.09351.pdf
— 完 —
加入社群
量子位AI社群19群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
想让照片里的美女“回头”?清华MIT谷歌用AI帮你实现了相关推荐
- 【Android App】获取照片里的位置信息及使用全球卫星导航系统(GNSS)获取位置实战(附源码和演示 超详细)
需要全部代码请点赞关注收藏后评论区留言私信~~~ 一.获取照片里的位置信息 手机拍摄的相片还保存着时间.地点.镜头参数等信息,这些信息由相片接口工具ExifInterface管理,它的常用方法说明如下 ...
- Python3,10行代码,我把情书写在她的照片里,她被我的才华征服了。
10行代码把情书写在她的照片里 1.引言 2.Pillow 2.1 Pillow 安装 2.2 Pillow 介绍 2.2.1 新建及保存图片 2.2.2 重新绘制图片 2.2.3 图片合并 2.3 ...
- 提取照片里的PPT部分
这几天上课老师说ppt不能拷...真是不爽,所以我写了一个提取照片里ppt部分的东西,其实原理很简单,代码贴出来大家就知道了,无非就是阈值化+轮廓提取+透视变换,效果还可以,不过我还是想再好一些,如果 ...
- 趣谈网络协议 - 第16讲 | 流媒体协议:如何在直播里看到美女帅哥?
可以看到RTMP也是基于TCP的,本质还是通信协议.所以弄音视频流媒体也是离不开这个. 转载自: https://time.geekbang.org/column/intro/100007101 ht ...
- 想知道照片一键换天空怎么弄?推荐两款图片编辑软件
大家平时在室外进行拍摄,如果不慎将阴沉沉的天空拍摄进去,但又觉得这个图片的角度看起来很好看,该怎么取舍呢?其实我们可以借助一些软件,来对天空部分进行更换处理.那你们想知道照片一键魔法换天工具哪个好吗? ...
- 拍拍乐(一)如何在照片里变瘦
虽然现在才春天,但假如你赶不及在夏天来临之前减完肥,却又不得不在此刻拍下人生中最重要的照片(像是毕业照.婚纱照等),咱们在这就提供了一些网络上.书上及专家们的小小妙招,告诉大家如何在照片里变瘦! 1. ...
- 【91xcz】想在Win8里了解各种炒股资讯吗
想在Win8里了解各种炒股资讯,可以试试同花顺炒股Win8版这个应用,可以在Windows应用商店里下载.同花顺炒股Win8版的功能非常强大,支持全球指数和个股即时行情的查看,提供详细的板块分类和板块 ...
- 为什么夜晚拍照时照片里有不规则光晕?(转载)
最近有朋友留言询问,为什么他拍照的时候,照片里总有不规则的光晕出现,而且向着太阳.灯光这类强光源时会很明显.其实这并不是你的手机摄像头出了问题,而是镜片组自身的物理特性导致的. 在业内这种现象被称之为 ...
- wps里为什么没有华文楷体_(转给家长)“为什么老师发的照片里没有我家孩子?”...
原标题:(转给家长)"为什么老师发的照片里没有我家孩子?" 幼儿园当日活动结束后,老师通常都会在班级群里给家长们分享孩子在幼儿园生活的照片. 于是就会经常出现下面的对话: 小三班家 ...
最新文章
- python免费试听-线上儿童编程免费试听-品质保障
- catia将板环形弯成圆_3.4.3-Catia变换之圆形阵列命令
- Servlet生命周期中的service方法分析
- Qt 常用类——QStandardItemModel
- php curl 数据采集 空,PHP curl从网站返回空数组的数据
- 回调java 简书_Java接口回调机制详解【转】
- linux 7 nano,Linux初學(CnetOS Linux7)之文本編輯器nano以及關機
- python 列表的增删改查操做1125 元组 的查操做
- 手把手教你制作AppPreview视频并上传到appStore进行审核
- 博学谷html css,博学谷 - CSS笔记12 - 清除浮动
- 取代Cookie失败,Google上线FLoC反遭“围攻”!
- 【Bootstrap】 typeahead自动补全
- WebSphere 集群环境下配置 Quartz集群
- frame边框阴影html,CSS阴影效果的比较之drop-Shadow与box-Shadow
- Fineui 添加打印控件
- 一个比CAM350好用的看GERBER软件
- 《汇编语言》学习(十三)int指令
- 笔记:torch的基本运算
- Linux 服务器部署 vue(SPA) 与 nuxt(SSR)项目
- 基于近端策略优化的阻变存储硬件加速器自动量化
热门文章
- 流行插件 jQuery 被曝存在漏洞达三年之久!
- 前端工程师凭什么这么值钱?
- 被苹果摆了一道的高通,亮出了一张“小米”牌
- 第 5 章 主从复制
- Zookeeper的Leader选举-选举过程介绍比较清晰
- html5触摸指定区域,HTML5/CSS3系列教程:HTML5 区域(Sectioning)的重要性
- cad在线转换低版本_别再傻瓜式操作了,工作效率上不去?这6个小技巧带你玩转CAD...
- 复用Oracle数据文件,Oracle 多元复用数据库文件
- python浪漫文艺_文艺一把!Python爬取读者制作PDF!
- pytorch 三维点分类_基于深度学习的三维重建——MVSNet系列论文解读