问耕 发自 凹非寺

量子位 出品 | 公众号 QbitAI

“This breaks my brain.”

目睹了GDC大会期间的一幕时，有人发出上面这句感叹。如果翻译成中文，应该就是两个字：“炸裂”。

让人惊叹的，是一个名为Siren的数字人类。

这个基于计算机视觉等技术构建的虚拟小姐姐，拥有逼真的眼睛、皮肤和头发……细节方面达到了前所未有的程度。

但绝不仅是细节让人惊叹这么简单。

Siren背后的系统，还具备强大的人类表情动作实时捕捉以及合成技术。

干讲没意思，一起感受下GDC现场：

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=u0612pd0s70&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=u0612pd0s70&width=670&height=376.875&auto=0"/>

没错，就是你看到的这样。

一个真实的女性人类在现场侃侃而谈，她的表情、动作、声音，被实时的赋予身后大屏幕上的女性数字人类Siren。

这就是开头提及的炸裂一幕。

实际上，Siren这位小姐姐的容貌身形，也不是凭空虚构出来。而是一位来自中国的演员：姜冰洁。

而负责现场演示的是英国演员Alexa Lee，她的表情和声音，被头戴设备捕捉之后，与姜冰洁的外貌进行合成，最后就成了Siren。

这个过程，是这个样子：

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=g1335apemco&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=g1335apemco&width=670&height=376.875&auto=0"/>

简而言之，就是这样一个“换脸”过程。

说个花絮，其实Alexa Lee说她体验到Siren后，自己也吓了一跳。Siren的声音表情跟她一样，但是脸却是姜冰洁的样子。

整个合成的动作在15毫秒内完成。

这个项目是Epic Games聚光灯计划（Project Spotlight）的一部分，这个计划意在虚拟环境中构建一个真实世界。

所有Siren的演示，都是以每秒60帧的速度运行在虚幻引擎中。“创建一个可以实时互动、让人信任的数字角色，是近年来计算机图形行业最激动人心的事情之一，”Epic Games首席技术官表示。

这里解释一下Siren这个名字。

其实，塞壬（Siren）是希腊神话中的海妖，惯以美妙的歌声引诱水手，使他们的船只或触礁或驶入危险水域。这个词也有汽笛、妖冶而危险的女人等意思。

幕后公司

但Siren并不是某一个公司的功劳。

除了上面提到的Epic Games，参与这个项目的还包括拥有最先进面部扫描技术的3Lateral，提供了实时面部解算；Vicon提供人体动作捕捉系统；以及腾讯旗下游戏工作室Next Studio等。

这是一个通力合作的项目，不过Epic Games特别强调，在GDC 2018大会上，他们最想测试Cubic Motion脸部捕捉系统的潜力。

“Cubic Motion突破性的计算机视觉和面部动画技术是我们取得成功的关键之一，”还是Epic Games首席技术官说。

这家被重点提及的公司，创立于2009年。现任CEO为Gareth Edwards，他是一位计算机视觉和AI技术专家。

Cubic Motion的计算机视觉技术，能以每秒90帧的速度跟踪200多种面部特征，并将这些数据实时映射到高分辨率的数字角色身上。

Alexa Lee戴的头盔，就是来自Cubic Motion。

另外，Vicon提供的是全新的Shōgun 1.2软件、Vantage光学动作捕捉系统、VUE视频摄像头。所有这些将Alexa Lee的肢体动作，直接解析到Siren的身上，手指的部分还用了一种更逼真还原的算法。

当然，虚幻引擎的光效也功不可没。

至于腾讯。

实际上，Siren项目始于Epic Games和腾讯之间的合作，目的是通过一个概念验证演示，以展示虚幻引擎4的实力，以及下一代数字角色长什么样。

也就是说，今天Siren上的相关技术，未来可能会应用到腾讯的游戏中。

如果你不熟悉这个领域，那么需要说一下，Siren并不是凭空出现，只是这类技术的一个最新进展。同样的原理，这种技术可以帮助电影、动画、游戏等行业降低生产成本，提高虚拟人物的亲和力。

最后，来看一段Siren的自我介绍吧。

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=h1335c2w7b4&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=h1335c2w7b4&width=670&height=376.875&auto=0"/>

— 完 —

加入社群

量子位AI社群15群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot6入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot6，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态