3D数字人arkit面部捕捉简化版流程

1. 简述

要求使用国际通行的面部表情编码系统来制作Blendshape，这套编码系统根据人脸的解剖学特点，将其划分成若干既相互独立又相互联系的运动单元（AU），这些运动单元控制相应的面部区域，组合起来就可以生成各种复杂的表情。FACS是如今面部表情肌肉运动的权威参照标准，我们会要求按照标准AU的规范来分解面部运动，制作对应的Blendshape，同时参考苹果的ARKit提供的 Blendshape接口( ARKit也遵循FACS标准)

面部AR示例官方文档：

https://docs.unrealengine.com/4.27/zh-CN/SharingAndReleasing/XRDevelopment/AR/ARHowTos/HandheldAR/FaceARSample/

Epic提供了一套面部AR示例工程，其中的技术结合了Apple的ARKit面部追踪系统。ARKit面部追踪系统使用一个内部的面部网格体，将其包裹到用户的面部，并作为模仿表情的基础。这套系统定义了51套BS姿势，对应了面部的51个部位方向的表情。

eyeLookUpLeft

eyeLookDownLeft

eyeLookInLeft

eyeLookOutLeft

eyeBlinkLeft

eyeWideLeft

eyeSquintLeft

cheekSquintLeft

eyeLookUpRight

eyeLookDownRight

eyeLookInRight

eyeLookOutRight

eyeBlinkRight

eyeWideRight

eyeSquintRight

cheekSquintRight

browInnerUp

browDownLeft

browDownRight

browOuterUpLeft

browOuterUpRight

cheekPuff

noseSneerLeft

noseSneerRight

jawOpen

jawForwardHalf

jawLeft

jawRight

mouthFunnel

mouthPucker

mouthLeft

mouthRight

mouthRollUpper

mouthRollLower

mouthShrugUpper

mouthShrugLower

mouthClose

mouthSmileLeft

mouthSmileRight

mouthFrownLeft

mouthFrownRight

mouthDimpleLeft

mouthDimpleRight

mouthUpperUpLeft

mouthUpperUpRight

mouthLowerDownLeft

mouthLowerDownRight

mouthPressLeft

mouthPressRight

mouthStretchLeft

mouthStretchRight

1.在maya里准备好带有52blendshape的标准人脸模型.(这里拿官方文件做示范)

2.导出fbx，导出设置为，勾选平滑模型组其他默认，如有动画勾选动画

3.ue工程准备

查看对应的arkit插件是否安装

4.为基础网格体人物模型创建好材质以及纹理贴图，创建动画蓝图。

5.在蓝图面板编译蓝图，连接livelinkface

6.可以看到连接后livelink节点下没有程序连接

7.使用iphoneX以上机型或者iphoneX下载livelinkface APP 进行调配设置去连接节点。

8.在APP左上角设置里进行配置文件。

第一行LiveLink进入

添加目标，将当前电脑的局域网IP地址输入，其他设置可以不用管，手机连接局域网wifi

9.在蓝图里连接手机，启动工程，就可以看到里面的人物模型能捕捉到iphone摄像头下的人物动作了。

整个流程就结束了。

当然还有更简单的方法直接去epic官方下载官网示例文件，就不需要自己去配置arkit插件。

3D数字人arkit面部捕捉简化版流程相关推荐

使用omniverse：一张照片快速生成一个3D数字人
目录前言硬件要求照片要求重建步骤总结前言英伟达推出的平台:omniverse出了一个新的插件,可以上传一张2D的大头照,快速生成一个3D数字人.我下载软件.下载插件后,测试了该功能,决定 ...
3D数字人虚拟人带你解锁更多元宇宙玩法
随着虚拟现实技术的不断发展,元宇宙作为虚拟现实世界的一种,正在逐渐被人们所熟知.元宇宙中的智能虚拟角色,是一个具有人工智能的虚拟角色,可以进行自主决策.自我学习和自我进化,能够带来丰富多样的玩法体验. ...
全国首次！元宇宙真人3D数字人庆祝杭州国际商会元宇宙专委会成立
6月8日,杭州市国际商会.中国移动杭州分公司等共同发起成立了杭州市国际商会元宇宙专业委员会(以下简称"元宇宙专委会"),杭州市人民政府副市长胡伟等领导发言,浙江大学计算机创新技术研 ...
客服ai虚拟数字人技术方案及制作流程
随着web3.0在国外大火,以及越来越多的国内外科技巨头推出元宇宙产品,中国虚拟数字人产业已经从概念级转向产业级应用.除了虚拟偶像爆火,数字人的应用已经深入到智能主播.智能客服领域. 虚拟数字人制作如 ...
D-DI：ChatGPT驱动1分钟0门槛免费生成3D数字人
原文:https://baijiahao.baidu.com/s?id=1762976495663393119&wfr=spider&for=pc D-ID的Creative Real ...
华锐3d虚拟数字人提供哪些智能化服务？
虚拟数字人的诞生是互联网时代的产物,它的出现为数字化经济提供了全新解决方案.数字化技术和网络使人类得以进入以"智能+机器+数据+算法"为主线的新生态之中. 广州华锐互动作为专业的A ...
在手语世界里，健听人、数字人与听障人的交织
如果没有声音,我们的世界会变成怎样的呢?没有雨落地,风吹草,鸟鸣啼:各种娱乐节目和直播也会远去:更麻烦的还在于,常规教育接受也会成为问题,读书识字可能会变成一种奢侈,网课.视频课都可能远去.这些问题对 ...
2023年虚拟数字人行业研究报告
第一章行业概况虚拟数字人指存在于非物理世界中,由计算机图形学.图形渲染.动作捕捉.深度学习.语音合成等计算机手段创造及使用,并具有多种人类特征(外貌特征.人类表演能力.人类交互能力等)的综合产物. ...
搜狗联合清华天工研究院推出ChoreoNet模型：让数字人随着音乐翩翩起舞
声音与AI行为搭配在一起,会发生怎样的化学反应呢?这一话题,正在成为国内外AI研究比较热衷的新方向. 比如卡内基·梅隆大学和CMU机器人研究所,就在研究声音和机器人动作之间的相互作用:国内则从数字人入 ...

3D数字人arkit面部捕捉简化版流程

3D数字人arkit面部捕捉简化版流程相关推荐

最新文章

热门文章