首先是,数字人的产业应用,然后,是和换脸技术相关的。最后,汇报一下实验的情况。

在应用上,数字人可以分为两类:

一类是像虚拟主播那种以提供服务为产出定位的服务型数字人,

另一类是强调数字人本身身份的身份型数字人。

下面具体看一下例子:首先是服务型数字人。国内外因建模技术的差异,数字人提供的服务也是不大相同的。

国内的服务型数字人主要用于   替代真人提供服务,比如图中代替手语播报员播报新闻的数字人,  大部分数字人还可以进行简单交互问答。比如,带货的虚拟主播可以以固定的话术欢迎进入直播间的消费者,并在消费者提及价格、存货、产品详情等意图时,根据事实情况进行回应。

那国外呢:在建模方面具有技术优势,他们的数字人在外观及行动方面,对真人的还原度有明显优势。可以满足单身/老龄化等人群对关怀陪伴的需求。

比如上次开会提到的女网红用AI分身和1000多位男性谈恋爱。他的成功在于让每一位和她的聊天的男性,都有一种手机另一端就是这位网红本人的感觉。因此,哪怕聊天的费用些许昂贵的,一分钟一美元,也有很多粉丝愿意付费。他上线第一周收入就突破10万美元。

【区别】这个实用性和关怀型并没有明显的划分,只是产出定位的细微差别。

实用性:一对多——使用者明显知道他是同时服务多个人的

关怀型:给用户一对一的使用体验感。比如网红ai聊天就像是一个真人在手机的另一端和自己聊天。想聊诗词歌赋就聊诗词歌赋,想谈人生哲理就谈人生哲理。而不是像带货主播,无论你是单纯的问价格还是带有情绪地说价格高,他只会根据关键词“价格”进行统一的回复。

身份型虚拟数字人更强调其本身的身份
一类是像虚拟IP,虚拟偶像这类,比如前两张图片中的数字人,一个是女网红、一个是美妆品牌的代言人。是根据用户需求,设计出来的全新形象。
还有基于漫画、游戏中已有人设,设计出的数字人。
这类数字人在现实世界中,都是具有独立人设的,有名字,有兴趣爱好,有工作。

还有一类,在虚拟世界,比如元宇宙,我们自己的虚拟形象,这些数字人就是虚拟世界中的我们。

大致总结到这里。


下面是有关的换脸技术, 它和之前的wav2lip都属于deepfake中的一部分。

deepfake是制造虚假视频的技术,是通过对真实视频的深度学习,训练人工智能模型,生成与真实视频相似度极高的虚假视频,
应用有
换脸、替换视频中人物说话的内容等。
具体任务包括重现、替换、编辑以及合成。这次主要介绍重现和替换。

源身份和目标身份:拿上次说的真人驱动型数字人来说。穿上动捕设备的真人就是源身份,他驱动的数字人就是目标身份。真人做出动作来驱动数字人表演。

重现是指使用源身份s驱动目标身份t,使t做的行为和s一样。
简单说,通过重现生成的图片,目标身份t的五官还是自己的,即身份没有改变。但五官的行为由源身份s来驱动。

论文中写道,重现可以是凝视重现(指眼睛的方向),嘴部重现(也就是配音),表达式重现(通常是嘴部和姿势的变化),姿势重新(头部位置)。【其实,这些重现都有重合的部分】

举一个嘴部重现的例子,使用第一张图中人物嘴部的状态驱动第二张图片中人物的嘴型,让t的嘴型从张开到闭合。得到的图片中人物外观还是自己的,但是嘴型变了。

替换,是指把一个人的身份替换成另外一个人,身份改变是指外观变了。

比如第一个,迁移:把s的脸复制到t上。但五官的行为还是s的。

交换:是把s的五官复制到t上,再由t来驱动这些五官变化。这个交换指的就是换脸技术了。(现在解释的还不太清楚,胡博找了一个相关的项目让我试一下,运行成功之后,我再结合具体例子解释一下)

 

下面实验部分,上次展示,选的素材不太好,这次换了一些,发现了一些问题:

1.第一个实验结果是比较好的:因为音频语速慢,嘴型清楚;视频本身像素不高,合成后模糊程度几乎看不出来。

2.第二和第三个可以做一个对比:当人物的嘴巴占屏幕比较大时,明显可以看到视频降质。上网查了一下,好像可以通过引入了GFP-GAN模型提升面部画质。所以这周想先试一下这个方法,看能不能优化成。

汇报结束.

9月4日工作汇报ppt相关推荐

  1. 工作汇报ppt案例_【赠书】开工大吉!今年一定要干过写PPT的!

    不知不觉,春节就过去了,新年开工,朋友圈里晒满了开工红包,领了开工礼就意味着真正新的一年开始了. 虽然假期的慵懒安逸留下了倦怠的后遗症,但状态依旧切换到工作模式,毕竟每年都希望能比过去更进一步,一切都 ...

  2. 2000个工作汇报PPT模板免费下载

    0001-110科技风互联网工作汇报总结PPT模板.zip: https://baippt.ctfile.com/fs/5288276-350803591 0002-111中国风国学经典工作汇报PPT ...

  3. 2000个工作汇报PPT模板免费下载网站

    0001-110科技风互联网工作汇报总结PPT模板.zip: https://baippt.ctfile.com/fs/5288276-350803591 0002-111中国风国学经典工作汇报PPT ...

  4. JuJu团队12月28号工作汇报

    JuJu团队12月28号工作汇报 JuJu Scrum 团队成员 今日工作 剩余任务 困难 飞飞 完成GUI 待安排 无 婷婷 调试代码 提升acc 无 恩升 修正evaluate 修正evaluat ...

  5. 工作汇报PPT模板推荐

    工作中我们难免少不了写各种各样的总结汇报,也会用到PPT.怎么写好一个让老板满意的工作汇报PPT呢?今天就给大家推荐PPT家园的工作汇报ppt模板. 隆重大气几何微立体风背景商务工作汇报PPT模板 简 ...

  6. JuJu团队12月4号工作汇报

    JuJu团队12月4号工作汇报 JuJu Scrum 团队成员 今日工作 剩余任务 困难 于达 调试 无 无 婷婷 和陈灿一起提升acc 无 无 恩升 纠正chunk evaluator 无 无 金华 ...

  7. (私人收藏)商务报告工作汇报PPT模板

    商务报告工作汇报PPT模板 https://pan.baidu.com/s/1tWPU6zUTVcV4TIhScoSrEw sjd0

  8. 工作汇报 PPT 20PPPT-朴尔PPT

    工作汇报PPT模板20P.一套,总结报告,工作汇报,幻灯片模板,内含灰色,黄色多种配色,商务风风格设计,动态播放效果,精美实用. 希望下面这份精美的PPT模板能帮助到你 基本信息 用途:,总结报告,工 ...

  9. 大气黑金星空工作汇报PPT模板

    大气黑金星空工作汇报PPT模板 照片演示,在PPT模板网站是在太多了,看的人眼花缭乱,而且每当自己选好一个中意的PPT模板,下载时,却发现需要开通会员或者关注公众号强制分享朋友圈,这时真的非常的烦躁了 ...

  10. 2015年7月30日工作总结

    2015年7月30日工作总结 今日学习总结 遇到的问题 学到的经验 明日的计划 今天通过自己的努力,总算赶上了进度,明天继续加油咯,一定要按计划完成任务.网页设计现在感觉懂得越来越多,做起来也明白了许 ...

最新文章

  1. infopath java包_InfoPath 2013 修补程序包 (Ipeditor x none.msp) 的描述︰ 2014 年 4 月 8,...
  2. 024:模版查找路径配置
  3. wxWidgets:多文档界面实例
  4. imx6的kernel3.4.15启动流程
  5. php中怎么让主键自增长,在数据库设计中,无论如何也该设计一个自增ID字段作为主键吗?...
  6. P3261-[JLOI2015]城池攻占【左偏树】
  7. 【HDU - 6290】 奢侈的旅行 (对题目预处理 + DIjkstra最短路)
  8. 胶囊网络显神威:Google AI和Hinton团队检测到针对图像分类器的对抗攻击
  9. 管理感悟:宁可五个阶段做三个月,绝不一个阶段做二个月
  10. MyBatis源码阅读(八) --- Executor执行器
  11. 计算机控制技术第二版答案于微波,微波技术基础课后参考答案 (田加胜版)
  12. UG中许多人会忽略的一些常用鼠标右键设置方法
  13. 四大学术牛人教你如何阅读外国文献
  14. 详解Unity中的粒子系统Particle System (二)
  15. 计算机婚纱影楼毕业设计开题报告,毕业设计开题报告 数码照片合成设计
  16. 特别报道:人工智能 让机器像人一般思考
  17. 本地搜索神器,秒速定位文件-Everything
  18. 如何用Python控制LEGO Wedo 2.0的电机
  19. EXCEL解密打开密码
  20. 国际企业邮箱哪个好用?企业邮箱域名怎么修改?

热门文章

  1. 关于格式工厂转换成MP4报错问题的解决
  2. 上海租房信息分析-爬虫-数据分析-练习
  3. NI ELVIS III虚拟仪器平台实验程序(传感器原理自动控制原理)
  4. 织梦Dedecms教程:针对织梦安全问题的解决办法
  5. ArcGIS Indoors制作地图步骤(3)--建筑物制作
  6. 用双重for循环生成九九乘法表
  7. 江西理工大学matlab考试,江西理工大学matlab测试编程题汇总.pdf
  8. 反逆向的基本实现方式
  9. PCI DMA的Cache一致性
  10. Kotlin高仿微信-第53篇-添加好友