StarGANv2-VC

会议：2021 interspeech
作者：Yinghao Aaron Li
单位：Columbia University

文章目录

abstract
introduction
method
experiments
- dataset

abstract

StarGAN v2做many-to-many的变声，使用20个英文说话人训练，可以完成any-to-many，cross-lingual， singing voice conversion。
使用style-encoder，可以把plain speech转换成stylistic speech。

introduction

变声的技术路线可以分为三类：

Auto-encoder approach：encoder去编码说话人无关的信息，需要设定各种限制移除说话人相关的信息；
GAN-based:使用判别器判断生成的语音和真实目标人的相似度，因为不能保证判别器从real data中学到了合理的信息，因此转换生成的语音可能会有相似度不高、发音错误等问题；
TTS-based：利用文本标签，保证了音色一致度，但是不能适用于没有文本的场景。

本文是基于StarGAN的框架，对比自然度和相似度结果超过了AUTO-VC 和VTN （tts-based)

method

使用StarGAN v2一样的结构，加入 joint detection and classification (JDC) F0 extraction network保证基频一致性；

目标函数

对抗损失
asr loss
基频一致性
风格区分性 LdsL_{ds}Lds，随机挑选两个风格，区分度越大越好

experiments

dataset

VCTK20人的数据，for style JVS dataset（10人，有正常的和假音的句子）；for emotion emotional speech dataset (ESD)，

StarGANv2-VC相关推荐

VC串口通信编程-2
VC串口通信编程 (2009-07-08 13:48:40) 转载▼ Win32串口编程(转:韩耀旭) 在工业控制中,工控机(一般都基于Windows平台)经常需要与智能仪表通过串口进行通信.串口通信 ...
VC中基于 Windows 的精确定时
方式一:VC中的WM_TIMER消息映射能进行简单的时间控制.首先调用函数SetTimer()设置定时间隔,如SetTimer(0,200,NULL)即为设置200ms的时间间隔.然后在应用程序中增 ...
VC manifest
manifest原理和用途 dll是被动态调用的,所以会被若干个程序共享使用的但是如果dll在应用程序不知道的情况下升级了.或是被另一个程序更改了,就可能会出现问题,即"DLL Hell& ...
VC运行时库（/MD、/MT等）
VC项目属性→配置属性→C/C++→代码生成→运行时库可以采用的方式有:多线程(/MT).多线程调试(/MTd).多线程DLL(/MD).多线程调试DLL(/MDd).单线程(/ML).单线程调试( ...
vc picture控件载入背景图，随控件大小改变
在mfc里,想要在Picture控件中载入一张图片有两种方法:静态的和动态的.静态的方法就是图片先载入资源(.rc)文件中,拥有一个唯一的ID:动态的方法就是制定图片的路径名即可. 当然这样的方法网上 ...
VC开发Windows客户端软件之旅——前言
从第一次拖着行李入京找活,至今已工作若干年了.这些年一直追逐自己的梦想,跑过三个城市,换了三份工作,认识了很多业内的朋友.和朋友们闲聊时,发现很多人都已经不再做客户端软件了.有的转去做管理,有的转去做 ...
WMI技术介绍和应用——使用VC编写一个半同步查询WMI服务的类
在<WMI技术介绍和应用--VC开发WMI应用的基本步骤>文中,我们介绍了VC使用WMI技术的基本框架.本节我将讲解封装和实现一个用于半同步查询WMI的类.(转载请指明出于breaksof ...
WMI技术介绍和应用——VC开发WMI应用的基本步骤
在<WMI技术介绍和应用--WMI概述>中介绍了我们可以使用C++..net或者支持ActiveX技术的脚本语言来使用WMI.但是各种语言对WMI的控制能力是不同的,比如脚本语言只能用来从 ...
VC下通过进程ID获取进程镜像文件路径的方法及其存在的缺陷
工作中经常会遇到通过进程ID获取进程镜像文件或者其他模块的路径的需求.(转载请指明出处)网上关于方案大致存在两种方案: OpenProcess->GetModuleFileName OpenPr ...
VC提前注入.net软件的方法
在之前几节介绍了各种注入方法,但是这些方法存在一些缺陷--对.net程序注入无效.(转载请指明出处) 这个可以理解,.net程序的代码不是汇编,而是微软自定义的IL中间语言..net CLR如同虚拟机 ...