Tacotron2(NVIDIA版)中文训练笔记

Tacotron2项目地址：https://github.com/NVIDIA/tacotron2

Tacotron2英文训练笔记：https://blog.csdn.net/qq_44951010/article/details/124828260

从科大讯飞爬取音频数据：https://blog.csdn.net/qq_44951010/article/details/124829630

步骤

下载项目或通过git clone https://github.com/NVIDIA/tacotron2.git拉取项目

准备数据，可以用开源的中文数据集，也可以自己制造，自己制造过程如下：

准备中文文本(我直接提取了标贝数据集的中文)，放在一个txt文件中，格式如下：

卡尔普陪外孙玩滑梯
假语村言别再拥抱我
宝马配挂跛骡鞍貂蝉怨枕董翁榻
邓小平与撒切尔会晤
老虎幼崽与宠物犬玩耍
身长约五尺二寸五分或以上
...

通过爬虫从科大讯飞爬取文本对应的音频，详见从科大讯飞爬取音频数据

将音频转换为.wav格式，需要安装ffmpeg并添加到环境变量，代码参考：

# -*- coding: utf-8 -*-
from ffmpy import FFmpeg as mpy
import osdef trans(mp3_file, wav_folder):# 创建 wav 文件路径wav_file = os.path.join(wav_folder)wav_file = os.path.join(wav_file, '{}.wav'.format(os.path.basename(mp3_file).strip().split('.')[0]))# 创建转换时的命令行参数字符串cmder = '-f wav -ac 1 -ar 16000'# 创建转换器对象mpy_obj = mpy(inputs = {mp3_file: None},outputs = {wav_file: cmder})print('执行cmder命令: {}'.format(mpy_obj.cmd))# 执行转换mpy_obj.run()def mp3_to_wav(mp3_folder, wav_folder):for mp3_file in os.listdir(mp3_folder):mp3_file = os.path.join(mp3_folder, mp3_file)trans(mp3_file, wav_folder)if __name__ == '__main__':mp3_to_wav('mp3文件夹', 'wav文件夹')

通过lazy_pinyin模块生成中文文本对应的拼音，代码示例：

from pypinyin import lazy_pinyin, Styletext = "我好菜啊"
text = " ".join(lazy_pinyin(text, style=Style.TONE3))
print(text)

得到中文文本的应的音频和拼音后，建它们的关系，即需要生成filelists目录下的三个文件，格式如下：
打开hparams.py文件，将samling_rate(采样率)改为16000，然后就可以开始训练了

Tacotron2中文训练笔记相关推荐

Tacotron2训练笔记
Tacotron2(NVIDIA版)训练笔记 Tacotron2项目地址:https://github.com/NVIDIA/tacotron2 Tacotron2中文训练笔记:https://blo ...
可由一个尾指针唯一确定的链表有_极客算法训练笔记(三)，链表详细图解，别再逃避了朋友...
目录缓存引爆链表链表单链表双向链表循环链表双向循环链表 LinkedHashMap实现LRU缓存,源码解析(JDK1.8) 算法爬楼梯算法反转链表算法链表环检测缓存引爆链表存储结构 ...
严蔚敏算法约瑟夫环_极客算法训练笔记(三)，链表详细图解，别再逃避了朋友...
目录缓存引爆链表链表单链表双向链表循环链表双向循环链表 LinkedHashMap实现LRU缓存,源码解析(JDK1.8) 算法爬楼梯算法反转链表算法链表环检测缓存引爆链表存 ...
极客算法训练笔记(六)，十大经典排序之希尔排序，快速排序
目录抛砖引玉希尔排序快速排序抛砖引玉十大经典排序算法江山图十大经典排序算法江山图排序算法的衡量指标我这里不再重复,上一篇我已经列举分析的很清楚了,但是非常重要,没看到我上一篇的小伙伴墙裂 ...
Yoshua Bengio新书《Deep Learning》深度学习(中文)学习笔记（improving）
Yoshua Bengio新书<Deep Learning>深度学习(中文)学习笔记: http://download.csdn.net/detail/forest_world/97057 ...
[ZT]640-801中文读书笔记
[原创]640-801中文读书笔记作者:红头发 03-22-2004 打包下载 Noko#sh run ! Written by 红头发 ...
计算机网络自顶向下方法第七版中文读书笔记目录
计算机网络自顶向下方法第七版中文读书笔记目录计算机网络自顶向下方法第七版中文读书笔记目录第 1 章计算机网络和因特网第 2 章应用层第 3 章运输层第 4 章网络层 ...
李宏毅机器学习完整笔记发布，AI界「最热视频博主」中文课程笔记全开源
点上方"小詹学Python",选择"置顶公众号"第一时间获取干货分享!本文转自:Datawhale 提起李宏毅老师,熟悉机器学习的读者朋友一定不会陌生.很多人选 ...
python ocr中文训练_cnocr: cnocr是用来做中文OCR的Python 3包。cnocr自带了训练好的识别模型，安装后即可直接使用...
English README. cnocr 使用交流QQ群欢迎扫码加入QQ交流群: 最近更新 [2020.05.29]:V1.2.2 主要变更: 优化了对数字识别的准确度. 优化了模型结构,进一步降 ...

Tacotron2中文训练笔记

Tacotron2(NVIDIA版)中文训练笔记

步骤

Tacotron2中文训练笔记相关推荐

最新文章

热门文章