(Keras/Tensorflow)端到端语音识别

声明：本文原文来源于GitHub,经本人翻译首发于CSDN，仅供技术分享所用，不作商用。欢迎大家关注我的公众号: gbxiao992

本存储库用于记录我使用Keras和Tensorflow开发端到端的语音识别模型的研究。

原文链接：https://github.com/igormq/asr-study/blob/master/README.md

训练基于character 的全神经巴西葡萄牙语语音识别模型

我们的模型使用四个数据集进行训练： CSLU Spoltech (LDC2006S16), Sid, VoxForge, and LapsBM1.4. 部分数据集需要有偿下载。

（部分）巴西葡萄牙语语音数据集预处理

您可以使用提供的脚本下载免费提供的数据集（可能需要一段时间）：

$ cd data; sh download_datasets.sh

接下来，您可以将其预处理为hdf5文件。点击此处获取更多信息。

$ python -m extras.make_dataset --parser brsd --input_parser mfcc

训练网络

您可以使用train.py脚本训练网络。欲了解更多使用信息请参阅这里。使用默认参数进行训练：

$ python train.py --dataset .datasets/brsd/data.h5

预训练模型

下载基于完整brsd数据集（包括CSLU数据集）预训练好的brsm v1.0 模型

$ mkdir models; sh download_brsmv1.sh

此外，您可以针对brsd测试集评估模型

$ python eval.py --model models/brsmv1.h5 --dataset .datasets/brsd/data.h5

brsmv1.h5 training

测试集：LER 25.13％（使用光束搜索解码器，光束宽度为100）

预测输出

使用某些数据集预测训练模型的输出：

$ python predict.py --model MODEL --dataset DATASET

可用的数据集解析器

您可以在datasets/ 路径下看到所有可用的数据集解析器。

创建自定义数据集解析器

您可以创建自己的数据集解析器。这是一个例子：

class CustomParser(DatasetParser):def __init__(self, dataset_dir, name='default name', **kwargs):super(CustomParser, self).__init__(dataset_dir, name, **kwargs)def _iter(self):for line in dataset:yield {'duration': line['duration'],'input': line['input'],'label': line['label'],'non-optional-field': line['non-optional-field']}def _report(self, dl):args = extract_statistics(dl)report = '''General informationNumber of utterances: %dTotal size (in seconds) of utterances: %.fNumber of speakers: %d''' % (args)

可用模型

你可以在core/models.py路径下看到所有可用的模型。

创建自定义模型

您可以创建自定义模型。这里是基于CTC的模型的一个例子

def custom_model(num_features=26, num_hiddens=100, num_classes=28):x = Input(name='inputs', shape=(None, num_features))o = xo = Bidirectional(LSTM(num_hiddens,return_sequences=True,consume_less='gpu'))(o)o = TimeDistributed(Dense(num_classes))(o)return ctc_model(x, o)

已知 bugs

过高的内存与CPU消耗
Predicting with batch size greater than 1（Keras’bug）
warp-ctc似乎没有加速训练
zoneout实现

要求

基本要求

Python 2.7
Numpy
Scipy
Pyyaml
HDF5
Unidecode
Librosa
Tensorflow
Keras

可选

SpeechRecognition (使用 eval apis)
openpyxl ( 将结果保存在excel文件中)

致谢

python_speech_features for the audio preprocessing
Google Magenta for the hparams
@robertomest for helping me with everything

License

See LICENSE.md for more information