KenLM语言模型工具

KenLM生成[语言模型] 的整理
PS：1.生成[语言模型]的同时，一定要注意生成的模型文件及路径是否正确，防止覆盖之前的模型
2. 使用xz解压.xz文件

自己训练语言模型(language model)：
kenlm
工具包
使用kenlm构建语言模型教程：
参考链接1
参考链接2
参考链接3
参考链接4
参考链接5
kenlm的-help
训练语言模型的步骤：
先进入kenlm/build文件夹

用-o 5 训练成.arpa格式的文件
可用：bin/lmplz -o 5 --verbose header --text mytext/19-01-au.txt mylmmodel/log3.arpa
可用：bin/lmplz -o 3 --verbose header --text mytext/19-01-au.txt --arpa mylmmodel/log3.arpa
可用：bin/lmplz -o 5 --prune 0 1 1 1 1 --text mytext/19-01-au.txt --arpa mylmmodel/log3.arpa

在en.00（没有预处理的）上进行训练，修剪模型
可用：bin/lmplz -o 5 --prune 0 1 1 1 1 --text mytext/lm_text/en.00.deduped --arpa mylmmodel/en.arpa
但：Special word is not allowed in the corpus. I plan to support models containing in the future. Pass --skip_symbols to convert these symbols to whitespace.
跳过空白字符：–skip_symbols
可用：bin/lmplz -o 5 --skip_symbols --prune 0 1 1 1 1 --text mytext/lm_text/en.00.deduped --arpa mylmmodel/en.arpa

不修剪模型：
bin/lmplz -o 5 mytext/lm_text/en.00.deduped mylmmodel/en.arpa

将生成的.arpa改成trie文件格式，并采用量化和指针压缩，也放到mylmmodel文件夹下
可用：bin/build_binary trie -a 22 -q 8 -b 8 mylmmodel/log3.arpa mylmmodel/log3.binary

将arpa文件改为.klm文件
可用：bin/build_binary trie -a 22 -q 8 -b 8 mylmmodel/log3.arpa mylmmodel/log3.klm
可用：bin/build_binary trie -a 22 -q 8 -b 8 mylmmodel/en.arpa mylmmodel/en.klm

!!!在生成.arpa文件的时候，必须加上–arpa 使用txt文件的时候，也需要加上–text

klm是kenlm定义的二进制格式，klm格式占用空间更少。
参考链接1

采用log4.arpa语言模型先把deepspeech2的语言模型执行完再说
生成log4.arpa文件
可用：bin/lmplz -o 5 --prune 0 1 1 1 1 --text mytext/19-01-au.txt --arpa mylmmodel/log4.arpa
可用：bin/lmplz -o 5 --skip_symbols --prune 0 1 1 1 1 --text mytext/19-01-au.txt --arpa mylmmodel/log4.arpa
使用–skip_symbols得到的模型才能被deepspeech2的sh run_infer.sh使用

生成二进制文件.klm
可用：bin/build_binary trie -a 22 -q 8 -b 8 mylmmodel/log3.arpa mylmmodel/log3.klm
可用：bin/build_binary trie -a 22 -q 8 -b 8 mylmmodel/log4.arpa mylmmodel/log4.klm

xz的使用
压缩的时候保留源文件的方式：xz -k file.txt
解压的时候保留源文件的方式：xz -d -k sources-19-01.txt.xz

KenLM语言模型工具相关推荐

利用开源工具搭一套汉英翻译系统（三）：语言模型工具SRILM
语言模型工具选择使用SRILM.存在其他选择KenLM, IRSTLM. 下载地址:http://www.speech.sri.com/projects/srilm/download.html ,需要 ...
python语言模型工具_Python工具整合，为程序员和新手准备的 8 大 Python 工具
Python 是一种开源编程语言,用于 Web 编程.数据科学.人工智能和许多科学应用.学习 Python 使程序员能够专注于解决问题,而不是专注于语法,其丰富的库赋予它完成伟大任务所需的力量. 1) ...
python | 高效统计语言模型kenlm：新词发现、分词、智能纠错
之前看到苏神[重新写了之前的新词发现算法:更快更好的新词发现]中提到了kenlm,之前也自己玩过,没在意,现在遇到一些大规模的文本问题,模块确实好用,前几天还遇到几个差点"弃疗"的 ...
kenlm N-gram语言模型的安装踩坑及使用
1. 安装步骤 1.1 确认工作环境一般来说,kenlm只支持在Linux环境下进行训练,因此想用kenlm训练自己的语言模型的小伙伴最好准备一个Linux 环境:至于其他平台的操作方法可能会有, ...
NLP（四十八）使用kenlm进行文本纠错
本文将会介绍如何使用kenlm工具进行文本纠错. kenlm是用C++编写的语言模型工具,可以方便.快速地计算n-gram.kenlm工具的首页网址为:https://kheafield.co ...
【中文分词系列】 5. 基于语言模型的无监督分词
转载:https://spaces.ac.cn/archives/3956/ 迄今为止,前四篇文章已经介绍了分词的若干思路,其中有基于最大概率的查词典方法.基于HMM或LSTM的字标注方法等.这些都是 ...
Windows上pip install kenlm报错解决
Windows上pip install kenlm报错解决解决办法1: 一般在windows上安装kenlm会遇到与Microsoft Visual C++ 14.0 is required相关的问 ...
PocketSphinx语音识别系统语言模型的训练和声学模型的改进
PocketSphinx语音识别系统语言模型的训练和声学模型的改进 zouxy09@qq.com http://blog.csdn.net/zouxy09 关于语音识别的基础知识和sphinx的知识, ...
语音识别中的WFST和语言模型
导读在语音识别系统中,有限加权状态转换机(Weighted Finite State Transducers, WFST)扮演着重要角色.本文主要介绍发音词典.语言模型和WFST的原理,以及在实践过 ...

KenLM语言模型工具

KenLM语言模型工具相关推荐

最新文章

热门文章