py-kenlm-model

python | 高效使用统计语言模型kenlm：新词发现、分词、智能纠错等

之前看到苏神【重新写了之前的新词发现算法：更快更好的新词发现】中提到了kenlm，之前也自己玩过，没在意，现在遇到一些大规模的文本问题，模块确实好用，前几天还遇到几个差点“弃疗”的坑，解决了之后，就想，不把kenlm搞明白，对不起我浪费的两天。。

额外需要加载的库：

kenlm

pypinyin

pycorrector

笔者的代码可见github，只是粗略整理，欢迎大家一起改:

mattzheng/py-kenlm-model

相关新词发现,fork了苏神的,进行了微调:

博客链接：

1 kenlm安装

在这里面编译：kpu/kenlm，下载库之后编译：

mkdir -p build

cd build

cmake ..

make -j 4

一般编译完，很多有用的文件都存在build/bin之中，这个后面会用到：

python库的安装方式：

pip install https://github.com/kpu/kenlm/archive/master.zip

简单使用：

import kenlm

model = kenlm.Model('lm/test.arpa')

print(model.score('this is a sentence .', bos = True, eos = True))

坑点来了，笔者之前装在docker之中的，之前一不小心重启docker，kenlm就不灵了。。

当时并不知道该如何重新编译，就重新：cmake .. + make -j 4，但是这样出来，运行会报很多依赖没装：

libboost_program_options.so.1.54.0: cannot open shared object file: No such file or directory

笔者还假了嘛嘎的去ubuntu上拉下来装了，又报其他依赖错。。

(此处省略N多次，无效尝试。。。)

如果出现：

-- Could NOT find BZip2 (missing: BZIP2_LIBRARIES BZIP2_INCLUDE_DIR)

-- Could NOT find LibLZMA (missing: LIBLZMA_INCLUDE_DIR LIBLZMA_LIBRARY LIBLZMA_HAS_AUTO_DECODER LIBLZMA_HAS_EASY_ENCODER LIBLZMA_HAS_LZMA_PRESET)

需安装：

sudo apt install libbz2-dev

sudo apt install liblzma-dev

之后实验发现，把build文件夹删了，重新来一遍cmake .. + make -j 4即可。

2 kenlm统计语言模型使用

2.1 kenlm的训练 lmplz

2.1.1 两种训练方式

训练是根据build/bin/lmplz来进行，一般来说有两种方式：

(1)管道的方式传递

数据print的方式，苏神之前的博客【【中文分词系列】 5. 基于语言模型的无监督分词】中有提到：

python p.py|./kenlm/bin/lmplz -o 4 > weixin.arpa

p.py为：

import pymongo

db = pymongo.MongoClient().weixin.text_articles

for text in db.find(no_cursor_timeout=True).limit(500000):

print ' '.join(text['text']).encode('utf-8')

(2)预先生成语料文本

直接命令行，数据保存

bin/lmplz -o 3 --verbose_header --text ../text-18-03/text_18-03-AU.txt --arpa MyModel/log.arpa

其中参数的大致意义：

-o n:最高采用n-gram语法

-verbose_header:在生成的文件头位置加上统计信息

--text text_file:指定存放预料的txt文件

--arpa:指定输出的arpa文件

-S [ --memory ] arg (=80%) Sorting memory内存预占用量

--skip_symbols : Treat , , and as whitespace instead of throwing an exception

预先语料可以不加开头、结尾符号，其中， 需要特别介绍三个特殊字符。

、和

和结对使用，模型在计算概率时对每句话都进行了处理，将该对标记加在一句话的起始和结尾。

这样就把开头和结尾的位置信息也考虑进来。

如“我 喜欢 吃 苹果” --> " 我 喜欢 吃 苹果 "

表示unknown的词语，对于oov的单词可以用它的值进行替换。

可参考：

不带开头结尾：

W h o o 后 拱 辰 享 水 水 妍 护 肤 套 装 整 套 质 地 都 比 较 清 爽

滋 润

侧 重 保 湿

适 合 各 种 肤 质

调 节 肌 肤 水 平 衡

它 还 具 有 修 复 功 效

提 亮 肤 色 我 是 油 性 肤 质 用 起 来 也 一 点 也 不 觉 得 油 腻

味 道 淡 淡 的 还 很 好 闻

也 很 好 吸 收

质 地 清 爽

带开头结尾的：

3 乙 方 应 依 据 有 关 法 律 规 定

对 甲 方 为 订 立 和 履 行 本 合 同 向 乙 方 提 供 的 有 关 非 公 开 信 息 保 密

但 下 列 情 形 除 外

1 贷 款 人 有 权 依 据 有 关 法 律 法 规 或 其 他 规 范 性 文 件 的 规 定 或 金 融 监 管 机 构 的 要 求

2.1.2 生成文件arpa的解释