使用mosesdecoder对机器翻译语料进行处理

之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。

关于预处理

分词（tokenization）、数据清理（data clearn）、小写化处理（lowercase）均是常规的预处理步骤。

相比之下，中文的预处理对我来说好做很多，除了分词，好像可做的就不多了，相比之下，英文的预处理就变得繁琐了很多，比如在bpe的子词词典中，我们可以看到American's 和american's同时存在于词典，并且英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，cat和cat.就可能占据词典中两个词的位置，这些都是不合理的，会浪费我们词典的位置。所以对英文的处理是及其有必要的。

mosesdecoder作为统计机器翻译工具，其中有一套很程序的预处理方法。

项目地址：

https://github.com/moses-smt/mosesdecoder

下面是我用mosesdecoder对中英文语料进行预处理的过程，（为什么中文已经分词了，还要进行预处理？----因为中文语料中也有一些英文，数字等等的词，我觉得也有必要一起处理一下）

利用mosesdecoder对机器翻译的双语语料进行处理（中文其实也可以进行处理，因为中文中夹杂着英文）

step1:对标点符号进行规范化 normalize

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < ./corpus/corpus.en >./corpus/corpus.norm.en

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l zh < ./corpus/corpus.zh >./corpus/corpus.norm.zh

step2：分词 tokenizer

perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < ./corpus/corpus.norm.en > ./corpus/corpus.norm.tok.en

perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l zh < ./corpus/corpus.norm.zh > ./corpus/corpus.norm.tok.zh

step3: clean

长句和空语句可引起训练过程中的问题，因此将其删除，同时删除显不对齐句子删除。--将句子长度控制到60

perl ./mosesdecoder/scripts/training/clean-corpus-n.perl ./corpus/corpus.norm.tok en zh ./corpus/corpus.norm.tok.clean 1 60

这样会同时将双语语料进行操作，生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.zh。

Input sentences: 15886041 Output sentences: 13902844

控制完长度的双语语句13902844

step4:truecasing

初始每句话的字和词组都被转换为没有格式的形式(例如统一为小写）。这有助于减少数据稀疏性问题。

需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。

英文：

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.en -model ./corpus/truecase-model.en

中文：

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.zh -model ./corpus/truecase-model.zh

应用：

英文：

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.en <./corpus/corpus.norm.tok.clean.en > ./corpus/corpus.norm.tok.clean.tc.en

中文：

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.zh <./corpus/corpus.norm.tok.clean.zh > ./corpus/corpus.norm.tok.clean.tc.zh

处理后的语料中@-@ 是对原本语料中-的替代

同样，用上述相同的方法对训练集和测试集进行处理。