face - Cross-lingual Language Model Pretraining ---- XLM

跨语言预训练模型（XLM）

摘要
Shared sub-word vocabulary
跨语言模型
代码生成跨语言句子表征
文章翻译

文章链接：

Cross-lingual Language Model Pretraining

代码链接：

XLM

本文是FaceBook AI Team在2019年一月发布的文章，该文章和前面三篇文章出自同一团队，主要提出了XLM跨语言预训练模型。XLM中的 ‘X’ 个人理解代表泛指，实际上文中提出了MLM、CLM、TLM三种预训练模型。XLM在有监督和无监督任务中都表现抢眼，在原来的state-of-the-art工作基础上提高了很多。

自去年 BERT 横空出世以来，预训练语言模型就得到大量的关注，但大多数预训练表征都是单语言的，不同语言的表征并没有什么关系。今天，Facebook 发布了一种新型跨语言预训练语言模型，它旨在构建一种跨语言编码器，从而将不同语言的句子在相同的嵌入空间中进行编码。这种共享的编码空间对机器翻译等任务有很大的优势。由于XLM是在Bert的基础上做的改进，所以XLM其实是一种跨语言版的 Bert，使用了两种预训练方式：

基于单语种语料的无监督学习
基于跨语言的平行语料的有监督学习

摘要

摘要：最近的研究已经展示了生成预训练在英语自然语言理解上的有效性。本研究将此方法扩展到多种语言并展示了跨语言预训练的有效性。研究者提出了两种方法，用于学习跨语言模型（XLM）：一个是无监督模型，只依赖单语数据，另一个是有监督模型，利用具有新的跨语言模型目标函数的平行数据。该方法在跨语言分类、无监督和有监督机器翻译方面达到了当前最佳水准。在 XNLI 上，该方法将当前最高绝对准确率提高了 4.9%。在无监督机器翻译上，本研究中的方法在 WMT’16 德语-英语任务上的 BLEU 到达了 34.3，将当前最佳水平提高了 9 分。在有监督机器翻译任务中，该方法在 WMT’16 罗马尼亚语-英语任务中的 BLEU 达到 38.5，将当前最佳水平提高了 4 分。

Shared sub-word vocabulary

目前的词向量基本都是在单语言语料集中训练得到的，所以其embedding不能涵盖跨语言的语义信息。研究表明，对于共享相同的字母、数字符号的语言，使用Byte Pair Encoding (BPE)能够显著的提升嵌入空间的对齐效果。本文学习在单语料库中从随机多项式分布中采样句子进行BPE学习。BPE的具体细节可以参考以下博文：

通过BPE解决OOV问题

跨语言模型

Causal Language Modeling (CLM)

概括的说就是使用Transformer在给定前序词语的情况下预测下一个词的概率。

这里的CLM就是一个传统的语言模型训练过程，使用的是目前效果最好的Transformer模型。对于使用LSTM 的语言模型，通过向 LSTM 提供上一个迭代的最后隐状态来执行时间反向传播 (backpropagation through time, BPTT)。而对于 Transformer，可以将之前的隐状态传递给当前的 batch，为 batch 中的第一个单词提供上下文。但是，这种技术不能扩展到跨语言设置，因此在这里作者们进行了简化，只保留每个 batch 中的第一个单词，而不考虑上下文。
Masked Language Modeling (MLM)

这一个预训练目标同BERT的MLM思想相同，唯一不同的就是在于模型输入。BERT的输入是句子对，而XLM使用的是随机句子组成的连续文本流。此外，为了避免采样不均，对相对频繁的输出采用与频率倒数的平方根成正比的权重从多项式分布中进行子采样。
Translation Language Modeling (TLM)

这一部分应该是对跨语言任务取得提升的最大原因。不同于以上两个预训练模型（单语言语料训练 + 无监督训练），翻译语言模型使用的是有监督的跨语言并行数据。如下图所示输入为两种并行语言的拼接，同时还将BERT的原始embedding种类改进为代表语言ID的Laguage embedding和使用绝对位置的Position embedding。这些新的元数据能够帮助模型更好地学习不同语言相关联Token之间的关系信息。

TLM训练时将随机掩盖源语言和目标语言的token，除了可以使用一种语言的上下文来预测该Token之外（同BERT），XLM还可以使用另一种语言的上下文以及Token对应的翻译来预测。这样不仅可以提升语言模型的效果还可以学习到source和target的对齐表示。也就是说，如果英语上下文不足以推断出掩盖的英语单词，那么该模型可以利用法语语境来推断（个人认为这点比较有想法）。本文提出的TLM如下，结合了BERT和MLM：

代码生成跨语言句子表征

项目提供了一段简单的示例代码，它可以帮我们从预训练模型快速获取跨语言句子表征，这种跨语言的句子表征对机器翻译、计算句子相似性或实现跨语言的分类器都很有帮助。项目提供的示例主要是 Python 3 写的，它还需要 Numpy、PyTorch、fastBPE 和 Moses 四个库的支持。其中 fastBPE 主要帮助解决机器翻译中罕见词的表征问题，Moses 主要对文本进行清理和 Tokenize 等过程，这个库并不需要安装。

要生成跨语言的句子表征，首先需要导入一些代码文件和库：

import os
import torchfrom src.utils import AttrDict
from src.data.dictionary import Dictionary, BOS_WORD, EOS_WORD, PAD_WORD, UNK_WORD, MASK_WORD
from src.model.transformer import TransformerModel

加载预训练模型：

model_path = '/private/home/guismay/aws/XLM/mlm_tlm_xnli15_1024.pth'
reloaded = torch.load(model_path)
params = AttrDict(reloaded['params'])
print("Supported languages: %s" % ", ".join(params.lang2id.keys()))__________________________________________Supported languages: ar, bg, de, el, en, es, fr, hi, ru, sw, th, tr, ur, vi, zh

构建字典、更新参数和构建模型：

# build dictionary / update parameters
dico = Dictionary(reloaded['dico_id2word'], reloaded['dico_word2id'], reloaded['dico_counts'])
params.n_words = len(dico)
params.bos_index = dico.index(BOS_WORD)
params.eos_index = dico.index(EOS_WORD)
params.pad_index = dico.index(PAD_WORD)
params.unk_index = dico.index(UNK_WORD)
params.mask_index = dico.index(MASK_WORD)# build model / reload weights
model = TransformerModel(params, dico, True, True)
model.load_state_dict(reloaded['model'])

下面展示一些语言的案例，我们会根据预训练模型抽取句子表征，它们已经是 BPE 格式（基于 fastBPE 库）：

# list of (sentences, lang)
sentences = [('the following secon@@ dary charac@@ ters also appear in the nov@@ el .', 'en'),('les zones rurales offr@@ ent de petites routes , a deux voies .', 'fr'),('luego del cri@@ quet , esta el futbol , el sur@@ f , entre otros .', 'es'),('am 18. august 1997 wurde der astero@@ id ( 76@@ 55 ) adam@@ ries nach ihm benannt .', 'de'),('اصدرت عدة افلام وث@@ اي@@ قية عن حياة السيدة في@@ روز من بينها :', 'ar'),('此外 ， 松@@ 嫩 平原 上 还有 许多 小 湖泊 ， 当地 俗@@ 称 为 “ 泡@@ 子 ” 。', 'zh'),
]# add </s> sentence delimiters
sentences = [(('</s> %s </s>' % sent.strip()).split(), lang) for sent, lang in sentences]

最后创建批量并完成前向传播就能获得最终的句子嵌入向量：

bs = len(sentences)
slen = max([len(sent) for sent, _ in sentences])word_ids = torch.LongTensor(slen, bs).fill_(params.pad_index)
for i in range(len(sentences)):sent = torch.LongTensor([dico.index(w) for w in sentences[i][0]])word_ids[:len(sent), i] = sentlengths = torch.LongTensor([len(sent) for sent, _ in sentences])
langs = torch.LongTensor([params.lang2id[lang] for _, lang in sentences]).unsqueeze(0).expand(slen, bs)tensor = model('fwd', x=word_ids, lengths=lengths, langs=langs, causal=False).contiguous()
print(tensor.size())

最后输出的张量形状为 (sequence_length, batch_size, model_dimension)，它可以进行进一步的微调，从而完成 GLUE 中的 11 项 NLP 任务或 XNLI 任务等。

当然除了提取预训练句子嵌入向量，该项目还展示了如何用于无监督机器翻译等任务，详细内容可查阅原 GitHub 项目。

文章翻译

译文参考下面的博客链接：

《Cross-lingual Language Model Pretraining》译文