DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks 论文解读

文章提出的DAGA是一种适配于NER的数据增强方法，来自阿里达摩院

1. 核心思想

DAGA的思想简单来讲就是标签线性化：即将原始的**「序列标注标签」与「句子token」进行混合，也就是变成「Tag-Word」**的形式，如下图：将「B-PER」放置在「Jose」之前，将「E-PER」放置在「Valentin」之前；对于标签「O」则不与句子混合。标签线性化后就可以生成一个句子了，文章基于此句子就可以进行「语言模型生成」了。

假设我们在相应的词之前（在句子线性化期间）插入标签来训练 RNNLM，在给定“I have booked a flight to”预测下一个 token 时，“S-LOC”的概率远高于其他选择，因为 RNNLM 在训练数据中见过很多类似的例子，比如“a train to S-LOC”、“trip to S-LOC”等。然后论文根据“I have booked a flight to S-LOC ”预测之后的词。在训练数据中，所有的“S-LOC”后面都是位置词，所以“London”、“Paris”、“Tokyo”等都是可能的选择，它们的概率非常接近。由于增加了随机性，模型可以选择其中的任何一个。

2. 网络模型结构

DAGA 网络（如上图）仅仅通过一层LSTM进行自回归的语言模型训练，网络很轻，没有基于BERT做。

3. 对不同资源条件下的处理

对于标注语料，用[labeled]在句首作为条件标记；
对于无标注语料，用[unlabeled]在句首作为条件标记；
对于知识库，对无标注语料进行词典匹配后（正向最大匹配），用[KB]在句首作为条件标记；
只要输入**[BOS]+[labeled]/[unlabeled]/[KB]**，即可通过上述语言模型、自回归生成新的增强数据。

4.实验设置

在标注语料下
gold：通过标注语料进行NER训练

gen：即DAGA，1）通过标注语料进行语言模型训练、生成新的数据:2) 过采样标注语料; 3)新数据+过采样标注语料，最后一同训练NER；

rd：1)通过随机删除进行数据增强; 2)过采样标注语料；3)新数据+过采样标注语料，最后一同训练NER；

rd*：同rd，只是不过采样标注语料。

在无标注语料下

gold：通过标注语料进行NER训练；

wt：即弱监督方法，采用标注语料训练好一个NER模型，然后通过NER模型对无标注语料伪标生成新数据，然后再重新训练一个NER模型；

gen-ud：通过标注和无标注语料共同进行语言模型训练、生成新数据，然后再训练NER模型；

kb：从全量训练集中积累实体词典（实体要在训练集上中至少出现2次），然后用实体词典匹配标注无标注语料、生成新数据，最后再训练NER模型；

gen-kb：与kb类似，将kb生成的新数据训练语言模型，语言模型生成数据后、再训练NER模型；

参考链接

https://aclanthology.org/2020.emnlp-main.488/

https://github.com/ntunlp/daga