融合统计机器翻译特征的蒙汉神经网络机器翻译技术

杜健内蒙古大学

【摘要】：随着机器翻译的发展,统计机器翻译已经进入瓶颈期很难有所提高,因此研究人员逐步将研究目光投向神经网络机器翻译方向。神经网络机器翻译也在大规模语料上取得了很好的翻译效果,而对小规模语料的神经网络机器翻译研究甚少。但是作为新的机器翻译方法它也存在一些限制:(1)神经网络机器翻译为了降低训练的复杂度通常会将词典的大小限制到一个特定的范围内,从而导致严重的未登录词问题,这个问题严重影响了翻译效果;(2)神经网络机器翻译的解码缺乏保证源语言词都被翻译的机制从而倾向于短的翻译结果;(3)神经网络机器翻译不能很好的利用语言模型。基于以上原因,本文在小规模的蒙汉平行语料上实现了神经网络机器翻译,并提出通过统计机器翻译中的特征来缓解神经网络机器翻译中的问题。首先本文搭建了基于注意力的蒙汉神经网络机器翻译系统;其次,本文提取了统计机器翻译特征:翻译模型,词反馈信息以及语言模型,并定义了其特征函数;第三,本文通过蒙汉平行语料利用GIZA++建立了蒙汉对齐词典,利用IRSTLM对汉文建立了语言模型;第四,本文将已经建立的蒙汉对齐词典、语言模型以及词反馈信息通过对数线性模型融入到基于注意力的神经网络机器翻译的解码中从而处理神经网络机器翻译中的限制;最后,本文针对神经网络机器翻译中的未登录词问题提出了在翻译过程中处理和翻译后处理的两种处理方法,大幅度减少了神经网络机器翻译中的未登录词。实验结果表明,通过融合统计机器翻译特征的蒙汉神经网络机器翻译明显地提升了翻译质量,BLEU值提高至30.66,句子长度由16.7个词提升至19.1个词,并处理掉了神经网络机器翻译中86%的未登录词。

融合统计机器翻译特征的蒙汉神经网络机器翻译技术相关推荐

统计机器翻译与神经机器翻译区别_神经网络机器翻译的发展趋势
神经网络机器翻译的发展趋势作者:Isabella Massardo 编译:TransliaMT 上个月,OpenAI 推出了其 GPT-3(生成型预训练变换器-3)的封闭测试版,展示了该模 ...
神经网络机器翻译技术及应用（上）
何中军,百度机器翻译技术负责人.本文根据作者2018年12月在全球架构师峰会上的特邀报告整理而成. 本报告分为以下5个部分: 机器翻译基本原理,介绍机器翻译原理.主要挑战.发展历程,及评价方法神经网 ...
Machine Translation and Datasets - 机器翻译与数据集(RNN循环神经网络)
文章目录机器翻译与数据集下载和预处理数据集词元化词表加载数据集训练模型小结机器翻译与数据集语言模型是自然语言处理的关键, 而机器翻译是语言模型最成功的基准测试.因为机器翻译正是将输入 ...
现代循环神经网络 - 机器翻译与数据集
文章目录机器翻译与数据集 1 - 下载和预处理数据集 2 - 词元化 3 - 词表 4 - 加载数据集 5 - 训练模型 6 - 小结机器翻译与数据集语言模型是自然语言处理的关键,而机器翻译是语 ...
【笔记3-7】CS224N课程笔记 - 神经网络机器翻译seq2seq注意力机制
CS224N(七)Neural Machine Translation, Seq2seq and Attention seq2seq神经网络机器翻译历史方法 seq2seq基础 seq2seq - ...
不能用蛮力法解决的问题_溆浦事蒙汉：脱贫攻坚绝不能心浮气躁骄傲自满疲倦厌战...
脱贫攻坚绝不能心浮气躁骄傲自满疲倦厌战 --蒙汉到卢峰镇检查"四支队伍"集村部工作情况检查南华山村"四支队伍"集村部工作情况与大潭村贫困户舒采米座谈红网溆 ...
神经网络特征图计算_GNNFiLM：基于线性特征调制的图神经网络
GNN-FiLM:基于线性特征调制的图神经网络论文链接:https://arxiv.org/abs/1906.12192v3 源代码:https://github.com/Microsoft/tf- ...
神经网络机器翻译（一）
文章目录序言 Encoder-Decoder 模型原理应用范围局限性注意力机制(Attention) 模型原理原理图示自注意力 (self-attention) 原理介绍图示讲解 ker ...
特征重要性计算方法及神经网络的特征重要性
这是我第63篇文章.这篇文章主要简单讲一些常用特征重要性计算方法及神经网络的特征重要性计算方法. 1 几种常用的特征重要性计算方法 1.1 树模型特征重要性像xgboost.lightgbm等树模型 ...

融合统计机器翻译特征的蒙汉神经网络机器翻译技术

融合统计机器翻译特征的蒙汉神经网络机器翻译技术

融合统计机器翻译特征的蒙汉神经网络机器翻译技术相关推荐

最新文章

热门文章