论文阅读

研究背景

序列标记包括部分语音标记(POS)、分块和命名实体识别(NER)，一直是一项经典的NLP任务。现有的序列标记模型大多是线性统计模型，其中包括隐马尔可夫模型(HMM)、最大熵马尔可夫模型(MEMMs）和条件随机场(CRF)。以及基于卷积网络的模型被提出来解决序列标记问题。本文首次将BI-LSTM-CRF模型应用于NLP基准序列标记数据集。

BI-LSTM-CRF 网络

将一个双向的LSTM网络和一个CRF网络结合起来，形成了一个BI-LSTM-CRF网络。除了LSTM-CRF模型中过去使用的输入特征和句子级标签信息外，BI-LSTM-CRF模型还可以使用未来的输入特征。这些额外的特征可以提高标记的准确性。

训练流程

对于每个batch，首先运行双向LSTM-CRF模型正向传递，其中包括LSTM的正向状态和向后状态的正向传递。得到了在所有位置上的所有标签的输出分数（发射矩阵）。然后，我们运行CRF层向前和向后传递来计算网络输出和状态转换边缘的梯度（转移矩阵）。在此之后，我们可以将错误从输出反向传播到输入，其中包括LSTM的正向状态和反向状态的反向传递。最后，更新了网络参数。

实验

（1）数据：在三个NLP标记任务中使用的数据集为，Penn TreeBank (PTB) 词性标注,
CoNLL 2000 分块,和 CoNLL 2003 命名实体识别。

（2）特征：为三个数据集提取相同类型的特征。这些特性可以分组为拼写特性和上下文特性。
(3) 拼写特征：

（4）上下文特征：使用unigram 特征和bi-grams 特征。
（5）特征连接技巧：把拼写和上下文特征当作单词特征来处理。也就是说，网络的输入包括单词、拼写和上下文特征。然而，我们发现从拼写和上下文特征到输出的直接连接加速了训练，它们导致了非常相似的标记精度。在特征和输出之间建立完全的连接，以避免潜在的特征冲突。

结果对比

结论

观察结果相比，BI-LSTM-CRF模型是鲁棒性的，并且它对单词嵌入的依赖性更小。它可以不需要使用单词嵌入来实现精确的标记精度。

论文阅读《Bidirectional LSTM-CRF Models for Sequence Tagging》相关推荐

《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录突出抽象引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静计算机辅助设计与图形学学报 1.解决的问题由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
一种基于卷积神经网络的图像去雾研究-含matlab代码
目录一.绪论二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归三.实验与分析四.Matlab代码获取一.绪论雾是一种常见的大气现象,空气中悬浮的水 ...
机械臂论文笔记（一）【基于卷积神经网络的二指机械手抓取姿态生成研究】
基于卷积神经网络的二指机械手抓取姿态生成研究论文下载摘要第1章绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
毕业设计 - 基于卷积神经网络的乳腺癌分类深度学习医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...

论文阅读《Bidirectional LSTM-CRF Models for Sequence Tagging》

文章目录