条件随机场实现命名实体识别

2024-05-28 01:07:42

前言

NLP 被很多人称为人工智能皇冠上的明珠，可见其在 AI 领域的重要性，而命名实体识别（NER）又一直是 NLP 领域的研究热点，所以这块任务是 NLP 必谈的。

NER 早期的实现主要是基于词典和规则，然后是基于传统的机器学习，比如 HMM、MEMM 和 CRF。随后深度学习崛起则很多用 CRF 结合循环神经网络或卷积神经网络来做。而最近期的则是基于注意力模型和迁移学习等。

其实 NER 的主流核心算法是条件随机场（CRF），包括后来的深度学习和注意力模型都是需要结合 CRF 来使用，所以这篇文章看看 CRF 怎么实现命名实体识别。

关于条件随机场

CRF 即条件随机场（Conditional Random Fields），是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型，它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。

在 NLP 中，CRF 是用于标注和划分序列数据的概率化模型，根据 CRF 的定义，相对序列就是给定观测序列 X 和输出序列 Y，然后通过定义条件概率 P(Y|X) 来描述模型。

详细可以看前面的文章《机器学习之条件随机场（CRF）》。

NER语料库

为方便可直接用 nltk 提供的命名实体识别语料库，通过以下进行下载。

>>> import nltk
>>

条件随机场实现命名实体识别相关推荐

基于条件随机场的命名实体识别
我们知道HMM将分词作为字标注问题来解决,其中有两条独立性假设:一个是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一个状态有关(一阶马尔可夫型).通过这两种假设,使得HMM的计算成为可能 ...
命名实体识别（二）——基于条件随机场的命名实体识别
一.条件随机场首先,我们看一下条件随机场的定义:在给定一组输入序列的条件下,另一组输出序列的条件概率分布模型.设X=和Y=是联合随机变量,若随机变量Y构成一个无向图G=(V,E)表示的马尔科夫模型, ...
Pytorch: 命名实体识别: BertForTokenClassification/pytorch-crf
文章目录基本介绍 BertForTokenClassification pytorch-crf 实验项目参考基本介绍命名实体识别:命名实体识别任务是NLP中的一个基础任务.主要是从一句话中识别 ...
初学者 | 一文读懂命名实体识别
本文对自然语言基础技术之命名实体识别进行了相对全面的简绍,包括定义.发展历史.常见方法.以及相关数据集,最后推荐一大波python实战利器,并且包括工具的用法. 定义先来看看维基百科上的定义:Nam ...
命名实体识别以及词性自动标注
一.命名实体识别大数据风靡的今天,不从里面挖出点有用的信息都不好意思见人,人工智能号称跨过奇点,统霸世界,从一句话里都识别不出一个命名实体?不会的,让我们大话自然语言处理的囊中取物,看看怎么样能让计 ...
系统学习NLP（十一）--命名实体识别
转自:https://www.cnblogs.com/bep-feijin/articles/9650898.html 命名实体识别(Named EntitiesRecognition, NER)是自 ...
一文读懂命名实体识别
本文对自然语言基础技术之命名实体识别进行了相对全面的介绍,包括定义.发展历史.常见方法.以及相关数据集,最后推荐一大波 Python 实战利器,并且包括工具的用法. 01 定义先来看看维基百科上的定 ...
命名实体识别的难点与现状
https://baijiahao.baidu.com/s?id=1566811969925699&wfr=spider&for=pc 命名实体识别(Named Entities Re ...
自然语言处理之——词性标注和命名实体识别
1. 摘要基于上次分享的分词技术介绍,本次继续分享在分词后与词相关联的两个技术:词性标注和命名实体识别.词性是词汇基本的语法属性,也可以称为词类.词性标注的行为就是在给定的中文句子中判定每个词的语法 ...

最新文章

热门文章