1.词性标注任务的基本分析

2.训练集所需要构筑的数据

A:词—词性统计库
B:bigram模型下wi—wi−1w_i—w_{i-1}wi—wi−1统计库
pi:句首词词性统计库

#给每个单词和词性一个标号，并留下标号和词性转换的字典
def generate_id_dict():word2id,id2word = {},{} #word2id:{apple:0,banana:2...} id2word:{0:apple,1:banana}tag2id,id2tag = {},{} #tag2id:{NNP:0,VB:1...} id2tag:{0:NNP,1:VB}with open("traindata.txt") as file:for line in file:line = line.split('/')word,tag = line[0],line[1].rstrip()#如果字典中没有出现过该单词或者tag，则新开一个，id正好为当前字典长度if word not in word2id:word2id[word] = len(word2id)id2word[len(word2id)] = wordif tag not in tag2id:tag2id[tag] = len(tag2id)id2tag[len(tag2id)] = tagreturn [word2id,id2word,tag2id,id2tag]word2id,id2word,tag2id,id2tag = generate_id_dict()def generate_parameter():#词性个数N = len(tag2id)#单词个数M = len(word2id)#初始化A、B、piA = np.zeros((N,M))B = np.zeros((M,M))pi = np.zeros(N)#统计计算A、B、piwith open("traindata.txt") as file:prev_tag = ""for line in file:line = line.split('/')wordId,tagId = word2id[line[0]],tag2id[line[1].rstrip()]#根据是否是首单词进行更新参数A[tagId][wordId] += 1if prev_tag == "":pi[tagId] += 1else:B[tag2id[prev_tag]][tagId] += 1#更新prev_tagif line[0] == '.':prev_tag = ""else:prev_tag = line[1].rstrip()pi /= sum(pi)for i in range(N):A[i] /= sum(A[i])B[i] /= sum(B[i])return [N,M,A,B,pi]

3维特比算法求最优路径

def veterbi(x):#把英文句子变成单词id列表x = [word2id[word] for word in x.split(" ")]T = len(x)#dp(i,j)表示从一开始到第i个单词选第j个词性的最高分数dp = np.zeros((T,N))#ptr用来标注选择#ptr(i,j)代表第i个单词选j，则上一个单词选ptr(i,j)ptr = np.zeros((T,N),dtype=int)#base casefor j in range(N):dp[0][j] = np.log(pi[j]) + np.log(A[j][x[0]])for i in range(1,T):#每个单词for j in range(N):#每个词性dp[i][j] = -999999999for k in range(N):#遍历i-1，i之间每一个路径score = dp[i-1][k] + np.log(B[k][j]) + np.log(A[j][x[i]])if score > dp[i][j]:dp[i][j] = scoreptr[i][j] = kbest_seq = [0 for i in range(T)]#找出最后一个单词的词性best_seq[T-1] = np.argmax(dp[T-1])#从后往前找每个词的词性for i in range(T-2,-1,-1):best_seq[i] = ptr[i+1][best_seq[i+1]]#返回序列for i,value in enumerate(best_seq):best_seq[i] = id2tag[value+1]return best_seq

输入句子测试

x = "Social Security number , passport number and details about the services provided for the payment"
viterbi(x)

测试效果：

游离态GLZ的NLP任务2——用维特比算法实现词性标注相关推荐

采用维特比算法完成词性标注（含python代码）
本文所用训练集: 链接:https://pan.baidu.com/s/1fK--_PrEhckKUSrajHGkEw 提取码:aehg 文章目录 "词性标注"的国内外研究现状: ...
维特比算法的java实现_原创：维特比算法
看了宗成庆博士的<统计自然语言处理(中文信息处理)>的第六章,对维特比算法有着非常精辟的讲解.把其中的讲解上传上来,个人感觉比较正统. 今天用Java实现了这个算法,也可以转换为C代码: ...
隐马尔可夫模型HMM+维特比算法（Viterbi Algorithm）进行词性标注代码实现（自然语言处理课程第二次作业）
文章目录一.理论描述二.算法描述三.详例描述具体过程分析题目数据预处理转移概率矩阵: 发射概率矩阵: HMM+维特比算法进行词性标注开始进行词性标注: The: bear: is: o ...
维特比算法 python_HMM-维特比算法理解与实现（python）
解码问题给定观测序列 \(O=O_1O_2...O_T\),模型 \(\lambda (A,B,\pi)\),找到最可能的状态序列 \(I^∗=\{i^∗_1,i^∗_2,...i^∗_T\}\) ...
【深度】从朴素贝叶斯到维特比算法：详解隐马尔科夫模型
详解隐马尔科夫模型作者:David S. Batista 选自:机器之心本文首先简要介绍朴素贝叶斯,再将其扩展到隐马尔科夫模型.我们不仅会讨论隐马尔科夫模型的基本原理,同时还从朴素贝叶斯的角度讨论 ...
维特比算法 python_维特比算法实现中文分词 python实现
最近我在学习自然语言处理,相信大家都知道NLP的第一步就是学分词,但分词≠自然语言处理.现如今分词工具及如何使用网上一大堆.我想和大家分享的是结巴分词核心内容,一起探究分词的本质. (1).基于前缀词 ...
viterbi-algorithm 维特比算法的例子解析
维特比算法的目的: 寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states) 关于原理的讲解可以参考下面两篇文章,讲的比较清楚小白给 ...
NLP作业01：请利用HMM实现词性标注
NLP作业01:请利用HMM实现词性标注目录 NLP作业01:请利用HMM实现词性标注一.作业头二.对HMM模型进行介绍三. 估计HMM的模型参数四.基于维特比算法进行解码五. 词性标注结 ...
条件随机场(CRF) - 4 - 学习方法和预测算法(维特比算法)
声明: 1,本篇为个人对<2012.李航.统计学习方法.pdf>的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址). 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了 ...

游离态GLZ的NLP任务2——用维特比算法实现词性标注

1.词性标注任务的基本分析

2.训练集所需要构筑的数据

3维特比算法求最优路径

游离态GLZ的NLP任务2——用维特比算法实现词性标注相关推荐

最新文章

热门文章