python:正向最大匹配法分词（以藏文为例）

前段时间研究了如何用分词工具进行分词，但是分词中涉及的一些算法，不太了解，所以，准备这段时间专攻分词算法原理，大家有补充，或者建议，欢迎留言。

1. 最大匹配法(Maximum Matching)

最大匹配法是指以词典为依据，取词典中最长词长度作为第一次取字数量的长度，在词典中进行扫描。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。

最大匹配法主要包括正向最大匹配法（FMM，Forward Maximum Matching）、反向最大匹配法（BMM, Backward Maximum Matching）和双向最大匹配法，均是基于词典的。

缺点：

需要给定词典，如果词典中记录不全，比如新词没在字典中，可能就识别不出来；
矛盾之处：词典中的词少的话，会影响准确率，词典中词多的话，会影响运行效率；
优化：

为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描。
1.1 正向最大匹配法
正向即从左往右取词，取词最大长度为词典中长词的长度，每次右边减一个字，直到词典中存在或剩下1个单字。
比如：ཁྱོད་སློབ་མ་སློབ་ཁང་ནང་དུ་སློབ་ཁྲིད་བྱས།

import copy
tibetdict = {'སློབ་མ', 'སློབ་ཁང', 'ནང་དུ', 'སློབ་ཁྲིད'}
s = 'ཁྱོད་སློབ་མ་སློབ་ཁང་ནང་དུ་སློབ་ཁྲིད་བྱས'# print(s[:len(s)-1])
def TibetSplit(tibet):# print(tibet)temp = ''result = ''# returnwhile len(tibet) > 0:tibet = tibet.strip('་')temp = copy.deepcopy(tibet)# print(tibet)while len(temp) > 0:if temp in tibetdict:result += temp + '/'tibet = tibet[len(temp):]# print(tibet,123)temp = ''else:if '་' not in temp:result += temp + '/'tibet = tibet[len(temp):]temp = ''else:temp = temp[:len(temp) - 1]print(result)
TibetSplit(s)

python:正向最大匹配法分词（以藏文为例）相关推荐

词法分析-中文分词技术-正向最大匹配法与逆向最大匹配法
词法分析-中文分词技术-正向最大匹配法与逆向最大匹配法 Type真是太帅了于 2018-12-31 13:20:07 发布 1930 收藏 1 分类专栏: 编程版权编程专栏收录该内容 15 ...
正向/逆向最大匹配法分词实现
最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描).例如:词典中 ...
基于词典的正向最大匹配中文分词算法，能实现中英文数字混合分词
基于词典的正向最大匹配中文分词算法,能实现中英文数字混合分词.比如能分出这样的词:bb霜.3室.乐phone.touch4.mp3.T恤第一次写中文分词程序,欢迎拍砖. publicclass MM ...
java正向最大匹配算法_java中文分词之正向最大匹配法实例代码
前言基于词典的正向最大匹配算法(最长词优先匹配),算法会根据词典文件自动调整最大长度,分词的好坏完全取决于词典. 所谓词典正向最大匹配就是将一段字符串进行分隔,其中分隔的长度有限制,然后将分隔的子 ...
正向最大匹配中文分词算法
中文分词一直都是中文自然语言处理领域的基础研究.目前,网络上流行的很多中文分词软件都可以在付出较少的代价的同时,具备较高的正确率.而且不少中文分词软件支持Lucene扩展.但不管实现如何,目前而言的分 ...
java 正向分词算法_正向最大匹配中文分词算法
中文分词一直都是中文自然语言处理领域的基础研究.目前,网络上流行的很多中文分词软件都可以在付出较少的代价的同时,具备较高的正确率.而且不少中文分词软件支持Lucene扩展.但不管实现如何,目前而言的分 ...
中文分词——正向最大匹配法
中文分词应用非常广泛,网上也有非常多开源项目. 我在这里主要讲一下中文分词里面算法的简单实现,废话不多说了,如今先上代码 package com;import java.util.ArrayList; ...
python最大分词_python正向最大匹配分词和逆向最大匹配分词的实例
正向最大匹配 # -*- coding:utf-8 -*- CODEC='utf-8' def u(s, encoding): 'converted other encoding to unicode ...
中文分词算法之--最大匹配法
中文分词算法之–最大匹配法前段时间研究了如何用分词工具进行分词,但是分词中涉及的一些算法,不太了解,所以,准备这段时间专攻分词算法原理,大家有补充,或者建议,欢迎留言. 1. 最大匹配法(Max ...

python:正向最大匹配法分词（以藏文为例）

1. 最大匹配法(Maximum Matching)

python:正向最大匹配法分词（以藏文为例）相关推荐

最新文章

热门文章