使用第三方jieba中文分词库对三国演义片段进行分词统计

import jieba #进行中文分词的第三方库

txt = open("C:/Users/Administrator/Desktop/python-lianxi/threekingdoms.txt", "r", encoding="utf-8").read()
excludes = {"将军","却说","荆州","二人","不可","不能","如此","商议","如何",\
"主公","军士","左右","军马","引兵","次日","大喜","天下","东吴",\
"于是","今日","不敢","魏兵","陛下","一人","都督","人马","不知",\
"汉中","众将","汉中","只见","后主","蜀兵","上马","大叫","太守",\
"此人","夫人","先主","后人","背后","城中","天子","一面","何不",\
"大军","忽报","先生","百姓","何故","然后","先锋","不如","赶来"} #经过多次执行，把统计结果中排名靠前的不是人名的排除掉
words = jieba.lcut(txt)
counts = {}
for word in words:
if len(word)==1:
continue
elif word == "诸葛亮" or word == "孔明曰": #对同样一个人物出场的分词不当的情况进行统计
rword = "孔明"
elif word == "关公" or word == "云长":
rword = "关羽"
elif word == "玄德" or word == "玄德曰":
rword = "刘备"
elif word == "孟德" or word == "丞相":
rword = "曹操"
else:
rword = word
counts[rword] = counts.get(rword,0) + 1 #字典的get方法，查找是否有键word,有则返回其对应键值，没有则返回后面的值0
for word in excludes: #剔除掉已经找出的不是人名的多频率词
del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) #列表的排序常用搭配，将元素的下标为第一个的元素作为关键字按照从大到小排序
for i in range(15):
word, count = items[i]
print("{0:<10}{1:>5}".format(word, count))

使用第三方jieba中文分词库对三国演义片段进行分词统计相关推荐

jieba中文分词库的使用
文章目录 "结巴"中文分词:Python 中文分词组件四种分词模式: 算法主要功能代码示例 Paddle模式全模式和精确模式: 通过Viterbi算法新词识别搜索引擎模式 ...
jieba 同义词_中文分词库FNLP与jieba的安装与使用
本篇讲述FNLP自然语言处理库和jieba中文分词库的安装与使用,FNLP自然语言处理库适合Java开发者学习中文分词处理,jieba中文分词库适合Python开发者学习中文分词处理.通过本篇的学习, ...
Python：中文分词库jieba安装使用
hello,大家好,我是wangzirui32,今天我们来学习jieba中文分词库如何安装使用. 开始学习吧! 1. pip安装命令: pip install jieba 没有报错即为安装成功. 2 ...
准确实用，7个优秀的开源中文分词库推荐
文章来自开源中国(微信ID:oschina2013) 如需转载请注明上述来源,其他来源无效并视为侵权中文分词是中文文本处理的基础步骤,也是中文人机自然语言交互的基础模块.由于中文句子中没有词的界限, ...
python词库介绍_中文分词原理及常用Python中文分词库介绍
转自进击的Coder 公众号原理中文分词,即 Chinese Word Segmentation,即将一个汉字序列进行切分,得到一个个单独的词.表面上看,分词其实就是那么回事,但分词效果好不好对 ...
Jieba中文分词下如何画词云图？
配置:anaconda3 + Pycharm 文章目录 WordCloud 关于Jieba分词 Jieba中文分词 +绘制词云图案例 WordCloud 英文文本导入第三方模块 from word ...
【jieba库】使用jieba库对《三国演义》全篇进行分词处理，统计《三国演义》中各个人物的出场次数，打印次数排名前五的人物姓名具有排除词库和合并不同称谓功能的Python程序|CSDN创作打卡
程序解决问题描述如下: 使用jieba库,该语句可以分割中文语句中的词汇.同时掌握对txt文档的读写操作,对其中出现的高频词汇进行了统计.建立一个排除词库,用于排除程序对一些无意义的词的计数,使得最终 ...
python文本分析的开源工具_共有11款Python 中文分词库开源软件
"哑哈"中文分词,更快或更准确,由你来定义.通过简单定制,让分词模块更适用于你的需求. "Yaha" You can custom your Chinese W ...
python汉语叫什么意思_中文分词原理及常用Python中文分词库介绍
转自进击的Coder 公众号原理中文分词,即 Chinese Word Segmentation,即将一个汉字序列进行切分,得到一个个单独的词.表面上看,分词其实就是那么回事,但分词效果好不好对 ...

使用第三方jieba中文分词库对三国演义片段进行分词统计

使用第三方jieba中文分词库对三国演义片段进行分词统计相关推荐

最新文章

热门文章