python文本分析库_8种Python文本处理工具集

文本处理一般包括词性标注，句法分析，关键词提取，文本分类，情感分析等等，这是针对中文的，如果是对于英文来说，只需要基本的tokenize。本文为大家提供了以下这些工具包。

1.Jieba

【结巴中文分词】做最好的 Python 中文分词组件

其功能包括支持三种分词模式（精确模式、全模式、搜索引擎模式），支持繁体分词，支持自定义词典等。

代码主页：https://github.com/fxsjy/jieba

2.NLTK

【NLTK】一个构建Python程序以使用人类语言数据的领先平台，被称为“使用Python进行教学和计算语言学工作的绝佳工具”，以及“用自然语言进行游戏的神奇图书馆”。

官方主页：http://www.nltk.org/

代码主页：https://github.com/nltk/nltk

3.TextBlob

【TextBlob】是一个用于处理文本数据的Python（2和3）库。它为潜入常见的自然语言处理（NLP）任务提供了一个简单的API，例如词性标注，名词短语提取，情感分析，分类，翻译等。

官方主页：http://textblob.readthedocs.org/en/dev/

代码主页：https://github.com/sloria/textblob

4.MBSP for Python

【MBSP】是一个文本分析系统，基于CLiPS和ILK开发的基于TiMBL和MBT内存的学习应用程序。它提供了用于标记化和句子分裂，词性标注，分块，词形还原，关系查找和介词短语附件的工具。

官方主页：http://www.clips.ua.ac.be/pages/MBSP

5.Gensim

【Gensim】是一个免费的Python库可扩展的统计语义

分析纯文本文档的语义结构

检索语义相似的文档

官方主页：http://radimrehurek.com/gensim/index.html

代码主页：https://github.com/piskvorky/gensim

6.langid.py

【langid.py 】是一个独立的语言标识（LangID）工具。接受过97种语言的预训练（ISO 639-1代码），培训数据来自5个不同的来源：JRC-Acquis、ClueWeb 09、维基百科、路透社RCV2和Debian i18n。

代码主页：https://github.com/saffsd/langid.py

7. xTAS

【 xTAS】是基于Celery的分布式文本分析套件。部分xtas使用GPL许可软件，例如Stanford NLP工具，以及可能产生额外限制的数据集，检查文档中的各个功能。

代码主页：https://github.com/NLeSC/xtas

8.Pattern

【Pattern】是Python编程语言的Web挖掘模块。它具有数据挖掘工具（谷歌，Twitter和维基百科API，网络爬虫，HTML DOM解析器），自然语言处理（词性标注，n-gram搜索，情感分析，WordNet），机器学习（矢量）空间模型，聚类，SVM），网络分析和可视化。

官方主页：http://www.clips.ua.ac.be/patternAMiner 唯一官方微信公众号：学术头条（ID：SciTouTiao）。

AMiner 官方网站网站 https://www.aminer.cn/

python文本分析库_8种Python文本处理工具集相关推荐

python 文本分析库_Python有趣|中文文本情感分析
前言前文给大家说了python机器学习的路径,这光说不练假把式,这次,罗罗攀就带大家完成一个中文文本情感分析的机器学习项目,今天的流程如下: 数据情况和处理数据情况这里的数据为大众点评上的评论数 ...
Py之qrcode：调用python的qrcode库两种方式生成二维码、带logo的二维码
Py之qrcode:调用python的qrcode库两种方式生成二维码.带logo的二维码目录 python编程实现生成二维码 1.第一种方式-纯文本 2.第二种方式-带logo
python如何安装matplotlib_详解python安装matplotlib库三种失败情况
(可能只有最后一句命令有用,可能全篇都没用) (小白方法,可能只适用于本人情况) 安装matplotlib时,出现的三种失败情况 1.read timed out 一开始我在pycharm终端使用pi ...
可爱的python测试开发库及项目(python测试开发工具库汇总)
转载: https://www.jianshu.com/p/ea6f7fb69501 可爱的python测试开发库及项目(python测试开发工具库汇总) github地址相关书籍下载 Python ...
python数据获取与文本分析_python文本分析之处理和理解文本
前言: 在进行自然语言的建模(NLP)时,我们通常难以处理文字类型的数据,因此在常见的机器学习项目中,数据的格式是结构化的,就算在视觉处理的时候也是一个矩阵或者高维张量的形式.那么文字类型的数据我们应 ...
python情感分析中文_Python有趣|中文文本情感分析
前言前文给大家说了python机器学习的路径,这光说不练假把式,这次,罗罗攀就带大家完成一个中文文本情感分析的机器学习项目,今天的流程如下: 数据情况和处理数据情况这里的数据为大众点评上的评论数 ...
tidytext | 耳目一新的R-style文本分析库
腾讯课堂 | Python网络爬虫与文本分析 tidytext是R语言的文本分析包,一般数据会整理为dataframe,每行都是由docid-word-freq组成.有一本R语言的文本挖掘书<T ...
python 股票分析库_GitHub - reference-project/stock-1: stock，股票系统。使用python进行开发。...
pythonstock V1 项目简介特别说明:股市有风险投资需谨慎,本项目只能用于Python代码学习,股票分析,投资失败亏钱不负责,不算BUG. PythonStock V1 是基于Python ...
python 股票分析库_GitHub - MrFiona/stock: stock，股票系统。使用python进行开发。
pythonstock V1 项目简介特别说明:股市有风险投资需谨慎,本项目只能用于Python代码学习,股票分析,投资失败亏钱不负责,不算BUG. PythonStock V1 是基于Python ...

python文本分析库_8种Python文本处理工具集

python文本分析库_8种Python文本处理工具集相关推荐

最新文章

热门文章