利用NLTK进行分句分词

2019独角兽企业重金招聘Python工程师标准>>>

.输入一个段落，分成句子（Punkt句子分割器）

import nltk
import nltk.data  def splitSentence(paragraph):  tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')  sentences = tokenizer.tokenize(paragraph)  return sentences  if __name__ == '__main__':  print splitSentence("My name is Tom. I am a boy. I like soccer!")

结果为['My name is Tom.', 'I am a boy.', 'I like soccer!']

2.输入一个句子，分成词组

from nltk.tokenize import WordPunctTokenizer    def wordtokenizer(sentence):  #分段  words = WordPunctTokenizer().tokenize(sentence)  return words  if __name__ == '__main__':  print wordtokenizer("My name is Tom.")

结果为['My', 'name', 'is', 'Tom', '.']

转载于:https://my.oschina.net/u/3346994/blog/911733

利用NLTK进行分句分词相关推荐

nltk中文分句_利用NLTK进行分句分词
1.输入一个段落,分成句子(Punkt句子分割器) import nltk import nltk.data def splitSentence(paragraph): tokenizer = nlt ...
利用NLTK做中英文分词
美图欣赏: 一.NLTK环境配置 1.安装nltk包(如果开始能装忽然爆红多装几次) pip install nltk 2.在python consol里面 //1.先导入包import nltk ...
nltk中文分句_learn_nltk/2. NLTK笔记-分句与分词.md at master · ourren/learn_nltk · GitHub...
NLTK笔记:分句与分词 NLTK在数据抓取完成后,你拿到的数据往往是一篇文章或者一大段文字,在进行其他处理之前,你需要先对文章进行切割或者处理(去除多余字符.特殊符号,分句和分词),分句主要是可以把 ...
使用NLTK进行英文分词
使用NLTK进行英文分词 import nltk import re english='C:\\Users\\pc\\CapStone\\english.txt' with open(english, ...
【python】文本处理：利用NLTK断句
[python]文本处理:利用NLTK断句 [Code] import nltk.datadef stripTags(s):intag = [False]def chk(c):if intag[0]: ...
jieba nltk 进行中英文分词
Jieba.NLTK等中英文分词工具进行分词建议:中文分词使用 jieba(SnowNlp.THULAC.NLPIR.StanfordCoreNLP)进行分词,英文使用 NLTK进行分词:还有git ...
nltk中文分句_如何使用nltk进行中文分词？
匿名用户 1级 2016-04-18 回答中文里没有分词的说法,只有英文.法语.德语等有分词的说法. 分词是动词的三种非限定形式之一,分为两种:现在分词和过去分词.现在分词一般有四种形式,基本形式为 ...
Jieba、NLTK等中英文分词工具进行分词
实验目的: 利用给定的中英文文本序列(见 Chinese.txt 和 English.txt),分别利用以下给定的中英文分词工具进行分词并对不同分词工具产生的结果进行简要对比分析. 实验工具: 中文 ...
【python 走进NLP】利用jieba技术中文分词并写入txt
简单介绍: 近年来,随着NLP自然语言处理技术的日益成熟,开源实现的分词工具也越来越多,比如NLTK:其在英文分词较为成熟,分词效果较好,在处理中文分词方面则显得力不足:在处理中文分词时,Jieba这 ...

利用NLTK进行分句分词

利用NLTK进行分句分词相关推荐

最新文章

热门文章