sklearn CountVectorizer 单字

在使用python sklearn.feature_extraction.text的CountVectorizer时，发现会自动剔除掉单字的中文和只有一个字母的英文。

#CountVectorizer convert a collection of text documents to a matrix of token counts
from sklearn.feature_extraction.text import CountVectorizer
vectorizer=CountVectorizer()
cor_test=["贵 磨脚 这么 磨脚 磨","20 元 运费","鞋面 皱 很 皱"]
vv=vectorizer.fit_transform(cor_test)
print(vv.shape)
(3, 5)
#获取所有词
words=vv.get_feature_names()
print(words)
['20', '磨脚', '运费', '这么', '鞋面'] #单字“贵”，“磨”，“元”，“皱”，“很”没有被计算出现次数corpus=['This is a document.', 'This is the a second document.', 'And the third one.', 'Is this the first document?']
v=vectorizer.fit_transform(corpus)
v.get_feature_names()
['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this'] #单字母的“a”没有被计算出现次数

单字被自动剔除的原因：

token_pattern : string

Regular expression denoting what constitutes a “token”, only used if analyzer == 'word'. The default regexp select tokens of 2 or more alphanumeric characters (punctuation is completely ignored and always treated as a token separator).

CountVectorizer的参数token_pattern保留2个或2个以上字母数字字符的词。

那应该怎样定义token_pattern对应的正则表达式来保留单字呢？

对英文来说，可以设置vectorizer=CountVectorizer(token_pattern='\w{1,}')

对中文来说，可以设置vectorizer=CountVectorizer(token_pattern='[\u4e00-\u9fa5_a-zA-Z0-9]{1,}') 正则表达式匹配中文或数字或字母出现一次会更多次

但，还有一些情况的中文也会被自动剔除掉。

我在处理一份电商类的文本时，发现以下词出现在语料中，但是没有出现在CountVectorizer转换后的词中。

例如： 'CHN', 'XL', '88A', 'EMS', 'VIP', 'CD','大S', 'ID', 'T恤'等。

请教该怎么解决？非常感谢！

sklearn CountVectorizer 单字相关推荐

详解sklearn——CountVectorizer
One-hot 这里的One-hot与数据挖掘任务中的操作是一致的,即将每一个单词使用一个离散的向量表示.具体将每个字/词编码一个索引,然后根据索引进行赋值. One-hot表示方法的例子如下: 句子 ...
python中fit是什么意思_python – 在sklearn countvectorizer中fit_transform和transform之间有什么区别？...
我刚开始学习随机森林,所以如果这听起来很愚蠢我很抱歉使用vectorizer.fit_transform("清洁评论列表*上的*") 现在当我们在火车评论上准备一堆单词数组时,我 ...
sklearn——CountVectorizer详解
https://blog.csdn.net/liuerin/article/details/91492708
Python文本特征提取 DictVectorizer CountVectorizer TfidfVectorizer 附代码详解
文章目录 DictVectorizer 对使用字典储存的数据进行特征提取与向量化 CountVectorizer / TfidfVectorizer 处理无特殊数据结构存储的数据词袋模型(Bag o ...
【NLP自然语言处理】文本特征提取
目录 1.文本表示方法: 2.Count Vecotrs(Bag of Words词袋模型) 3.TF-IDF模型 3.1 jieba 下载结巴 : 使用结巴进行分词 3.2TF-IDF提取文本特征实 ...
数据挖掘#金融风控总结
作为本科某财经211出身的一只程序媛,大学期间的两份实习都是在金融科技公司做金融风控方向的数据分析与挖掘.一年多后的今天,借着知识梳理的机会,稍微总结回忆下接触到的金融风控知识. 第一份实习A是在大三 ...
亚马逊商城评论数据分析与可视化（KNN预测评分，绘制云图）
目录 1.项目源码 2.数据部分 2.1.数据说明 2.2.数据预处理 2.3.文本清理 3.文本特征提取 4.KNN分类器寻找相似产品 5.基于聚类的词关联 1.项目源码可在github下载: h ...
Rasa特征提取之CountVectorsFeaturizer
Rasa特征提取之CountVectorsFeaturizer rasa\nlu\featurizers\sparse_featurizer\count_vectors_featurizer.py t ...
自然语言处理特征提取
文章目录 1. 基本文本处理技能 1.1 分词 1.1.1 分词的正向最大匹配 1.1.2 分词的反向最大匹配 1.1.3 分词的双向最大匹配 1.2 字符和词频统计 2. 语言模型 2.1 语言模型 ...

sklearn CountVectorizer 单字

sklearn CountVectorizer 单字相关推荐

最新文章

热门文章