TF-IDF

TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

其计算方法比较简单，这里就不赘述了。本文使用sklearn中的TfidfVectorizer进行处理。

from sklearn.feature_extraction.text import TfidfVectorizer as TFIV
tfv = TFIV(min_df=3,  max_features=None, strip_accents='unicode', analyzer='word',token_pattern=r'\w{1,}',ngram_range=(1, 2), use_idf=1,smooth_idf=1,sublinear_tf=1,stop_words = 'english')

这里可以设置的参数为n-gram，本文经过试验，当n为3或者4时表现良好。

数据清理和预处理的步骤与上一篇博文相似，再此不赘述。

将数据带入进行训练：

X_all = traindata + testdata # Combine both to fit the TFIDF vectorization.
lentrain = len(traindata)tfv.fit(X_all) # This is the slow part!
X_all = tfv.transform(X_all)X = X_all[:lentrain] # Separate back into training and test sets.
X_test = X_all[lentrain:]

机器学习

Logistic Regression

首先使用简单的逻辑回归看看向量化的结果如何，这里使用了GridSearchCV进行超参数选择：

grid_values = {'C':[30]} # Decide which settings you want for the grid search. model_LR = GridSearchCV(LR(penalty = 'L2', dual = True, random_state = 0), grid_values, scoring = 'roc_auc', cv = 20)
# Try to set the scoring on what the contest is asking for.
# The contest says scoring is for area under the ROC curve, so use this.model_LR.fit(X,y_train) # Fit the model.

使用model_LR.grid_scores_打印训练集上的结果，出乎意料的是，在训练集上的准确率达到了0.96459！

MultinomialNB

使用朴素贝叶斯进行训练：

from  sklearn.naive_bayessklearn.  import MultinomialNB as MNB
from sklearn.cross_validation import cross_val_score
import numpy as np
model_NB = MNB()
model_NB.fit(X, y_train)
print "20 Fold CV Score for Multinomial Naive Bayes: ", np.mean(cross_val_score                                                                (model_NB, X, y_train, cv=20, scoring='roc_auc'))# This will give us a 20-fold cross validation score that looks at ROC_AUC so we can compare with Logistic Regression.

使用20折交叉验证，在训练集上的准确率达到了0.94963。

SGD

使用SGD进行训练，该模型使用于大数据集，考虑到我们使用n=3 的TF-IDF模型时，向量维数已经达到了309798，因此此方法也许能更快的找到极值点：

from  sklearn.linear_modelsklearn.  import SGDClassifier as SGD
sgd_params = {'alpha': [0.00006, 0.00007, 0.00008, 0.0001, 0.0005]} # Regularization parametermodel_SGD = GridSearchCV(SGD(random_state = 0, shuffle = True, loss = 'modified_huber'), sgd_params, scoring = 'roc_auc', cv = 20) # Find out which regularization parameter works the best. model_SGD.fit(X, y_train) # Fit the model.

训练集上的准确率已经达到了0.96477！对于如此简单的分类算法，这已经相当不错了。说明使用TF-IDF模型能很好的模拟数据集，而更高大上的Doc2Vec或者Word2Vec则拟合较差。

基于IMDb数据集的情感分析(TF-IDF与机器学习实现)相关推荐

基于IMDB评论数据集的情感分析
文章目录前言一.大型电影评论数据集介绍二.环境配置三.实验模型及流程 1.实验模型 2.实验流程四.实验代码 1.多层感知器模型代码 2.递归神经网络模型代码 3.长短期记忆模型代码五.实 ...
基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...
IMDB影评的情感分析任务：双层bi-LSTM模型(双向LSTM)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) IMDB影评的情感分析任务学习目标了解影评情感分析任务和I ...
基于AdaBoost算法的情感分析研究
源码下载 http://www.byamd.xyz/hui-zong-1/ 基于AdaBoost算法的情感分析研究摘要随着互联网的快速发展,各类社交媒体平台如微信.QQ等也与日俱增,而微博更是集 ...
综述：基于深度学习的情感分析
近年来,深度学习有了突破性发展,NLP 领域里的情感分析任务逐渐引入了这种方法,并形成了很多业内最佳结果.本文中,来自领英与伊利诺伊大学芝加哥分校的研究人员对基于深度学习的情感分析研究进行了详细论述. ...
基于itchat的个人情感分析
基于itchat的个人情感分析昝道广概述前言思考性别分析好友签名情感分析地区分布爬虫技术分析代码解析(部分) 后记前言本文以迅雷不及掩耳盗铃儿响叮当机立断章取义无反顾,雄姿英发, ...
机器学习基于语义特征的情感分析
基于语义特征的情感分析先人已有研究,可以通过情感词典匹配来做,但是应用机器学习在这方面会使精确度更高些. 以本人参与的一个项目为主,总结下相关技术点. 背景是:分析用户评论感情色彩是积极还是消极,即是 ...
基于词典的细粒度情感分析
1 细粒度情感分析传统的情感分析大多是针对句子级的,即某条评论或某句话为积极或消极的概率.而往往一句话中包含着多个描述点,即方面级的述评,这时用一个模糊的概率或数字去评价整段文字或整句话势必是不准确 ...
python微博评论情感分析_基于Python的微博情感分析系统设计
2019 年第 6 期信息与电脑 China Computer & Communication 软件开发与应用基于 Python 的微博情感分析系统设计王欣周文龙 (武汉工程大学邮电 ...
python微博文本分析_基于Python的微博情感分析系统设计
基于 Python 的微博情感分析系统设计王欣 ; 周文龙 [期刊名称] < <信息与电脑> > [年 ( 卷 ), 期] 2019(000)006 [摘要] 微博是当今公众 ...

基于IMDb数据集的情感分析(TF-IDF与机器学习实现)

TF-IDF

机器学习

Logistic Regression

MultinomialNB

SGD

基于IMDb数据集的情感分析(TF-IDF与机器学习实现)相关推荐

最新文章

热门文章