使用Logistic Regression进行文本分类

1.文本格式

sentence,label
游戏太坑，暴率太低，太克金，平民不能玩,negative
让人失望,negative
能解决一下服务器问题？网络正常老掉线，换手机也一样。。。,negative
期待,positive
一星也不想给，这特么简直龟速，炫舞老年版？,negative
衣服不好看游戏内容无特色，界面乱糟糟的,negative
喜欢喜欢,positive
从有了这个手游就一直玩，很喜欢呀，希望更多漂漂衣服,positive
因违反评价条例规定被折叠,negative

2.数据预处理过程

import jieba
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn import metricsdef get_stop_words():filename = "your stop words file path"stop_word_list = []with open(filename, encoding='utf-8') as f:for line in f.readlines():stop_word_list.append(line.strip())return stop_word_listdef processing_sentence(x, stop_words):cut_word = jieba.cut(str(x).strip())words = [word for word in cut_word if word not in stop_words and word != ' ']return ' '.join(words)def data_processing():train_file = “your train file path"df = pd.read_csv(train_file)x_train, x_test, y_train, y_test = train_test_split(df['sentence'], df['label'], test_size=0.1)stop_words = get_stop_words()x_train = x_train.apply(lambda x: processing_sentence(x, stop_words))x_test = x_test.apply(lambda x: processing_sentence(x, stop_words))tf = TfidfVectorizer()x_train = tf.fit_transform(x_train)x_test = tf.transform(x_test)x_train_weight = x_train.toarray()x_test_weight = x_test.toarray()return x_train_weight, x_test_weight, y_train, y_test

整体还是将文本分词，然后将其转化为tf-idf特征。

3.构建LR模型

def model_train():x_train_weight, x_test_weight, y_train, y_test = data_processing()lr = LogisticRegression(C=1.0, penalty='l2', tol=0.01)lr.fit(x_train_weight, y_train)train_score = lr.score(x_train_weight, y_train)print("训练集准确率: ", train_score)y_predict = lr.predict(x_test_weight)confusion_mat = metrics.confusion_matrix(y_test, y_predict)print('测试集准确率：', metrics.accuracy_score(y_test, y_predict))print("confusion_matrix is: ", confusion_mat)print('分类报告:', metrics.classification_report(y_test, y_predict))

最后代码输出的训练过程与结果为

训练集准确率:  0.8926945588554086
测试集准确率： 0.746588693957115
confusion_matrix is:  [[177  64][ 66 206]]
分类报告:               precision    recall  f1-score   supportnegative       0.73      0.73      0.73       241positive       0.76      0.76      0.76       272accuracy                           0.75       513macro avg       0.75      0.75      0.75       513
weighted avg       0.75      0.75      0.75       513

使用Logistic Regression进行文本分类相关推荐

机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)
之前我们已经大概学习了用线性回归(Linear Regression)来解决一些预测问题,详见: 1.<机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradien ...
NLP-Beginner：自然语言处理入门练习----task 1基于机器学习的文本分类
任务一:基于机器学习的文本分类任务传送门项目是在github上的,数据集需要在kaggle上下载,稍微有些麻烦. wang盘:http://链接:https://pan.baidu.com/s/1 ...
NLP-Task1:基于机器学习的文本分类
NLP-Task1:基于机器学习的文本分类实现基于logistic/softmax regression的文本分类数据集:Classify the sentiment of sentences f ...
自然语言处理入门实战1：基于机器学习的文本分类
基于机器学习的文本分类配置文件数据集数据预处理 model 模型主函数预测结果参考代码本文参考复旦大学自然语言处理入门练习,主要是实现用tensorflow实现基于logistic/s ...
线性模型（3）：Logistic Regression
此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法> (一)Logistic Regression 原理对于分类问题,假设我们想得到的结果不是(x属于某一类)这种形式 ...
机器学习算法与Python实践之逻辑回归（Logistic Regression）
转载自:http://blog.csdn.net/zouxy09/article/details/20319673 机器学习算法与Python实践这个系列主要是参考<机器学习实战>这本书. ...
Lecture6 逻辑斯蒂回归(Logistic Regression)
目录 1 常用数据集 1.1 MNIST数据集 1.2 CIFAR-10数据集 2 课堂内容 2.1 回归任务和分类任务的区别 2.2 为什么使用逻辑斯蒂回归 2.3 什么是逻辑斯蒂回归 2.4 Si ...
二项逻辑回归模型（logistic regression model）
Binary logistic regression model 是分类模型,由概率分布P(Y∣X)P(Y|X)P(Y∣X)计算,是参数化的Logistic分布先概述一下这个模型的条件概率分布 P( ...
ml-3-1-逻辑回归( Logistic Regression)
逻辑回归( Logistic Regression) Classification 在分类问题中,你要预测的变量 y 是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) ...

使用Logistic Regression进行文本分类

1.文本格式

2.数据预处理过程

3.构建LR模型

使用Logistic Regression进行文本分类相关推荐

最新文章

热门文章