一、转换器与估计器

二、分类算法

K-近邻算法

案例代码：

模型选择与调优

案例代码：

朴素贝叶斯算法：

朴素贝叶斯算法总结

案例代码：

决策树总结：

案例代码：

使用随机森林来实现：

随机森林总结

总结

本次案例的代码集：

一、转换器与估计器

二、分类算法

K-近邻算法

KNN算法总结：

优点：

简单、易于理解、易于实现、无需训练

缺点：

1）必须指定K值，K值选定不当则分类精度不能保证。

2）懒惰算法，对测试样本分类时的计算量大，内存开销大

使用场景：

小数据场景，几千~几万条样本，具体使用看业务场景。

案例代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifierdef knn_iris():"""用KNN算法对iris数据进行分类:return:"""# 1)获取数据iris = load_iris()# 2）划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)# 3） 特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4） KNN算法预估器estimator = KNeighborsClassifier(n_neighbors=3)estimator.fit(x_train, y_train)# 5） 模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)return Noneif __name__ == '__main__':# 代码1：用KNN算法对iris数据进行分类knn_iris()

模型选择与调优

案例代码

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCVdef knn_iris_gscv():"""用KNN算法对iris数据进行分类,添加网格搜索和交叉验证:return:"""# 1)获取数据iris = load_iris()# 2）划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)# 3） 特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4） KNN算法预估器estimator = KNeighborsClassifier()# 加入网格搜索和交叉验证# 参数准备param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]}estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)estimator.fit(x_train, y_train)# 5） 模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)# 最佳参数结果：best_param_print("最佳参数：\n", estimator.best_params_)# 最佳结果：best_score_print("最佳结果：\n", estimator.best_score_)# 最佳估计器：best_estimator_print("最佳估计器：\n", estimator.best_estimator_)# 交叉验证结果： cv_results_print("交叉验证结果：\n", estimator.cv_results_)return Noneif __name__ == '__main__':# 代码2： 用KNN算法对iris数据进行分类,添加网格搜索和交叉验证knn_iris_gscv()

facebook数据挖掘案例：

案例代码：

import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScalerdef predict_data():"""数据预处理:return:"""# 1）读取数据data = pd.read_csv("./train.csv")# 2）基本数据处理# 缩小范围data = data.query("x<2.5 & x>2 & y<1.5 & y>1.0")# 处理时间特征time_value = pd.to_datatime(data["time"], unit="s")date = pd.DatetimeIndex(time_value)data.loc[:, "day"] = date.daydata.loc[:, "weekday"] = date.weekdaydata["hour"] = data.hour# 3)过滤签到次数少的地点data.groupby("place_id").count()place_count = data.groupby("place_id").count()["row_id"]data_final = data[data['place_id'].isin(place_count[place_count > 3].index.vlaues)]# 筛选特征值和目标值x = data_final[["x", "y", "accuracy", "day", "weekday", "hour"]]y = data_final["place_id"]# 数据集划分# 机器学习x_train, x_test, y_train, y_test = train_test_split(x, y)# 3） 特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4） KNN算法预估器estimator = KNeighborsClassifier()# 加入网格搜索和交叉验证# 参数准备param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]}estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)estimator.fit(x_train, y_train)# 5） 模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)# 最佳参数结果：best_param_print("最佳参数：\n", estimator.best_params_)# 最佳结果：best_score_print("最佳结果：\n", estimator.best_score_)# 最佳估计器：best_estimator_print("最佳估计器：\n", estimator.best_estimator_)# 交叉验证结果： cv_results_print("交叉验证结果：\n", estimator.cv_results_)return Noneif __name__ == '__main__':predict_data()

朴素贝叶斯算法：

案例代码

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNBdef nb_news():"""用朴素贝叶斯算法对新闻进行分类:return:"""# 1）获取数据news = fetch_20newsgroups(subset="all")# 2)划分数据集x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)# 3)特征工程文本特征抽取-tfidftransfer = TfidfVectorizer()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4)朴素贝叶斯算法预估器流程estimator = MultinomialNB()estimator.fit(x_train, y_train)# 5)模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值：\n", y_test == y_predict)# 方法2：计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)return Noneif __name__ == '__main__':# 代码3：用朴素贝叶斯算法对新闻进行分类nb_news()

朴素贝叶斯算法总结

优点：

对缺失数据不太敏感，算法比较简单，常用于文本分类。

分类准确度高，速度快。

缺点：

由于使用样本独立的假设，所以如果特征之间关联，预测效果不明显。

决策树

案例代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.tree import DecisionTreeClassifier, export_graphvizdef decision_iris():"""用决策树对iris数据进行分类:return:"""# 1）获取数据集iris = load_iris()# 2)划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)# 3)决策树预估器estimator = DecisionTreeClassifier(criterion="entropy")estimator.fit(x_train, y_train)# 4)模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值：\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)# 可视化决策树export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)return Noneif __name__ == '__main__':# 代码4：用决策树对iris数据进行分类decision_iris()

决策树支持可视化：

.dot文件转换为可视化图像的网页：Graphviz Online

决策树总结：

优点：

可视化——解释性强

缺点：

容易产生过拟合，这时候使用随机森林效果会好些

决策树的实验项目——titanic数据的案例

案例代码：

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphvizdef decision_titanic():# 1、获取数据titanic = pd.read_csv("./titanic.csv")print(titanic)# 筛选特征值和目标值x = titanic[["pclass", "age", "sex"]]y = titanic["survived"]# 2、数据处理# 1）缺失值处理x['age'].fillna(x["age"].mean(), inplace=True)# 2)转换成字典x = x.to_dict(orient="records")# 3、数据集划分x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)transfer = DictVectorizer()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 3)决策树预估器estimator = DecisionTreeClassifier(criterion="entropy", max_depth=8)estimator.fit(x_train, y_train)# 4）模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2：计算准确率score = estimator.score(x_test, y_test)print("准确率为:\n", score)# 可视化决策树export_graphviz(estimator, out_file="titanic_tree.dot", feature_names=transfer.get_feature_names())if __name__ == '__main__':decision_titanic()

使用随机森林来实现：

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCVdef decision_titanic():# 1、获取数据titanic = pd.read_csv("./titanic.csv")print(titanic)# 筛选特征值和目标值x = titanic[["pclass", "age", "sex"]]y = titanic["survived"]# 2、数据处理# 1）缺失值处理x['age'].fillna(x["age"].mean(), inplace=True)# 2)转换成字典x = x.to_dict(orient="records")# 3、数据集划分x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)transfer = DictVectorizer()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 3)随机森林预估器estimator = RandomForestClassifier()# 加入网格搜索与交叉验证# 参数准备param_dict = {"n_estimators": [120, 200, 300, 500, 800, 1200],"max_depth": [5, 8, 15, 25, 30]}estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)estimator.fit(x_train, y_train)# 4）模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2：计算准确率score = estimator.score(x_test, y_test)print("准确率为:\n", score)# 可视化决策树export_graphviz(estimator, out_file="titanic_tree.dot", feature_names=transfer.get_feature_names())if __name__ == '__main__':decision_titanic()

随机森林总结

优点：

能够有效的运行在大数据集上

处理具有高维特征的输入样本，而且不需要降维。

总结

本次案例的代码集：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.tree import DecisionTreeClassifier, export_graphvizdef knn_iris():"""用KNN算法对iris数据进行分类:return:"""# 1)获取数据iris = load_iris()# 2）划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)# 3） 特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4） KNN算法预估器estimator = KNeighborsClassifier(n_neighbors=3)estimator.fit(x_train, y_train)# 5） 模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)return Nonedef knn_iris_gscv():"""用KNN算法对iris数据进行分类,添加网格搜索和交叉验证:return:"""# 1)获取数据iris = load_iris()# 2）划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)# 3） 特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4） KNN算法预估器estimator = KNeighborsClassifier()# 加入网格搜索和交叉验证# 参数准备param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]}estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)estimator.fit(x_train, y_train)# 5） 模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)# 最佳参数结果：best_param_print("最佳参数：\n", estimator.best_params_)# 最佳结果：best_score_print("最佳结果：\n", estimator.best_score_)# 最佳估计器：best_estimator_print("最佳估计器：\n", estimator.best_estimator_)# 交叉验证结果： cv_results_print("交叉验证结果：\n", estimator.cv_results_)return Nonedef nb_news():"""用朴素贝叶斯算法对新闻进行分类:return:"""# 1）获取数据news = fetch_20newsgroups(subset="all")# 2)划分数据集x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)# 3)特征工程文本特征抽取-tfidftransfer = TfidfVectorizer()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4)朴素贝叶斯算法预估器流程estimator = MultinomialNB()estimator.fit(x_train, y_train)# 5)模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值：\n", y_test == y_predict)# 方法2：计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)return Nonedef decision_iris():"""用决策树对iris数据进行分类:return:"""# 1）获取数据集iris = load_iris()# 2)划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)# 3)决策树预估器estimator = DecisionTreeClassifier(criterion="entropy")estimator.fit(x_train, y_train)# 4)模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值：\n", y_test == y_predict)# 方法2： 计算准确率score = estimator.score(x_test, y_test)print("准确率为：\n", score)# 可视化决策树export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)return Noneif __name__ == '__main__':# 代码1：用KNN算法对iris数据进行分类# knn_iris()# 代码2： 用KNN算法对iris数据进行分类,添加网格搜索和交叉验证# knn_iris_gscv()# 代码3：用朴素贝叶斯算法对新闻进行分类# nb_news()# 代码4：用决策树对iris数据进行分类decision_iris()

机器学习Sklearn总结2——分类算法相关推荐

python分类算法的应用_Python基于sklearn库的分类算法简单应用示例
Python基于sklearn库的分类算法简单应用示例来源:中文源码网浏览: 次日期:2018年9月2日 [下载文档: Python基于sklearn库的分类算法简单应用示例.tx ...
sklearn实现KNN分类算法
sklearn实现KNN分类算法 Pyhthon Sklearn 机器学习库提供了 neighbors 模块,该模块下提供了 KNN 算法的常用方法,如下所示: 类方法说明 KNeighborsCl ...
R语言与机器学习学习笔记（分类算法）
转载自:http://www.itongji.cn/article/0P534092014.html 人工神经网络(ANN),简称神经网络,是一种模仿生物神经网络的结构和功能的数学模型或计算模型.神经 ...
《菜菜的机器学习sklearn课堂》聚类算法Kmeans
聚类算法聚类算法无监督学习与聚类算法 sklearn中的聚类算法 KMeans KMeans是如何工作的簇内误差平方和的定义和解惑 sklearn.cluster.KMeans 重要参数 n_c ...
《菜菜的机器学习sklearn课堂》降维算法PCA和SVD
降维算法PCA和SVD 什么是维度? sklearn中的降维算法 PCA 与 SVD 降维究竟是怎样实现的? PCA重要参数 n_components 迷你案例:高维数据的可视化附录 PCA参数列表 ...
【机器学习原理】决策树分类算法
上一篇:朴素贝叶斯分类算法文章目录一.决策树分类 1. if - else 2. 如何种植一棵有灵魂的"树" 3. 决策条件的选择艺术节点纯度的度量规则纯度的度量方法 4. ...
python使用欧氏距离knn_python运用sklearn实现KNN分类算法
KNN(K-Nearest-Neighbours Classiflication)分类算法,供大家参考,具体内容如下最简单的分类算法,易于理解和实现实现步骤:通过选取与该点距离最近的k个样本,在这 ...
机器学习（18）——分类算法（补充）
目录 1 sklearn转换器和估计器 1.1 转换器 1.2 估计器 2 K-近邻算法(KNN) 2.1 案例1--鸢尾花种类预测 3 模型选择与调优 3.1 什么是交叉验证(cross valid ...
机器学习中常用的分类算法总结
分类算法分类算法和回归算法是对真实世界不同建模的方法.分类模型是认为模型的输出是离散的,例如大自然的生物被划分为不同的种类,是离散的.回归模型的输出是连续的,例如人的身高变化过程是一个连续过程, ...

机器学习Sklearn总结2——分类算法

一、转换器与估计器

二、分类算法

K-近邻算法

案例代码：

模型选择与调优

案例代码：

朴素贝叶斯算法：

朴素贝叶斯算法总结

案例代码：

决策树总结：

案例代码：

使用随机森林来实现：

随机森林总结

总结

本次案例的代码集：

机器学习Sklearn总结2——分类算法相关推荐

最新文章

热门文章