02_d2-分类算法概述

知识架构

### 1.数据集

• 机器学习一般的数据集会划分为两个部分：
  • 训练数据：用于训练，构建模型
  • 测试数据：在模型检验时使用，用于评估模型是否有效
• API: sklearn.model_selection.train_test_split
• scikit-learn数据集API介绍
• sklearn.datasets
  • 加载获取流行数据集
  • datasets.load_*()
    • 获取小规模数据集，数据包含在datasets里
  • datasets.fetch_*(data_home=None)
    • 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/
• 获取数据集返回的类型

  • load和fetch返回的数据类型 datasets.base.Bunch(字典格式)

    • data：特征数据数组，是[n_samples * n_features] 的二维 numpy.ndarray 数组

    • target：标签数组，是n_samples 的一维 numpy.ndarray 数组

    • DESCR：数据描述

    • feature_names：特征名,新闻数据，手写数字、回归数据集没有

    • target_names：标签名

• sklearn分类数据集
  • sklearn.datasets.load_iris()
    • 加载并返回鸢尾花数据集


• sklearn.datasets.load_digits()
  • 加载并返回数字数据集


• 数据集进行分割

  • sklearn.model_selection.train_test_split(*arrays, **options)

    • x         数据集的特征值
    • y       数据集的标签值
    • test_size      测试集的大小，一般为float 一般是8:2 或者 7:3
    • random_state        随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
    • return 训练集特征值，测试集特征值，训练标签，测试标签(默认随机取)
• 用于分类的大数据集

  • sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)

    • subset: ‘train’或者’test’,‘all’，可选，选择要加载的数据集.训练集的“训练”，测试集的“测
      试”，两者的“全部”

  • datasets.clear_data_home(data_home=None)

    • 清除目录下的数据
• sklearn回归数据集
  • sklearn.datasets.load_boston()
    • 加载并返回波士顿房价数据集


• sklearn.datasets.load_diabetes()
  • 加载和返回糖尿病数据集


2.scikit-learn预估器流程

想一下之前做的特征工程的步骤？
1、实例化 (实例化的是一个转换器类(Transformer))
2、调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)


1. sklearn机器学习算法的实现-估计器

• 在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API
• 1、用于分类的估计器：
  • **sklearn.neighbors  **k-近邻算法
  • **sklearn.naive_bayes      **贝叶斯
  • **sklearn.linear_model.LogisticRegression     **逻辑回归
  • **sklearn.tree                  **决策树与随机森林
• 2、用于回归的估计器：
  • **sklearn.linear_model.LinearRegression     **线性回归
  • sklearn.linear_model.Ridge      岭回归

2. 估计器的工作流程


3. 分类算法的判定依据？

根据输出的值是否是离散型的

3.k-近邻算法

• 定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
• 来源：KNN算法最早是由Cover和Hart提出的一种分类算法

1. 计算距离公式

1. 两个样本的距离可以通过如下公式计算，又叫欧式距离 比如说，a(a1,a2,a3),b(b1,b2,b3)
2. 

2. sklearn k-近邻算法API

• sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
  • n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数3.
  • algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。(不同实现方式影响效率)

3. 实例流程

• 数据集的处理
• 分割数据集
• 对数据集进行标准化
• estimator流程进行分类预测

4. 问题：

• 1.k值取多大？有什么影响？
  • k值取很小：容易受噪声影响
  • k值取很大：容易受数量的影响
  • k值有可能导致无法得到结果
• 2、性能问题？

5. k-近邻算法优缺点

• 优点：
  • 简单，易于理解，易于实现，无需估计参数，无需训练
• 缺点：
  • 懒惰算法，对测试样本分类时的计算量大，内存开销大
  • 必须指定K值，K值选择不当则分类精度不能保证
• 使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

6. k-近邻算法实现

• 加快搜索速度——基于算法的改进KDTree,API接口里面有实现

1. k近邻算法作业

4.分类性指标

分类模型的评估

• estimator.score()
  • 一般最常见使用的是准确率，即预测结果正确的百分比

1. 混淆矩阵

• 在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
  

2. 精确率(Precision)与召回率(Recall)

• 精确率:预测结果为正例样本中真实为正例的比例（查得准）

• 召回率:真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
  假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个正样本，其中只有40个是真正的正样本，计算上述各指标

• TP: 将正类预测为正类数 40

FN: 将正类预测为负类数 20
FP: 将负类预测为正类数 10
TN: 将负类预测为负类数 30

• 准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%精确率(precision) = TP/(TP+FP) = 80%召回率(recall) = TP/(TP+FN) = 2/3

	预测为猫	预测不是猫
真实为猫	真正例TP	伪反例FN
真实不为猫	伪正例FP	真反例TN

3. 其他分类标准，F1-score，反映了模型的稳健型


为什么会有这么多指标呢？**        这是因为模式分类和机器学习的需要。判断一个分类器对所用样本的分类能力或者在不同的应用场合时，
需要有不同的指标。 当总共有个100 个样本（P+N=100）时，假如只有一个正例（P=1），
那么只考虑精确度的话，不需要进行任何模型的训练，直接将所有测试样本判为正例，
那么A 能达到99%，非常高了，但这并没有反映出模型真正的能力。另外在统计信号分析中，
对不同类的判断结果的错误的惩罚是不一样的。举例而言，雷达收到100个来袭 导弹的信号，
其中只有3个是真正的导弹信号，其余97 个是敌方模拟的导弹信号。假如系统判断98 个
（97个模拟信号加一个真正的导弹信号）信号都是模拟信号，那么Accuracy=98%，
很高了，剩下两个是导弹信号，被截掉，这时Recall=2/3=66.67%，
Precision=2/2=100%，Precision也很高。但剩下的那颗导弹就会造成灾害。

因此在统计信号分析中，有另外两个指标来衡量分类器错误判断的后果：**漏警概率（Missing Alarm）MA = FN/(TP + FN) = 1 – TP/T = 1 - R；  反映有多少个正例被漏判了

（我们这里就是真正的导弹信号被判断为模拟信号，可见MA此时为33.33%，太高了）

虚警概率（False Alarm）FA = FP / (TP + FP) = 1 – P；反映被判为正例样本中，有多少个是负例。

统计信号分析中，希望上述的两个错误概率尽量小。而对分类器的总的惩罚旧
是上面两种错误分别加上惩罚因子的和：COST = CmaMA + Cfa FA。
不同的场合、需要下，对不同的错误的惩罚也不一样的。像这里，我们自然希望对漏警的惩罚大，
因此它的惩罚因子Cma要大些。

4. 分类模型评估API

• sklearn.metrics.classification_report

• sklearn.metrics.classification_report(y_true, y_pred, target_names=None)

  • y_true：真实目标值

  • y_pred：估计器预测目标值

  • target_names：目标类别名称

  • return：每个类别精确率与召回率

5. 模型的选择与调优

1. 交叉验证

2. 网格搜索

5.朴素贝叶斯算法

1、概率基础
2、朴素贝叶斯介绍

1. 概率基础

• 定义：概率定义为一件事情发生的可能性
  • 扔出一个硬币，结果头像朝上
  • 某天是晴天
• 联合概率：包含多个条件，且所有条件同时成立的概率
  - 记作：P(A,B)
  - P(A, B) = P(A)P(B)
• 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
  • 记作：P(A|B)
  • 特性：P(A1,A2|B) = P(A1|B)*P(A2|B)
  • 注意：此条件概率的成立，是由于A1,A2相互独立的结果

2.朴素贝叶斯-贝叶斯公式


• 注：w为给定文档的特征值(频数统计,预测文档提供)，c为文档类别
• 公式可以理解为：


• 其中c可以是不同类别

公式分为三个部分：

• P©：每个文档类别的概率(某文档类别数／总文档数量)
• P(W│C)：给定类别下特征（被预测文档中出现的词）的概率
  • 计算方法：P(F1│C)=Ni/N  （训练文档中去计算）
  • Ni为该F1词在C类别所有文档中出现的次数
  • N为所属类别C下的文档所有词出现的次数和
• P(F1,F2,…)     预测文档中每个词的概率

3. 拉普拉斯平滑

• 问题：从上面的例子我们得到娱乐概率为0，这是不合理的，如果词频列表里面有很多出现次数都为0，很可能计算结果都为零
• 解决方法：拉普拉斯平滑系数
  • P(F1│C)=(Ni+α)/(N+αm)
  • α为指定的系数一般为1，m为训练文档中统计出的特征词个数

4. sklearn朴素贝叶斯实现API

• sklearn.naive_bayes.MultinomialNB
  • sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
    • 朴素贝叶斯分类
    • alpha：拉普拉斯平滑系数

5. 朴素贝叶斯算法案例

6.朴素贝叶斯分类优缺点

• 优点：
  • 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  • 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  • 分类准确度高，速度快
• 缺点：
  • 由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好

6.交叉验证与网格搜索

1. 交叉验证

• 交叉验证：为了让被评估的模型更加准确可信
• 交叉验证过程:

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。

2. 超参数搜索-网格搜索

• 通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
  | K值 | K=3 | K=5 | K=7 |
  | — | — | — | — |
  | 模型 | 模型1 | 模型2 | 模型3 |

• 超参数搜索-网格搜索API

  • sklearn.model_selection.GridSearchCV
  • sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)

    • 对估计器的指定参数值进行详尽搜索

    • estimator：估计器对象

    • param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}

    • cv：指定几折交叉验证

    • fit：输入训练数据

    • score：准确率

    • 结果分析：

    • best_score_:在交叉验证中验证的最好结果

    • best_estimator_：最好的参数模型

    • cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

• K-近邻网格搜索案例

  • 将前面的k-近邻算法案例改成网格搜索

7.决策树

1. 决策树

• 认识决策树
• 信息论基础-银行贷款分析
• 决策树的生成
• 泰坦尼克号乘客生存分类

• 认识决策树
  1. 决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法


• 决策树的实际划分
  
• 信息的度量和作用


2. 信息熵

• “谁是世界杯冠军”的信息量应该比5比特。香农指出，它的准确信息量应该是：

  • H = -(p1logp1 + p2logp2 + … + p32log32)
  • -1/32 * log1/32  + 1/32 * log1/32 +… = 5比特
  • 已知德国夺冠军的概率是 1/5 à 信息熵 3个比特,
  • 已经德国夺冠的概率相对应的信息增益 2个比特

• H的专业术语称之为信息熵，单位为比特。

• 公式:

  • 

• 当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

信息和消除不确定性是相联系的

3. 信息增益

• 决策树的划分依据之一-信息增益

• 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
                          

• 注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

• 信息增益的计算：

  • 结合前面的贷款数据来看我们的公式：
  • 信息熵的计算：
                            
  • 条件熵的计算：
    
    • 注：Ck 表示属于某个类别的样本数


• 常见决策树使用的算法:
  • ID3
    • 信息增益 最大的准则
  • C4.5
    • 信息增益比 最大的准则
  • CART
  • 回归树: 平方误差 最小
  • 分类树: 基尼系数  最小的准则 在sklearn中可以选择划分的原则


https://www.cnblogs.com/pinard/p/6053344.html

4. sklearn决策树API

• _class _sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

  • 决策树分类器

  • criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’

  • max_depth:树的深度大小

  • random_state:随机数种子

  • method:

  • decision_path:返回决策树的路径

案例：
泰坦尼克号数据
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息，但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
其中age数据存在缺失。

数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

5. 泰坦尼克号乘客生存分类模型

1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取
x_train.to_dict(orient=“records”)
4、决策树估计器流程

6. 决策树的结构、本地保存

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式
  • tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
• 工具:(能够将dot文件转换为pdf、png)

安装graphviz
ubuntu:sudo apt-get install graphviz                    Mac:brewinstall graphviz

• 运行命令

然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png

7. 决策树的优缺点以及改进

• 优点：
  • 简单的理解和解释，树木可视化。
  • 需要很少的数据准备，其他技术通常需要数据归一化
• 缺点：
  • 决策树学习者可以创建不能很好地推广数据的过于复杂的树， 这被称为过拟合。
• 改进：
  • 减枝cart算法
  • 随机森林

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多。

8. 随机森林

• 集成学习方法-随机森林

1、什么是随机森林
2、随机森林的过程、优势
4、泰坦尼克号乘客生存分类分析

1. 集成学习方法

• 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

2. 什么是随机森林:

• 定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
• 学习算法

  • 根据下列算法而建造每棵树：

  • 用N来表示训练用例（样本）的个数，M表示特征数目。

  • 一次随机选出一个样本，重复N次， （有可能出现重复的样本）

  • 随机去选出m个特征, m <<M，建立决策树

  • 采取bootstrap抽样

• 为什么要随机抽样训练集？
  • 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
• 为什么要有放回地抽样？
  • 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

3. 集成学习API

• class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)
  • 随机森林分类器
  • n_estimators：integer，optional（default = 10） 森林里的树木数量
  • criteria：string，可选（default =“gini”）分割特征的测量方法
  • max_depth：integer或None，可选（默认=无）树的最大深度
  • bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

4. 随机森林的优点

• 在当前所有算法中，具有极好的准确率
• 能够有效地运行在大数据集上
• 能够处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性

02_d2-分类算法概述相关推荐

1. [Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）

   欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...

2. python分类算法的应用_07-机器学习_（lineage回归分类算法与应用） ---没用

   机器学习算法day04_Logistic回归分类算法及应用 课程大纲 Logistic回归分类算法原理 Logistic回归分类算法概述 Logistic回归分类算法思想 Logistic回归分类算法 ...

3. 数据挖掘学习——决策树分类算法理论（包含Iris实战）

   目录 1.决策树分类算法概述及相关公式 (1)基本思路 (2)熵公式 (3)基尼(Gini)系数公式 2.ID3算法 3.C4.5算法 4.CART算法 5.各类决策树分类算法比较 6.过拟合与决策树 ...

4. KNN 分类算法原理代码解析

   作者 | Charmve 来源 | 迈微AI研习社 k-最近邻算法是基于实例的学习方法中最基本的,先介绍基x`于实例学习的相关概念. 基于实例的学习 已知一系列的训练样例,很多学习方法为目标函数建立起 ...

5. 推荐系统产品与算法概述 | 深度

   作者丨gongyouliu 转载自大数据与人工智能(ID:gh_b8b5b02c348b) 作者在<推荐系统的工程实现>(点击蓝字可回顾)这篇文章的第五部分"推荐系统范式&quo ...

6. caliop 数据可视化_星载激光雷达CALIOP数据处理算法概述

   收稿日期 : 2017-08-05 : 修订日期 : 2017-11-27 基金项目 : (2016YFC0200700 , 2016YFC1400902 , 2016YFC400905) : (41 ...

7. logistic逻辑回归分类算法及应用

   3.1 概述 Lineage逻辑回归是一种简单而又效果不错的分类算法. 什么是回归:比如说我们有两类数据,各有50个点组成,当我们把这些点画出来,会有一条线区分这两组数据,我们拟合出这个曲线(因为很有 ...

8. java算法概述,Java数据结构与算法基础（一）概述与线性结构

   Java数据结构与算法基础(二)递归算法 Java数据结构与算法基础(一)概述与线性结构 学习目的:为了能更顺畅的读很多底层API代码和拓宽解决问题的思路 一.数据结构概述 1.数据结构是什么?数据与 ...

9. [转载] python机器学习第三章：使用scikit-learn实现机器学习分类算法

   参考链接: 使用Scikit-Learn在Python中进行embedding/投票分类 训练机器学习算法所涉及的五个主要步骤可以概述如下: 1.特征的选择 2.确定性能评价标准 3.选择分类器及其优 ...

10. 机器学习监督学习之分类算法---朴素贝叶斯理论知识

    感谢Jack-Cui大佬的知识分享 机器学习专栏点击这里 目录 感谢Jack-Cui大佬的知识分享 0. 概述 1. 朴素贝叶斯理论 1.1 贝叶斯理论 1.1.1 相关计算公式:条件概率公式,贝叶斯 ...

最新文章

1. 科技部公布2017年独角兽名单，来看看有哪些人工智能企业？
2. Docker(九)：Docker实战 安装 Ubuntu
3. SQL Server 2008空间数据应用系列六：基于SQLCRL的空间数据可编程性
4. 【 MATLAB 】信号处理工具箱之波形产生函数 pulstran
5. php5.6.33安装教程,centos7手动安装PHP5.6.33详解
6. 42:换汽水瓶ExchangeBottle
7. 使用kubectl port-forward暴露minikube k8s service端口
8. 扩展 HashMap
9. 关于Element UI中页面样式小问题
10. EfficientDet论文阅读解析【精】公式纯手打
11. linux 创建目录和删除目录
12. Python学习笔记--Python字符串连接方法总结
13. Server的Transfer和Response的Redirect
14. Oracle补习班第五天
15. 数据治理之数据发现-元数据-DataHub
16. Mblock使用时钟中断显示4段数码管的值
17. 腾讯云服务器搭建小皮面板phpstudy教程
18. dell商务计算机主机闪烁黄灯,戴尔电脑开不了机 已经几天了 主机灯橙色 闪闪的...
19. C——识别键盘按下模拟键盘按下
20. 举例解释大数定律、中心极限定理及其在机器学习中的应用

热门文章

1. ASEMI整流模块MSCD165-16更换流程和注意事项
2. Handle机制总结
3. 计算机中单位ms什么意思,电荷的灵敏度单位（pc/ms^2）是什么意思啊?
4. 自定义View---widthMeasureSpec和heightMeasureSpec是从哪来？
5. C#中【pdb】文件
6. c语言变量名、变量和地址的关系
7. 10亿美金的惊天收购！苹果拿下了英特尔手机调制解调器业务
8. 3.文字属性 font
9. 使用ESX主机环境搭建Oracle RAC
10. 【SA8295P 源码分析】36 - MDIO Clause 22、Clause 45 条款介绍