分类Classification：决策树Decision Tree

2024-06-30 08:10:50

目录

分类的定义

决策树Decision Tree

混乱衡量指标Gini index

决策树的特点

分类的定义

分类：建立一个学习函数(分类模型)将每个属性集合（x1,x2,...xn）对应到一组已定义的类别y中。

分类结果的评估的四大指标：

Precision精确度
Recall召回率
Accuracy准确度
Error rate错误率

分类矩阵/混淆矩阵confusion Matrix：

		实际
		地雷玩家	非地雷玩家
预估	地雷	a	b
预估	非地雷	c	d

$Precision=\frac{a}{a+b}$ 越高越好

$Recall=\frac{a}{a+c}$ 越高越好

$Accuracy=\frac{a+d}{a+b+c+d}$ 越高越好

$Error\, rate=\frac{b+c}{a+b+c+d}$ 越小越好

决策树Decision Tree

决策树是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。

混乱衡量指标Gini index

Gini index擅长处理True或False的二元分类树。其计算公式为：

$Gini(x)=1-\sum (P(Xi)^{2})$

其中：

Gini index的计算：

分类前数据：

分类属性1：偏好女主角

$Gini(left)=1-[(\frac{4}{7})^{2}+(\frac{3}{7})^{2}]=0.4898$

$Gini(right)=1-[(\frac{2}{5})^{2}+(\frac{3}{5})^{2}]=0.48$

$\Delta =0.5-(\frac{7}{12}*0.4898+\frac{5}{12}*0.48)=0.014$ 表示在该分类属性下的分类效果，Δ越大越好

分类属性2：能carry整场

$Gini(left)=1-[(\frac{1}{5})^{2}+(\frac{4}{5})^{2}]=0.32$

$Gini(right)=1-[(\frac{5}{7})^{2}+(\frac{2}{7})^{2}]=0.4081$

$\Delta =0.5-(\frac{5}{12}*0.32+\frac{7}{12}*0.4081)=0.129$

综上，可以看出属性2的分类效果比较好。

属性分支数与模型复杂度：在决策树中，分支数越多，乱度越低，但模型越复杂（即过度适配）。

决策树的特点

建设成本低，速度快，一次构建，反复使用；
模型可以读性好，具有描述性，有助于人工分析；
乱度测量方法的选择对分类结果影响不大；

分类Classification：决策树Decision Tree相关推荐

决策树分类python代码_分类算法-决策树 Decision Tree
决策树(Decision Tree)是一个非参数的监督式学习方法,决策树又称为判定树,是运用于分类的一种树结构,其中的每个内部节点代表对某一属性的一次测试,每条边代表一个测试结果,叶节点代表某个类或类 ...
算法杂货铺——分类算法之决策树(Decision tree)
算法杂货铺--分类算法之决策树(Decision tree) 2010-09-19 16:30 by T2噬菌体, 88978 阅读, 29 评论, 收藏, 编辑 3.1.摘要在前面两篇文章中,分别 ...
决策树(Decision Tree)_海洋动物分类
决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法.由于 ...
机器学习算法实践：决策树 (Decision Tree)（转载）
前言最近打算系统学习下机器学习的基础算法,避免眼高手低,决定把常用的机器学习基础算法都实现一遍以便加深印象.本文为这系列博客的第一篇,关于决策树(Decision Tree)的算法实现,文中我将对决 ...
决策树(Decision Tree)简介
决策树(Decision Tree)及其变种是另一类将输入空间分成不同的区域,每个区域有独立参数的算法.决策树分类算法是一种基于实例的归纳学习方法,它能从给定的无序的训练样本中,提炼出树型的分类模型. ...
决策树 Decision Tree 简介
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 决策树 ...
[机器学习笔记] （四）决策树 Decision Tree
(四)决策树 Decision Tree 基本概念决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性 ...
Machine Learning | (7) Scikit-learn的分类器算法-决策树(Decision Tree）
Machine Learning | 机器学习简介 Machine Learning | (1) Scikit-learn与特征工程 Machine Learning | (2) sklearn数据集 ...
数据分类：决策树Decision Tree
背景决策树(decision tree)是一种基本的分类和回归(后面补充一个回归的例子?)方法,它呈现的是一种树形结构,可以认为是if-then规则的集合.其其主要优点是模型具有很好的可读性,且分类 ...

最新文章

热门文章