算法描述

1.随机森林是指一片森林的每棵树都表决，进而根据少数服从多数的原则决断出最后的结果。此篇以CART作为每一棵树的基本模型来说明。
2.算法过程：
①Bootstrap sample构造数据集。
②为每个数据集构造决策树。
③所有子树投票表决。

知识储备

1.随机森林(Bootstraping)
Bootstraping在[3]章节4.1有详细叙述，建议阅读原文。
在[2]中章节4的表述为，现有数据集(大小为N)，需为每一棵树构造一个子数据集。构造方法是随机且有放回的在原数据集中抽取N个数据。由此可知，构造的子集与原数据集大小一致，但内容不同(因其随机抽取)。
该构造方法(即随机且放回的抽取)目的是构造出既与原数据集不相同又能在一定程度上表达该数据集的数据分布，体现了随机森林的随机二字。当森林子树足够多的时候，构造出的所有子集可充分体现原数据集的分布。
2.决策树(CART)
决策树核心思想选取当前最优特征作为划分标准，前面有以香农熵为核心的决策树学习笔记。此篇挑选CART(Classification And Regression Tree)是因为该算法即可用于分类任务(离散型数据)也可用于回归任务(连续型数据)。
(1)分类树
①引用[1]的例子，该例子使用隐形眼镜数据集，共有四维特征年龄、症状、散光及眼泪量和标签(硬材质、软材质及不适合隐形眼镜)。

举个栗子

实现代码

1.分类树sklearn实现版本。[1]

算法分析

1.CART以构建二叉树的方式既能实现分类也能实现回归。
2.随机森林的可解释性低(随机采样)，可读性强(投票)；因其随机有放回的抽取数据，避免过度依赖某一特征，防止过拟合。

资料引用

[1]GitHub：https://github.com/wzy6642/Machine-Learning-in-Action-Python3/tree/master/DecisionTree_Project2
[2]博客园：https://www.cnblogs.com/maybe2030/p/4585705.html
[3]CSDN：https://blog.csdn.net/jiaoyangwm/article/details/81150367
[4]知乎：https://zhuanlan.zhihu.com/p/82054400
此算法笔记会在CSDN、知乎、b站及公众号同步更新，账号名为一枚嘉应子。转载注明出处，侵权必究。

【基于CART的随机森林学习笔记】相关推荐

基于java的随机森林算法_基于Spark实现随机森林代码
本文实例为大家分享了基于Spark实现随机森林的具体代码,供大家参考,具体内容如下 public class RandomForestClassficationTest extends TestCas ...
基于MVS的三维重建算法学习笔记（五）— 立体匹配经典算法PatchMatch论文翻译及要点解读
基于MVS的三维重建算法学习笔记(五)- 立体匹配经典算法PatchMatch论文翻译及要点解读声明问题提出问题建模通过PatchMatch获取平面参数--Inference via Patc ...
基于MVS的三维重建算法学习笔记（四）— 立体匹配经典算法Semi-Global Matching（SGM）论文翻译及要点解读
基于MVS的三维重建算法学习笔记(四)- 立体匹配经典算法Semi-Global Matching(SGM)论文翻译及要点解读声明 SGM概述 Cost Calculation(像素代价计算)--M ...
基于Python的随机森林（RF）回归与多种模型超参数自动优化方法
本文详细介绍基于Python的随机森林(Random Forest)回归算法代码与模型超参数(包括决策树个数与最大深度.最小分离样本数.最小叶子节点样本数.最大分离特征数等等)自动优化代码. ...
基于Solr的空间搜索学习笔记
基于Solr的空间搜索学习笔记在Solr中基于空间地址查询主要围绕2个概念实现: (1) Cartesian Tiers 笛卡尔层 Cartesian Tiers是通过将一个平面地图的根据设定的层次 ...
python小车行驶路线图_基于opencv-Python小车循线学习笔记
基于opencv-Python小车循线学习笔记加入摄像头模块,让小车实现自动循迹行驶思路为:摄像头读取图像,进行二值化,将白色的赛道凸显出来选择下方的一行像素,黑色为0,白色为255 找到白色值 ...
基于MVS的三维重建算法学习笔记（二）— 立体视觉的几何基础总结
基于MVS的三维重建算法学习笔记(二)- 立体视觉的几何基础总结声明概述 1. 常见三维数据类型 2. 三维形状的几种表达形式 3. 三维空间刚体运动 4. 李群和李代数 5. 相机标定 6. 非 ...
基于python的数字图像处理--学习笔记（三）
基于python的数字图像处理--学习笔记(三) 前言一.灰度拉伸二.幂律(伽马)变换三.对数变换前言进入冈萨雷斯的第三章内容,并用python实现功能.我更改了代码源,之前找到太烂了,代码 ...
基于tiva的匿名飞控学习笔记（1）
基于tiva的匿名飞控学习笔记(1) 开关状态任务遥控器数据处理任务数传数据交换延时存储任务开关状态任务匿名飞控的开关状态任务为函数Swtich_State_Task(u8 dT_ms),定 ...

【基于CART的随机森林学习笔记】

目录