ML《集成学习（二）Boosting之Adaboosting》
一：集成学习
集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，也就是平常所说的“三个臭皮匠顶个诸葛亮”的道理。下面从两个方面对集成学习进行简要介绍。
它有两个大种类：根据个体学习器的生成方式，目前的集成学习方法大致可以分为两大类，即个体学习器间存在强依赖关系、必须串行生成的序列化方法，代表算法是Boosting系列的算法；以及个体学习器间不存在强依赖关系、可同时生成的并行化方法，代表算法是Bagging和随机森林（上一博文经学习过了）。
二：AdaBoosting
从图中我们可以看出来，算法是将多个基本弱的分类器结合在一起，每个分类器对应于一个权重参数（训练而来），而每个弱分类器对最终分类结果的作用也不同，是通过加权平均输出的，权值见上图中三角形里面的数值。那么这些弱分类器和其对应的权值是怎样训练出来的呢？
AdaBoost算法是Adaptive Boost的简称，Boosting通过将一系列弱学习器组合起来，通过集成这些弱学习器的学习能力，得到一个强学习器。具体到AdaBoost算法，AdaBoost在之前学习器的基础上改变样本的权重，增加那些之前被分类错误的样本的比重，降低分类正确样本的比重，这样之后的学习器将重点关注那些被分类错误的样本。最后通过将这些学习器通过加权组合成一个强学习器，具体的，分类正确率高的学习器权重较高，分类正确率低的学习器权重较低。
开始时，所有样本的权重相同，训练得到第一个基分类器。从第二轮开始，每轮开始前都先根据上一轮基分类器的分类效果调整每个样本的权重，上一轮分错的样本权重提高，分对的样本权重降低。之后根据新得到样本的权重指导本轮中的基分类器训练，即在考虑样本不同权重的情况下得到本轮错误率最低的基分类器。重复以上步骤直至训练到约定的轮数结束，每一轮训练得到一个基分类器。
好了，Adaboosting算法先暂时学习这里咯。
ML《集成学习（二）Boosting之Adaboosting》相关推荐
- 决策树一一CART算法（第三部分）
决策树一一CART算法(第三部分) CART-回归树模型 如果输出变量是 连续 的,对应的就是 回归 问题,对于决策树而言,输出的信息一定就是叶子结点,所以需要将连续变量按照一定的要求划分. 回归 ...
- [机器学习算法]决策树和CART树
决策树综述 决策树的工作原理 决策树(decision tree)分类法是一种简单但广泛使用的分类技术.以是否贷款违约的二分类问题为例,当我们希望根据给定的训练集习得一个模型对新出现的贷款人进行分类时 ...
- ML近三年在CVPR比较流行被应用的技术有哪些？
发信人: mlmonster (bishop), 信区: AI 标 题: ML近三年在CVPR比较流行被应用的技术有哪些? 发信站: 水木社区 (Sun Feb 13 01:31:10 2011), ...
- 树模型之三种常见的决策树：CART，…
树模型(又称决策树或者树结构模型):基本思想和方差分析中的变异分解极为相似. 目的(基本原则):将总研究样本通过某些牲(自变量取值)分成数个相对同质的子样本.每一子样本因变量的取值高度一致,相应的变异 ...
- 决策树一CART算法（第四部分）
决策树一CART算法(第四部分) CART树的剪枝:算法步骤 输入:CART算法生成的决策树. 输出:最优决策树T 设K=0,T=T0K=0,T=T_0K=0,T=T0 ,从完整的决策树出发 k ...
- 【机器学习基础】数学推导+纯Python实现机器学习算法5：决策树之CART算法
目录 CART概述 回归树 分类树 剪枝 Python实现示例:分类树 在数学推导+纯Python实现机器学习算法4:决策树之ID3算法中笔者已经对决策树的基本原理进行了大概的论述.本节将在上一讲的基 ...
- 机器学习爬大树之决策树（CART与剪枝）
分类与回归树(classification and regression tree,CART)是应用广泛的决策树学习方法,同样由特征选择,树的生成以及剪枝组成,既可以用于分类也可以用于回归.CART假 ...
- 决策树之CART 算法（回归树，分类树）
CART 算法,英文全称叫做 Classification And Regression Tree,中文叫做分类回归树. ID3 和 C4.5 算法可以生成二叉树或多叉树,而 CART 只支持二叉树. ...
- 决策树之CART分类树
目录 一.基尼系数 (1)离散型属性 (2)连续型属性 二.cart算法的步骤 三.举个栗子 四.代码实现过程 总结: 一.基尼系数 基尼系数(Gini)是一种不等性的度量,经济学上用基尼系数度量收入 ...
- 掰开揉碎机器学习系列-决策树(2)-CART决策树
一.CART决策树和ID3决策树的区别在哪里: 区别主要体现在对于连续型特征的处理方式,ID3决策树完全根据特征值等于几,做决策分支,这肯定容易出现很多很多分支,即所谓过拟合. CART决策树在一定程 ...
最新文章
- 指定模块打包命令_大前端进阶之Babel、模块化、webpack
- 阿里云Kubernetes实战2–搭建基础服务
- sqlserver 安装_安装sqlserver
- php文本分割成csv,php将文本文件转换csv输出的方法
- Virtuoso崩掉时layout数据恢复
- （07）FPGA基本组成单元
- 详解OpenCV中的cvCreateMat()函数
- .NET数据访问是否采用ORM（自译）
- VB.NET自动操作其他程序(4)--读取、设置其他软件listview控件的内容
- microsoft html help workshop_云话科技 | 奥比中光Workshop技术研讨线上沙龙
- 学术第一步：搞清楚SCI、EI、ISTP和中文核心期刊的区别
- Linux fcntl函数详解
- 计算机系统繁体环境,繁体简体转换
- 力天创见客流统计标书制作
- 全新一代智慧园区数字孪生解决方案，为园区运营商和集成商赋能
- 【转帖】文件系统驱动编程基础篇
- 新职业教育的三节课，凭什么做到今天这样
- ode45的常用和扩展用法
- 矩阵连乘 动态规划_如何构建移动营销时代的“动态矩阵”？
- hibernate 乐观锁