集成学习多样性度量总结

上一篇博客讲了集成学习中成对的多样性度量，博文链接如下

https://blog.csdn.net/jodie123456/article/details/89341835

在本篇博文中，总结一下非成对的多样性度量的方法。

1.2 非成对多样性度量

与成对的多样性度量不同，非成对的的多样性度量直接定义在多分类器系统上，首先引入如下符号： $z_{j}$ ( $j=1,2,........,N$ )为 $N$ 个样例中的第 $j$ 个样例， $l(z_{j})$ 为对 $z_{j}$ 正确分类的分类器的数目， $L$ 为总的分类器数目。

1）Kohavi-Wolpert方差KW

KW方差来源于对分类器分类误差的分解，在训练集上使用分类器 $C_{1}$ ， $C_{2}$ ， $C_{3}$ ，.................., $C_{L}$ 对 $x$ 预测类标签的方差表达式，得到KW的方差公式：

$KW=\frac{1}{NL^{2}}\sum_{j=1}^{N}l(z_{j})(L-l(z_{j}))$

对于每一个样例 $z_{j}$ ，KW方差度量均要统计出对其正确分类的和错误分类的的分类器数目，极端情况下，对于每一个样例 $z_{j}$ ，所有的分类器都给出相同的分类结果，即 $l(z_{j})=L$ 或 $l(z_{j})=0$ ,此时KW=0，该集成系统的多样性程度最低，当有一半的分类器对 $z_{j}$ 正确分类、一半的分类器对其错误分类时，KW=1/4,集成系统的多样性程度最高。

2）Measurement of interrater agreement ${\color{Green} k{\color{Green} }}$

该度量来源于统计学，用于度量评价者间的可靠性， $k$ 度量定义为：

$k=1-\frac{\frac{1}{L}\sum_{j=1}^{N}l(z_{j})(L-l(z_{j}))}{N(L-1)\overline{p}(1-\overline{p})}$

其中 $\overline{p}$ 为基分类器的平均分类精度，有

$\overline{p}=\frac{1}{NL}\sum_{j=1}^{N}\sum_{i=1}^{L}y_{j,i}$

$y_{ji}$ 位基分类器 $C_{i}$ 对样例 $z_{j}$ 的分类结果，研究表明， $k$ 与KW方差和不一致度量dis是相关的，他们之间的关系如下

$k=1-\frac{L}{(L-1)\overline{p}(1-\overline{p})}KW=1-\frac{1}{2\overline{p}(1-\overline{p})}Dis_{av}$

其中 $Dis_{av}$ 为集成系统的不一致度量平均值。

3）熵度量 ${\color{Green} E}$

$L$ 个基分类器集合的熵度量定义为

$E=\frac{1}{N}\sum_{j=1}^{N}\frac{1}{(L-\left \lceil L/2 \right \rceil)}min\left \{ l(z_{j}),L- l(z_{j})\right \}$

对于每一个样例 $z_{j}$ ，如果所有的分类器给出同样的分类结果，即他们之间不存在任何多样性，则此时熵度量的值为0，相反，如果 $\left \lfloor L/2 \right \rfloor$ 个分类器对该样例正确分类， $L-\left \lfloor L/2 \right \rfloor$ 个分类器错误分类，则熵度量的值为1，此时的集成系统的多样性程度最高。

4）难度度量 ${\color{Green} \theta}$

对于一个从问题分布中随机抽取的样例 $x$ ,用随机变量 $X$ 表示对该样例正确分类的分类器所占的比例，其取值范围为 $\left \{ 0,1/L,2/L,.....,1 \right \}$ ,难度度量定义为随机变量 $X$ 的方差即：

$\theta =Var(X)$

对于该方差的值越小，随机变量 $X$ 的波动越小，表明对于每一个样例，将其正确分类的分类器的数目月趋向于 $L/2$ ，此时一些分类器难以对样例正确分类，分类器之间的多样性程度越高；该方差的值越大表明一部分样例对于所有分类器而言是难以正确分类的，而剩余样例对于所有的分类器而言是容易分类的，此时各个分类器的行为越相似，多样性程度越低。

5）广义多样性GD

该度量用随机变量 $Y$ 表示在一个随机抽取的样例 $x$ 上分类错误的分类器比例；用 $p_{i}$ 表示 $Y=i/L$ 的概率， $p_{i}=P\left \{ Y=i/L \right \}$ ;用 $p(i)$ 表示 $i$ 个随机选择的分类器在一个随机抽取的的样例上分类错误的概率。

假设随机选择两个分类器，当一个分类器正确分类、另一个分类器错误分类时，它们的多样性程度最高，两个分类器同时错误分类的概率 $p(2)=0$ ;当一个分类器的错误分类总是伴随着另一个分类器的错误分类时，多样性程度最低，两个分类器均失败的概率等于一个随机选择的分类器失败的概率，给出以下公式:

$p(1)=\sum_{i=1}^{L}\frac{i}{L}p_{i},p(2)=\sum_{i=1}^{L}\frac{i(i-1)}{L(L-1)}p_{i}$

则广义多样性定义为

$GD=1-p(2)/p(1)$

根据以上分析，若 $p(1)=p(2)$ ，则 $GD=0$ ，集成系统的多样性程度最低；若 $p(2)=0$ 则 $GD=1$ ，集成系统的多样性程度最高。

6）Percentage Correct Diversity Measure(PCDM)

对于每个样例, 该度量关注将其正确分类的分类器所占的比例, 计算过程如下所下：

由以上过程可知, PCDM度量关注这样的样例：有 $T_{low}-T_{high}$ 个基分类器对其正确分类，其中 $T_{low}$ 和 $T{_{high}}$ 是两个阈值，即对于一个样例 $x$ ,如果在上述范围内的一定比例的分类器对其正确分类，则至少对该样例而言，这些分类器被认为是多样化的，这样，所有的分类器均对其正确分类（正确率高于 $T{_{high}}$ ，即容易被正确分类的样例），或很少分类器对其正确分类（正确率低于 $T_{low}$ ，即难以被正确分类的样例）的样例在该多样性度量下被认为是无用的。

集成学习多样性度量总结相关推荐

集成学习-非成对多样性度量-个人总结
一.引言集成学习:通过构建并结合多个学习器来完成学习任务.一般结构是:先产生一组"个体学习器",再用某种策略将它们结合起来.结合策略主要有平均法.投票法和学习法等. 在集成学习之 ...
【机器学习－西瓜书】八、集成学习：结合策略；多样性；总结
推荐阅读: 总结:绝对多数投票法:误差-分歧分解 8.4 结合策略关键词: 平均法:投票法:学习法;硬投票:软投票一开始就说到,集成学习有两个关键,第一,个体学习器:第二,结合策略.对于个体学习器 ...
集成学习之如何进行多样性增强
众所周知,对于集成学习的基学习器而言,他们的差异性越大,集成之后的效果就越好,那么,我们怎么增强不同模型的多样性呢? 1.样本扰动:比如Bagging中的自助法就是了,由于生成的不同数据集间有一定的不 ...
机器学习笔记(八)集成学习
8.集成学习 8.1个体与集成集成学习(ansemblelearning)通过构建并结合多个学习器来完成学习任务,也称为多分类器系统(multi-classifiersystem).基于委员会的学习 ...
周志华教授专著《集成学习：基础与算法》上市，豆瓣满分森林书破解AI实践难题...
近年来,机器学习技术的快速发展推动了语音.自然语言处理.机器视觉等多个领域获得巨大进步,也带动了人工智能相关产业的蓬勃发展. 回顾机器学习最近30 年的发展历程,各种学习方法推陈出新.不断演进.但是, ...
【福利】周志华教授专著《集成学习：基础与算法》上市，豆瓣满分森林书破解AI实践难题...
近年来,机器学习技术的快速发展推动了语音.自然语言处理.机器视觉等多个领域获得巨大进步,也带动了人工智能相关产业的蓬勃发展. >>>> 回顾机器学习最近30 年的发展历程,各种 ...
西瓜书+实战+吴恩达机器学习（十一）监督学习之集成学习
文章目录 0. 前言 1. 集成方法 2. 结合策略 2.1. 平均法 2.2. 投票法 2.3. 学习法 3. 多样性度量 4. 多样性增强如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔, ...
集成学习——BAGGING和随机森林
集成学习--BAGGING和随机森林集成学习--BAGGING和随机森林 1.什么是集成学习 2.怎样进行集成学习 3.Bagging方法 4.Bagging方法训练.预测过程 5.Bagging方 ...
西瓜书习题 - 8.集成学习
1.集成学习 1.下列关于集成学习描述错误的是哪个? 集成学习只能使用若干个相同类型的学习器集成学习使用多个学习器解决问题集成学习在许多比赛中取得了优异的成绩集成学习在英文中是一个外来词 2.下 ...

集成学习多样性度量总结

集成学习多样性度量总结相关推荐

最新文章

热门文章