李航——《统计学习方法》（二）

2024-06-03 19:12:04

第2章感知机

感知机是二类分类的线性分类模型，属于判别模型。

输入：实例的特征向量输出：实例的类别取+1、-1两个值，常表示为{-1，+1}

感知机学习的目标在于求出将训练数据进行线性划分（将训练集正实例点和负实例点完全正确分开）的分离超平面。

1.感知机模型

导入基于误分类的损失函数➡利用梯度下降法对损失函数进行极小化➡得到感知机模型

感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，也就是函数集合{f|f(x)=w•x+b}

感知机的几何说明：

w•x+b=0

对应于N维特征空间R^n的一个超平面S，其中w是超平面的法向量，b是超平面的截距。

其中超平面将特征空间划分为两个部分，位于这两部分的特征向量分别被分为正、负两类。所以也将超平面S称为分离超平面

2.感知机学习策略

数据集的线性可分性：

给定一个数据集T={(x1,y1),(x2,y2),(x3,y3),....,(xn,yn)}

能够将数据集的正实例点与负实例点完全正确地划分到超平面的两侧，即对所有yi=+1，有w•xi+b>0，对所有yi=-1的实例i，有w•xi+b<0，则称数据集T为线性可分数据集，否则称数据集T线性不可分

感知机学习策略：定义（经验）损失函数并将损失函数极小化

输入空间N维特征空间R^n中任一点x0到超平面S的距离：

其中||w||是范数，误分类点x1到超平面S的距离为

误分类点越少，误分类点离超平面就越近，损失函数值就越小。

3.感知机学习算法

感知机学习问题转化为求解损失函数的最优化问题中，最优化的方法是梯度下降法。

下面简要说一下梯度下降法：

感知机学习算法是误分类驱动的。

感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同，也就是可以有不同的超平面。

文章中为个人学习时的一些简要笔记，如果想要更好的了解统计学习方法，可以参考b站up主“简博士”，这个也是我个人在看的。

B站UP视频链接：【合集】十分钟机器学习系列视频《统计学习方法》_哔哩哔哩_bilibili

李航——《统计学习方法》（二）相关推荐

统计学习方法 pdf_李航统计学习方法（第三章）
第3章 k 近邻法 k 近邻法(k-NN)是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化问题).它的特点是对特征空间进行搜索.除了k近邻法,本章还对以下几个问题进行较深入的讨论: ...
【李航统计学习方法】感知机模型
目录一.感知机模型二.感知机的学习策略三.感知机学习算法感知机算法的原始形式感知机模型的对偶形式参考文献本章节根据统计学习方法,分为模型.策略.算法三个方面来介绍感知机模型. 首先介绍感 ...
李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理对于二分类问题,当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d ...
《李航统计学习方法》学习笔记——第八章提升方法
提升方法 8.1提升方法AdaBoost 8.1.1提升方法的基本思路 8.1.2AdaBoost算法 8.1.3AdaBoost的例子(代码实现) 8.2AdaBoost算法的训练误差分析定理8. ...
学习笔记：李航统计学习方法
是关于李航的<统计学习方法>的学习笔记主要是看七月在线的网课 1 统计学习及监督学习概论 1.1 基础概念概念:关于计算机基于数据构建概率统计模型.并运用模型对数据进行预测与分析的一门 ...
机器学习：李航-统计学习方法-代码实现
<统计学习方法>的代码实现分享 <统计学习方法>这本书,附件里并没有代码实现,于是许多研究者复现了里面算法的代码,并放在github里分享,这里介绍几个比较热门的<统计学 ...
李航-统计学习方法-笔记-1：概论
写在前面本系列笔记主要记录<统计学习方法>中7种常用的机器学习分类算法,包括感知机,KNN,朴素贝叶斯,决策树,逻辑斯谛回归与最大熵模型,SVM,boosting. 课本还涉及到3种算法 ...
最大熵阈值python_李航统计学习方法（六）----逻辑斯谛回归与最大熵模型
本文希望通过<统计学习方法>第六章的学习,由表及里地系统学习最大熵模型.文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法,并制作了可视化动画.针对最大熵,提供一份简明的G ...
李航统计学习方法课后习题答案第二版
李航<统计学习方法>课后习题答案(第2版)
李航统计学习方法第二版课后习题答案机器学习
李航<统计学习方法>课后习题答案(第2版)

最新文章

热门文章