感知机模型

输入空间是$chisubseteqmathbb{R}^n$,输出空间是$y={+1,-1}$感知机定义为：$f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点$x_0$到超平面S的距离：$frac{1}{||w||}|wx_0+b|$误分类数据$(xi,yi)$,有$-yi(wxi+b)>0$误分类点$xi$到超平面S的距离$-frac{1}{||w||}yi(wx_i+b)$误分类点集合M,所有误分类点到超平面S的距离$-frac{1}{||w||}sum{xiin{M}}yi(wxi+b)$由此，感知机损失函数定义为$L(w,b)=-sum{xiin{M}}yi(wxi+b)$

感知机学习算法（原始形式）

输入：训练数据集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,学习率$eta$输出：w,b;感知机模型$f(x)=sign(wx+b)$(1)选取初值$w0$,$b0$(2)训练集选取$(xi,yi)$(3)IF $yi(wxi+b)≤0$$w←w+eta{yixi}$$b←b+eta{y_i}$(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足$k≤(frac{R}{gamma})^2$

感知机学习算法（对偶形式）

由原始形式$w←w+eta{yixi}$$b←b+eta{y_i}$进行n次,w,b关于$(xi,yi)$增量分别为$aiyixi$和$aiy_i$记$ai=nieta$,最后学习到的w,b表示为$w=sum{i=1}^{N}aiyixi$$b=sum{i=1}^{N}aiy_i$输入：训练数据集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,学习率$eta$输出：a,b;感知机模型$f(x)=sign(sum{j=1}^{N}ajyjxj·x+b)$其中$a=(a1,a2,...,a_N)^T$(1)$a←0$;$b←0$(2)训练集选取$(xi,yi)$(3)IF $yi(sum{j=1}^{N}ajyjxj·xi+b)≤0$$ai←ai+eta$$b←b+eta{y_i}$(4)转至(2),直到没有误分类点。记Gram矩阵$G=[x_i·x_j]_{N×N}$

《统计学习方法》极简笔记P2：感知机数学推导相关推荐

机器学习理论《统计学习方法》学习笔记：第二章感知机
<统计学习方法>学习笔记:第二章感知机 2 感知机 2.1 感知机模型 2.2 感知机学习策略 2.2.1 数据的线性可分性 2.2.2 感知机学习策略 2.3 感知机学习算法 2.3. ...
《统计学习方法》读书笔记——感知机（原理+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
复现经典：《统计学习方法》第 2 章感知机
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...
支持向量机-《统计学习方法》学习笔记
支持向量机-<统计学习方法>学习笔记 1 概述 2 线性可分支持向量机 2.1 线性可分支持向量机简介 2.2 寻找最优分离超平面 2.3 函数间隔 2.4 几何间隔 2.5 (硬)间隔最 ...
机器学习理论《统计学习方法》学习笔记：第五章决策树
机器学习理论<统计学习方法>学习笔记:第五章决策树决策树 5.1 决策树模型与学习 5.1.1 决策树模型 5.1.2 决策树与if-then规则 5.1.3 决策树与条件概率分布 5 ...
《统计学习方法》读书笔记——朴素贝叶斯法（公式推导+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
《统计学习方法》读书笔记——K近邻法（原理+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
《统计学习方法》读书笔记——机器学习常用评价指标
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
机器学习理论《统计学习方法》学习笔记：第六章逻辑斯谛回归与最大熵模型
机器学习理论<统计学习方法>学习笔记:第六章逻辑斯谛回归与最大熵模型 6 逻辑斯谛回归与最大熵模型 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 6.1.2 二项逻辑斯蒂回归模型 ...

《统计学习方法》极简笔记P2：感知机数学推导

感知机模型

感知机学习策略

感知机学习算法（原始形式）

感知机学习算法（对偶形式）

《统计学习方法》极简笔记P2：感知机数学推导相关推荐

最新文章

热门文章