【统计学习｜书籍阅读】第二章 感知机 p25-p35
文章目录
- 思路
- 感知机
- 感知机学习策略
- 感知机学习算法
- 感知机的原始形式
- 感知机的对偶形式
- 收敛性
思路
感知器对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型，感知机学习旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求的感知机模型。感知机学习算法简单易实现，具有原始形式和对偶形式。
感知机
感知机是根据输入实例的特征向量 x x x对其进行二分类的线性分类模型：
f ( x ) = s i g n ( w ∗ x + b ) f(x)=sign(w*x+b) f(x)=sign(w∗x+b)感知器模型对应于输入空间（特征空间）中的分离超平面 w ∗ x + b = 0 w*x+b=0 w∗x+b=0
感知机学习策略
感知器的学习策略是极小化损失函数： min w , b L ( w , b ) = − ∑ x j ⊆ M y i ( w ∗ x i + b ) \min_{w,b}L(w,b)=-\sum_{x_j\subseteq M}y_i(w*x_i+b) w,bminL(w,b)=−xj⊆M∑yi(w∗xi+b)
损失函数对应于误分类点到分类超平面的总距离。
感知机学习算法
感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。原始算法中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数，在这个过程中一次随机选取一个误分类点使其梯度下降。
感知机的原始形式
原始形式和对偶形式的区别就是损失函数的梯度不同。
感知器模型： f ( x ) = s i g n ( w ∗ x + b ) f(x)=sign(w*x+b) f(x)=sign(w∗x+b)
损失函数的梯度： ▽ w L ( w , b ) = − ∑ x j ⊆ M y i ∗ x i \bigtriangledown _wL(w,b)=-\sum_{x_j\subseteq M}y_i*x_i ▽wL(w,b)=−xj⊆M∑yi∗xi
▽ b L ( w , b ) = − ∑ x j ⊆ M y i \bigtriangledown _bL(w,b)=-\sum_{x_j\subseteq M}y_i ▽bL(w,b)=−xj⊆M∑yi
w,b更新方式： w ← w + η y i x i w\gets w+\eta y_ix_i w←w+ηyixi
b ← b + η y i b\gets b+\eta y_i b←b+ηyi
感知机的对偶形式
对偶形式的基本思想是将w和b表示为实例xi和标记yi的线性组合的形式，通过求解系数而得到w和b.
感知机模型： f ( x ) = s i g n ( ∑ j = 1 N α i y i x i ∗ x + b ) f(x)=sign(\sum_{j=1}^{N} \alpha _iy_ix_i*x+b) f(x)=sign(j=1∑Nαiyixi∗x+b)
学习到的w,b:
w = ∑ i = 1 N α i y i x i w=\sum_{i=1}^{N}\alpha _iy_ix_i w=i=1∑Nαiyixi
b = ∑ i = 1 N α i y i b=\sum_{i=1}^{N}\alpha _iy_i b=i=1∑Nαiyi
更新方式：
α i ← α i + η \alpha _i\gets \alpha _i+\eta αi←αi+η
b ← b + η y i b\gets b+\eta y_i b←b+ηyi
收敛性
当训练数据集线性可分时，感知器学习算法是收敛的。感知机算法在训练集上的误分类次数k满足不等式：
k ≤ ( R γ ) 2 k\le (\frac{R}{\gamma } )^{2} k≤(γR)2
当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。
【统计学习｜书籍阅读】第二章 感知机 p25-p35相关推荐
- 机器学习理论《统计学习方法》学习笔记：第二章 感知机
<统计学习方法>学习笔记:第二章 感知机 2 感知机 2.1 感知机模型 2.2 感知机学习策略 2.2.1 数据的线性可分性 2.2.2 感知机学习策略 2.3 感知机学习算法 2.3. ...
- 【统计学习方法笔记】——第二章 感知机
目录 前言 一.感知机模型 1.1 定义 1.2 几何解释 二. 感知机学习策略 2.1 数据集的线性可分 2.2 感知机学习策略 三.感知机学习算法 3.1 感知机学习算法的原始形式 3.2 算法的 ...
- 统计学习方法笔记第二章-感知机
统计学习方法笔记第二章-感知机 2.1 感知机模型 2.2感知机学习策略 2.2.1数据集的线性可分型 2.2.2感知机学习策略 2.3感知机学习算法 2.3.1感知机算法的原始形式 2.3.2算法的 ...
- 复现经典：《统计学习方法》第 2 章 感知机
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...
- 计算机网络学习笔记：第二章
文章目录 计算机网络学习笔记:第二章 前言 2.1.应用层协议原理 2.1.1 网络应用程序体系结构 2.1.2 进程通信 2.1.3 可供应用程序使用的运输服务 2.1.4 因特网提供的传输层服务 ...
- 2021-08-31《内网安全攻防》学习笔记，第二章-域内信息收集（转自PowerLiu）
<内网安全攻防>学习笔记,第二章-域内信息收集 2020-07-212020-07-21 15:08:47阅读 1.1K0 2.1 内网信息搜集概述 当渗透测试人员进入内网后,面对的是一片 ...
- C++ primer第五版学习记录：第二章变量和基本类型
C++ primer第五版学习记录:第二章变量和基本类型 断断续续把第二章看完用了大概两周时间,发扬一下之前默写的传统,顺便让自己梳理一下该章节的具体框架及结构.可能会有理解错误的地方,欢迎大家批评指 ...
- D3.js学习指北--第二章，基础复习
D3学习指北–第二章,基础复习 1.关于html的svg标签 html5里有很多个标签,但是关于D3的应用多用在一个标签上< svg >svg标签可以理解为一个绘画板,里面提供了各类的 ...
- Cyclone V SoC FPGA学习之路第二章：硬件篇
Cyclone V SoC FPGA学习之路第二章:硬件篇(内部资源) 前言 上一章了解了<cycloneV device datasheet>,其中数据手册里重点介绍了电源要求,时序参数 ...
- Python快速编程入门#学习笔记03# |第二章 ：Python基础（代码格式、标识符关键字、变量和数据类型、数字类型以及运算符）
全文目录 ==先导知识== 学习目标: 2.1 代码格式 2.1.1 注释 2.1.2 缩进 2.1.3 语句换行 2.2 标识符和关键字 2.2.1 标识符 2.2.2 关键字 2.3 变量和数据类 ...
最新文章
- 597个智慧城市相关试点将临大考
- [转贴]计算机学术期刊排名
- php 解析配置文件,php 解析ini配置文件
- 使用泛型实现单例提供者(原创翻译)
- 在java web工程中jsp页面中使用kindeditor
- php编译后漏掉一些参数怎么办
- 路径规划：RRT算法在ROS中的实现
- ubantu14.04搜狗拼音安装
- 尤雨溪 vue 3.0 Bate
- 关于log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.li)的问题
- 考研英一----2006年真题知识点总结
- Photoshop CC重磅功能发布：复杂抠图也能一键搞定
- 六维力数据中去除重力、漂移力任务---ros之talker、listener、ur、坑
- 在线YAML转JSON工具
- 什么是JWT及在JAVA中如何使用？
- ajaxSubmit提交数据重复
- java设置随机数种子教程(转）
- Js实现放大缩小html页面整体
- 计算机病毒与防范 论文,计算机病毒与防范论文
- 传统医药厂家如何进行社交电商+新零售+私域流量,附方案讲解