感知器算法例题ppt_感知器的训练算法
1.感知器算法来源和基本思想
“感知器”一词出自于20世纪50年代中期到60年代中期人们对一种分类学习机模型的称呼,它是属于有关动物和机器学习的仿生学领域中的问题。当时的一些研究者认为感知器是一种学习机的强有力模型,后来发现估计过高了,但发展感知器的一些相关概念仍然沿用下来。
采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数。由于该算法不需要对各类别中模式的统计性质做任何假设,因此称为确定性的方法。
感知器算法实质上是一种赏罚过程:
–对正确分类的模式则“赏”,实际上是“不罚”,即权向量不变。
–对错误分类的模式则“罚”,使w(k)加上一个正比于xk的分量。
–当用全部模式样本训练过一轮以后,只要有一个模式是判别错误的,则需要进行下一轮迭代,即用全部模式样本再训练一次。
–如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。
2.感知器的训练算法
2.1 两类情况算法:
已知两个训练模式集分别属于$\omega_1$类和$\omega_2$类,权向量的初始值为$w(1)$,可任意取值。若$x_k\in \omega_1,w^T(k)x_k>0$,若$x_k\in \omega_2,w^T(k)x_k\leq0$,则在用全部训练模式集进行迭代训练时,第$k$次的训练步骤为:
若$x_k\in \omega_1$且$w^T(k)x_k\leq 0$,则分类器对第$k$个模式$x_k$做了错误分类,此时应校正权向量,使得$w(k+1) = w(k) + Cx_k$,其中$C$为一个校正增量。
若$x_k\in \omega_2$且$w^T(k)x_k\geq 0$,同样分类器分类错误,则权向量应校正如下:$w(k+1) = w(k) - Cx_k$
若以上情况不符合,则表明该模式样本在第$k$次中分类正确,因此权向量不变,即:$w(k+1) = w(k)$
若对$x\in \omega_2$的模式样本乘以$(-1)$,则有:
$w^T(k)x_k\leq 0$时,$w(k+1) = w(k) + Cx_k$
此时,感知器算法可统一写成:
\[w(k + 1) = \left\{ {\begin{array}{*{20}{c}}
{w(k)}&{if\;{w^T}(k){x_k} > 0}\\
{w(k) + C{x_k}}&{if\;{w^T}(k){x_k} \le 0}
\end{array}} \right.\]
2.2 多类情况算法:
对M类模式存在M个判别函数$\{d_i,i=1,2,\cdots,M\}$,若$x\in \omega_i$,则$d_i>d_j,\forall j\neq i$。
设有M种模式类别$\omega_1,\omega_2,\cdots, \omega_M,$,若在训练过程的第$k$次迭代时,一个属于$\omega_i$类的模式样本$x$送入分类器,则应先计算出$M$个判别函数:
\[d_j(k)=w_j(k)x,j=1,2,\cdots,M\]
若$d_i(k)>d_j(k),j=1,2,\cdots,M,\forall j\neq i$的条件成立,则权向量不变,即
\[w_j(k+1)=w_j(k),j=1,2,\cdots,M\]
若其中第l个权向量使得$d_i(k)\leq d_1(k)$,则相应的权向量应做调整,即
\[\left\{ {\begin{array}{*{20}{c}}
{{w_i}(k + 1) = {w_i}(k) + Cx}\\
{{w_l}(k + 1) = {w_l}(k) - Cx}\\
{{w_j}(k + 1) = {w_j}(k),\;j = 1,2, \ldots ,M,\;j \ne i,\;j \ne l}
\end{array}} \right.\]
其中C是一个正常数。权向量的初始值$w_i(1),i = 1,2,\cdots,M$可视情况任意选择。
3. 算法讨论
–这里的分类算法都是通过模式样本来确定判别函数的系数,但一个分类器的判断性能最终要受并未用于训练的那些未知样本来检验。
–要使一个分类器设计完善,必须采用有代表性的训练数据,它能够合理反映模式数据的整体。
–要获得一个判别性能好的线性分类器,究竟需要多少训练样本?直观上是越多越好,但实际上能收集到的样本数目会受到客观条件的限制;过多的训练样本在训练阶段会使计算机需要较长的运算时间;一般来说,合适的样本数目估计:若k是模式的维数,令C=2(k+1),则通常选用的训练样本数目约为C的10~20倍。
感知器算法例题ppt_感知器的训练算法相关推荐
- 感知器算法例题ppt_感知器算法.ppt
您所在位置:网站首页 > 海量文档  > 计算机 > 数据结构与算法 感知器算法.ppt14页 本文档一共被下载:次, ...
- 感知器算法例题ppt_感知器算法学习课件.ppt
W的训练过程: 例如:x1, x2, x3∈ω1 作 x1, x3的垂直线可得解区(如图) 假设起始权向量w1=0 ρk = 1 1. x1, x2, x3三个矢量相加得矢量2,垂直于矢量2的超平面H ...
- 感知器算法例题ppt_感知器算法
感知器算法是一种线性分类器(原始形式和对偶形式) 1.首先,我们假定线性方程 wx+b=0 是一个超平面,令 g(x)=wx+b,也就是超平面上的点x都满足g(x)=0.对于超平面的一侧的点满足:g( ...
- NLP --- 文本分类(基于LDA的隐语意分析训练算法详解)
上一节详细介绍了什么是LDA,详细讲解了他的原理,大家应该好好理解,如果不理解,这一节就别看了,你是看不懂的,这里我在简单的叙述LDA的算法思想: 首先我们只拥有很多篇文本和一个词典,那么我们就可以在 ...
- 传统神经网络ANN训练算法总结
学习/训练算法分类 神经网络类型的不同,对应了不同类型的训练/学习算法.因而根据神经网络的分类,总结起来,传统神经网络的学习算法也可以主要分为以下三类: 1)前馈型神经网络学习算法-----(前馈型神 ...
- 循环神经网络——RNN的训练算法:BPTT
前文:循环神经网络--初学RNN https://blog.csdn.net/weixin_38522681/article/details/109129490 循环神经网络--RNN的训练算法:BP ...
- ML:基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic.梯度下降算法GD.LoR逻辑回归.Perceptron感知器.支持向量机(SVM_Linear.SVM_Rbf).LDA线性判别分析算法进行二分类预测(决策 ...
- 神经网络算法-论证单层感知器的局限性
神经网络算法-论证单层感知器的局限性 今天课上学习了一个思路 将真值表转换到平面直角坐标系中 来论证线性可分还是不可分,挺有意思记录一下. 简单感知器模型实际上仍然是MP模型的结构,但是它通过采用监督 ...
- 模式识别算法之2--感知器(感知机)算法
说明:摘自维基百科 目录: 感知器介绍 历史 结构 感知器介绍 感知机(英语:Perceptron)是Frank Rosenblatt在1957年就职于Cornell航空实验室(Cornel ...
最新文章
- 【通俗理解线性代数】 -- 理解二次型
- JAVA的abstract修饰符 接口interface用法 抽象类和interface的差别
- 1载波把32个信道按_「防疫」截至8月27日,单日确诊新增32例,张文宏带来1个坏消息...
- atlas mysql 读写分离_MySQL读写分离工具Atlas
- vue在ie9中的兼容问题
- docker仓库搭建、加密、用户认证
- [有限元] 四结点三角形单元和五结点三角形单元的形函数
- busybox订制小型linux(二)
- oracle增加网络服务,Oracle 配置监听和本地网络服务
- Android开发系列十:使用Jsoup解析HTML页面
- win7服务器设置远程连接数据库,高手亲自帮您windows7系统中SQL Server2008设置开启远程连接的操作图文教程...
- Serenity框架官方文档翻译前言(什么是Serenity平台)
- C#和VB.net语法对比图_C#教程
- python中randon随机数
- 微信小程序与内嵌网页交互实现支付功能
- mysql 记录所有操作_mysql记录操作
- matplotlib学习-2
- 小菜鸟的python学习之路(2)
- wangEditor实现用户自定义图片大小(改源码)
- 搜索引擎-超级搜索技巧