数学之路(3)-机器学习(3)-机器学习算法-SVM[7]
SVM是新近出现的强大的数据挖掘工具,它在文本分类、手写文字识别、图像分类、生物序列分析等实际应用中表现出非常好的性能。SVM属于监督学习算法,样本以属性向量的形式提供,所以输入空间是Rn的子集。
图1
如图1所示,SVM的目标是找到两个间距尽可能大的边界平面来把样本本点分开,以”最小化泛化误差“,即对新的样本点进行分类预测时,出错的几率最小。落在边界平面上的点称为支持向量。Vapnik证明如果可以找到一个较小的支持向量集,就可以保证得到很好的泛化能力----也就是说支持向量的个数越少越好。
数据点通常在输入空间是线性不可分的,我们把它映射到更高维的特征空间,使其线性可分----这里的映射函数我们称之为核函数。特征空间的超平面对应输入空间的一个非线性的分离曲面,因此称为非线性分离器。
线性SVM分类器的输出是u=w*x-b。w是分类平面的法矢,x是输入向量,b是常量,u代表分类。即SVM的目的就是计算出w和b。最大化margin(两个分类平面之间的距离)等价于求下面的二次优化问题:
对于非线性分类器就要把x映射到特征空间,同时考虑误差ε的存在(即有些样本点会越过分类边界),上述优化问题变为:
从输入空间是映射到特征空间的函数称为核函数,LibSVM中使用的默认核函数是RBF(径向基函数radial basis function),即
这样一来就有两个参数需要用户指定:c和gamma。
我们先安装python的机器学习库
http://sourceforge.net/projects/mlpy/
该学习库有以下3个核函数
1、‘linear’ (uT*v)
2、‘poly’ ((gamma*uT*v +coef0)^degree)
3、‘rbf’ (exp(-gamma*|u-v|^2)), ‘sigmoid’ (tanh(gamma*uT*v + coef0))
其中degree为 [int (for ‘poly’ kernel_type)] degree in kernel
下载并安装后,调用 其中的SVM模块对下面的数据进行训练,这次训练我们使用线性核做为SVM的核函数
x = [[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
y=[1,1,0,0,1,0,0,1]
showpoint=['ro','bo']
tshowpoint=['r*','b*']
x=np.array(x)
y=np.array(y)
svm = mlpy.LibSvm()
svm.learn(x, y)
本博客所有内容是原创,如果转载请注明来源
http://blog.csdn.net/myhaspl/
然后生成随机的未知样本测试数据验证生成的SVM模型 ,星号表示未知样本
#未知样本分类
tlp_x1=np.random.rand(50)*(xmax-xmin)+xmin
tlp_x2=np.random.rand(50)*(ymax-ymin)+xmin
tlp_x=np.array(zip(tlp_x1,tlp_x2))
for ii in xrange(0,len(tlp_x)):ty=svm.pred(tlp_x[ii])if ty>0:plt.plot(tlp_x1[ii],tlp_x2[ii], tshowpoint[int(ty)])else:plt.plot(tlp_x1[ii],tlp_x2[ii], tshowpoint[int(ty)])
数学之路(3)-机器学习(3)-机器学习算法-SVM[7]相关推荐
- 机器学习:分类算法SVM(支持向量机)
支持向量机(Support Vector Machine ,SVM)的主要思想是:建立一个最优决策超平面,使得该平面两侧距离该平面最近的两类样本之间的距离最大化,从而对分类问题提供良好的泛化能力.对于 ...
- 机器学习面试——分类算法SVM
1.什么是硬间隔和软间隔? 当训练数据线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机. 当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即线性支持 ...
- 机器学习之matlab算法SVM用150天数据预测上证指数的涨跌
Matlab基于SVM的上证指数涨跌预测 #数据的提取 首先提取150天内上证指数的数据绘制成excel表格,并舍弃掉部分数据,最终保留开盘价作为首列,余列分别为收盘价,最高价,最低价,成交量,成交金 ...
- 我爱机器学习网机器学习类别文章汇总
机器学习领域的几种主要学习方式 From Stumps to Trees to Forests KDD-2014 – The Biggest, Best, and Booming Data Scien ...
- [Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发(决策树、KNN、SVM、分类对比实验)
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- 如何学习机器学习、看待算法竞赛?粉丝精选留言
在前几日的赠书活动中,看到大家的积极留言,非常用心,可以看出对机器学习的热爱.经授权,CV君特意将一些52CV粉丝对学习机器学习.参与算法竞赛的看法.理解与经验放出来,与大家分享,值得收藏细品,希望他 ...
- 机器学习九大算法---支持向量机
机器学习九大算法---支持向量机 出处:结构之法算法之道blog. 前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好 ...
- 信号与系统中的机器学习相关的算法的进展和理解(期末作业)
机器学习是一门多学科交叉专业,涵盖概率论知识,统计学知识,近似理论知识和复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式, 并将现有内容进行知识结构划分来有效提高学习效率. 机器学习 ...
- python机器学习手写算法系列——线性回归
本系列另一篇文章<决策树> https://blog.csdn.net/juwikuang/article/details/89333344 本文源代码: https://github.c ...
- 收藏 | 机器学习模型与算法最全分类汇总!
题图 | AltumCode 机器学习模型与算法包括线性回归.对数几率回归.LASSO回归.Ridge回归.LDA.k近邻.决策树.感知机.神经网络.支持向量机.AdaBoost.GBDT.XGBoo ...
最新文章
- GIt/Github常用命令
- 编程正式进入中考模式!北京海淀:通过信息技术考试方可毕业
- 电脑启动后黑屏只有鼠标_电脑加装固态硬盘后出现黑屏或蓝屏解决方案
- Redis安装和使用指南
- java integer reverse_Leetcode7 Reverse Integer Java实现及分析
- linux 启动rsyslog服务_我的服务器怎么老这么慢,难道说是被挖矿了?linux开机启动项自查...
- javascript函数执行前期变量环境初始化过程
- 【数据结构和算法笔记】KMP算法介绍
- /usr/include/glib-2.0/glib/gtypes.h:32:10: fatal error: glibconfig.h: No such file or directory
- atitit.提取zip rar文件列表 java php c# 的原理与设计
- svg转换pdf用php实现,如何使用javascript在JSPDF中将SVG文件转换为PDF
- 中望cad自定义快捷键命令_中望CAD快捷键全集
- 关于 ADXL362 传感器不工作的说明
- 2.3 WSN的MAC协议
- Flag:通过盲文+摩斯电码才能找到我
- 一阶系统单位阶跃响应的特点_一阶系统的单位阶跃响应.doc
- 猫眼网历史日票房数据爬取
- 开发一个电商网站大概多少钱
- 面试总结三 --- 浏览器与网络
- android:gravity=quot;centerquot;,android:layout_gravity=bottom不起作用问题
热门文章
- linux 算法函数,数据结构——算法之(012)( linux C 全部字符串操作函数实现)...
- java退出不报异常_如何优雅的处理异常(java)?
- sh执行文件 参数传递_Shell脚本传参数方法总结
- c++反汇编与逆向分析技术揭秘_C++反汇编与逆向分析技术揭秘
- hadoop学习6 运行map reduce出错
- selenium+Java自动化
- Bash的循环结构(for和while)
- 回溯算法 ------回溯算法的几个例子
- Linux 进程详解
- 瑞柏匡丞_移动互联的发展现状与未来