什么是SVM?

SVM是一种二分类算法,其中SVM三个重要的部分是间隔、对偶、核技巧。SVM的基本模型是定义在原始特征空间上基于最大间隔的线性分类器,Kernal的引入使得SVM变成了非线性分类器。SVM的学习策略就是最大化间隔,后面跟会提到两种间隔:functional margin和geometric margin。可将这个学习问题转换为一个解凸二次规划的问题,SVM就变成了一个解凸二次规划问题的最优化算法。kernal思想同样可以用在其他机器学习算法中。

硬间隔SVM

首先假设,数据中的两个类是线性可分的,就是说可以将两个类用一条直线或者一个超平面完全分开,因此就可以使用基本的SVM模型对数据进行分类。

硬间隔SVM可以理解为最大间隔分类器,就是说在两类之间找到一个超平面,使得这个超平面到达两类之间的间隔最大,由于是线性分类器,将两类以超平面分开,因此可以将超平面表示为  ,如图:

由此SVM转换为两个子问题,如何定义间隔,以及如何使间隔最大 。

如何定义间隔

从上面图中可以看到,有三条线均可以将两类“完美”分开,但是根据间隔最大的思想,蓝线明显具有更好的泛化效果。SVM是一个判别模型,它只需要判别sample属于哪一类即可,不需要计算概率。使用逻辑回归中的sigmoid函数可以实现这样的效果,将结果映射到0-1区间内,大于0.5为“1”类,小于0.5为“0”类。也可以理解为一个符号函数:,大于零时返回1,小于零时返回-1,如图:

在CS229中给出了两种间隔,几何间隔和函数间隔,对于这两种间隔可以这样理解。获得最优间隔的前提是分类正确。在超平面上方一侧的样本点带入超平面的表达式为正,另一侧样本点带入超平面的表达式中为负,因此可以得到下面这个表达式:

观察发现  和  同号,所以可以将式子简化为:

因此,令:

这个形式便是函数间隔。

对于几何间隔,可以直接根据点到直线距离计算得到:

由于,

且y=-1或1,因此我们可以去掉绝对值写成这种形式:

可以看出几何间隔和函数间隔相差一个,因为对超平面的w和b同时缩放相同倍数,超平面是不变的,这个很容易理解,因此几何间隔和函数间隔是表示同一个超平面。对于整体的间隔定义为所有样本点中到超平面中最小的间隔:

如何使间隔最大化

接下来就是将间隔最大化,也就是最大化最小间隔:

这个公式很好理解,最小间隔为, 约束条件是每一个样本点到超平面的间隔都大于等于

由于将超平面的参数w,b同比例缩放不改变超平面的位置,令,带入上式可以得到:

可以将上面的式子接着转换:

由此将SVM转化为了一个凸二次规划问题求解。

SVM笔记(一)硬间隔SVM相关推荐

  1. 砥志研思SVM(一) 最优间隔分类器问题(上):硬间隔SVM

  2. 【机器学习系列】之SVM硬间隔和软间隔

    作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...

  3. 机器学习西瓜书笔记:软间隔和支持向量回归SVR

    1.首先由SVM问题(最大间隔超平面模型):所有样本都可以正确分类的最优化问题,引入软间隔SVM(允许分类错误)的最优化问题,即需要添加损失函数(样本不满足约束的程度,或者说分类错误的程度),然后最优 ...

  4. SVM笔记(二)拉格朗日对偶、KTT条件、软间隔SVM

    上一篇:SVM笔记(一) 上一篇写到讲硬间隔的SVM转化为凸二次规划问题,也就是QP问题,之后可以是用现成的软件求解QP问题.但是如果样本数量大和维度比较高,会导致问题求解困难或不可解,因此引入了拉格 ...

  5. 支持向量机(SVM):超平面及最大间隔化、支持向量机的数学模型、软间隔与硬间隔、线性可分支持向量机、线性支持向量机、非线性支持向量机、核函数、核函数选择、SMO算法、SVM vs LR、优缺点

    支持向量机(SVM):超平面及最大间隔化.支持向量机的数学模型.软间隔与硬间隔.线性可分支持向量机.线性支持向量机.非线性支持向量机.核函数.核函数选择.SMO算法.SVM vs LR.优缺点 目录

  6. 机器学习-SVM硬间隔与软间隔:重要参数C

    SVM在软间隔数据上的推广 到这里,我们已经了解了线性SVC的基本原理,以及SVM如何被推广到非线性情况下,还了解了核函数的选择和应用.但实际上,我们依然没有完全了解SVM用于二分类的全貌.我们之前在 ...

  7. 百题突击12:1,SVM算法的优缺点 2,SVM的超参数C如何调节 3,SVM的核函数如何选择 4,简述SVM硬间隔推导过程 5,简述SVM软间隔推导过程

    1,SVM算法的优缺点 优点 可以解决高维问题,即大型特征空间: 解决小样本下机器学习问题: 能够处理非线性特征的相互作用: 无局部极小值问题:(相对于神经网络等算法) 无需依赖整个数据: 泛化能力比 ...

  8. 手撕SVM公式——硬间隔、软间隔、核技巧

    1.SVM作用 对于给定的训练样本集D={(x1,y1), (x2,y2),- (xn,yn)},yi属于{-1,+1},希望能找出一个超平面,把不同类别的数据集分开,对于线性可分的数据集来说,这样的 ...

  9. SVM求硬间隔最大超平面

    SVM求硬间隔最大超平面 题目描述 解法 Reference 题目描述 正例点 x 1 = ( 3 , 3 ) T x_1=(3,3)^{T} x1​=(3,3)T, x 2 = ( 4 , 3 ) ...

  10. svm硬间隔与软间隔

    硬间隔:完全分类准确,其损失函数不存在:其损失值为0:只要找出两个异类正中间的那个平面: 软间隔:允许一定量的样本分类错误:优化函数包括两个部分,一部分是点到平面的间隔距离,一部分是误分类的损失个数: ...

最新文章

  1. 前端学习(811):api和webapi
  2. 打印机更换感光鼓单元k_干货,激光打印机常见故障维修方法总结
  3. silverlight 不可
  4. 用 Python 识别图片中的文字
  5. java jpa 字段 关联_jpa查询关联表懒加载数据initialize proxy no session
  6. 架构之路--实战项目记录(一) 概述
  7. quartus ii IP核的破解
  8. 西部数据绿盘、蓝盘、黑盘、红盘和紫盘有什么区别
  9. 元胞自动机在交通系统中的应用之一【元胞自动机的基础知识】
  10. 软件测试项目经验案例,软件测试心得与经验总结......
  11. 一个人开发手游有多难
  12. 记录开始学习AS400(01)
  13. 台式计算机用u盘给电脑安装系统,台式电脑要怎么进行U盘重装系统
  14. 【苹果推iMessage】软件安装命令打开工程: open ios/AwesomeProject.xcodeproj
  15. jad 反编译文件夹下的所有class
  16. qq电脑登录二维码加载失败怎么回事(解决办法)
  17. GDPR 立法背景、进程及制度要点
  18. 造车新势力“蔚小理”变弱了?不,他们已走过幼年期
  19. 设A=(a1,…,am)和B=(b1,…,bn)均为顺序表,A’和B’分别为A和B中除去最大共同前缀后的子表,求出A,B的大小
  20. python中怎么将字母倒着写,如何颠倒字母顺序

热门文章

  1. 四 Lync Server 2013 部署指南-前端部署(1)
  2. 使用java6做webservice 的客户端
  3. 自绘GroupBox控件
  4. [置顶] 【cocos2d-x入门实战】微信飞机大战之六:子弹层的处理
  5. js中的instanceof运算符
  6. codevs 1946 阿狸的打字机
  7. Introduction to the 80386
  8. 使用CultureInfo来显示中文星期
  9. Item 22. 模板方法与曲线救国(Template Method)
  10. 机器学习之KNN 算法