支持向量机之线性可分问题

2024-06-23 19:08:32

支持向量机为一类二分类的广义线性分类器，属于监督学习的范畴。支持向量机算法不仅可以用于分类问题，还可以用于回归问题，擅长处理数据线性不可分的情况，主要通过引入核函数来实现。下边简述线性可分问题的思想过程：

1.支持向量机的算法原理

二分类问题，寻找“正中间”的那个超平面

这个超平面对训练样本局部扰动的“容忍度”最好，即所产生的分类结果是最鲁棒的，对未见样本的泛化能力最强

2.线性可分问题

可以用一个超平面将两类样本完全分开的分类问题称为线性可分问题。

支持向量机的目标是寻找一个分隔超平面，不仅能正确分类，而且要是的每一类样本中距离超平面最近的样本到超平面的距离尽可能远。

分隔超平面描述：

$\omega^{T}x+b=0$

样本到超平面的距离：

$r=\frac{\left | \omega ^{T}x_{i}+b \right |}{\left \| \omega \right \|}$

如上图中间最出的黑线的平行的线有很多，要想处于正中间，我们对 $\omega$ 和 $b$ 加上如下约束：

$\min\limits_{\omega,b}\left | \omega ^{T}x+b \right |=1$

则

对于正类（ $y_{i}=+1$ ）和负类（ $y_{i}=-1$ ）有约束

等价于

$y_{i}(\omega ^{T}x_{i}+b)\geqslant 1$

使约束的等式形式成立的训练样本称为“支持向量”，两个异类支持向量到超平面的距离之和称为“间隔”

要找到具有“最大间隔”的超平面，也就是找满足上述约束的（ $\omega,b$ ）,使得 $r$ 最大，即

$\max\limits_{\omega ,b} \frac{2}{\left \| \omega \right \|}\\ s.t \quad y_{i}(\omega ^{T}x_+b)\geqslant 1$

等价于

$\min\limits_{\omega,b} \frac{1}{2}\left \| \omega \right \|^{2}\\ s.t \quad y_{i}(\omega^{T}x_{i}+b)\geqslant 1$

这就是支持向量机的基本模型,为凸二次规划，有唯一的极小解。

利用拉格朗日乘子法求其对偶问题：

等价于

支持向量机之线性可分问题相关推荐

线性支持向量机、线性可分支持向量机、非线性支持向量机是怎么区分的？
SVM(Support Vector Machine)是一种二类分类模型. 它的基本模型是定义在特征空间上的间隔最大的线性分类器. 支持向量就是最大间隔或者分割超平面上的那几个临界点,具体入下图所示: ...
支持向量机之线性可分支持向量机（一）
简介支持向量机(support vector machines,SVM)是一种二分类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使得它有别于感知机:支持向量机还包括核技巧 ...
支持向量机专题——线性可分支持向量机
原文支持向量机(support vector machine, SVM)是一种经典的分类器,其主要思想是学习一个在特征空间上使间隔最大的分类器.支持向量机的学习可以看成是一个求解凸二次规划问题的过程 ...
统计学习方法笔记(五)-线性可分支持向量机原理及python实现
支持向量机支持向量机线性可分支持向量机最大间隔法代码实现案例地址支持向量机支持向量机(support vector machines,SVM)是一种二分类模型,它的基本类型是定义在特征空 ...
支持向量机——线性可分支持向量机
文章目录 1 线性可分支持向量机 2 函数间隔和几何间隔 3 间隔最大化 4 学习的对偶算法 GitHub 简书 CSDN 1 线性可分支持向量机支持向量机(Support vector machi ...
线性可分支持向量机、线性支持向量机、非线性支持向量机的区别
线性可分支持向量机: 线性可分支持向量机处理的是严格线性可分的数据集. 其分类超平面为: 相应的决策函数为:或者其学习的优化问题为: 线性支持向量机: 线性支持向量机处理的是线性不可分的数据集.对于 ...
支持向量机1-线性可分支持向量机
线性可分支持向量机一.理论基础一.支持向量机分类二.函数间隔与几何间隔三.支持向量四.线性可分支持向量机 4.1 线性可分支持向量机的优化函数 4.2 线性可分支持向量机的最优化问题求解 4 ...
支持向量机（SVM）：超平面及最大间隔化、支持向量机的数学模型、软间隔与硬间隔、线性可分支持向量机、线性支持向量机、非线性支持向量机、核函数、核函数选择、SMO算法、SVM vs LR、优缺点
支持向量机(SVM):超平面及最大间隔化.支持向量机的数学模型.软间隔与硬间隔.线性可分支持向量机.线性支持向量机.非线性支持向量机.核函数.核函数选择.SMO算法.SVM vs LR.优缺点目录
【统计学习方法】线性可分支持向量机对鸢尾花(iris)数据集进行二分类
本文摘要 · 理论来源:[统计学习方法]第七章 SVM · 技术支持:pandas(读csv).numpy.sklearn.svm.svm思想.matplotlib.pyplot(绘图) · 代码目的 ...

最新文章

热门文章