机器学习实战--5.支持向量积

1支持向量机(Support Vector Machine，SVM)

（1）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：
当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机；
（2）线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。
（3）优点：
1、使用核函数可以向高维空间进行映射
2、使用核函数可以解决非线性的分类
3、分类思想很简单，就是将样本与决策面的间隔最大化
4、分类效果较好
（4）缺点：
1、对大规模数据训练比较困难
2、无法直接支持多分类，但是可以使用间接的方法来做
（5）主要应用
应用场景：文本分类、人像识别、医学诊断等。

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。
1.支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：
当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机；
2.如果一个线性函数能够将样本分开，称这些数据样本是线性可分的。
3.那么什么是线性函数呢？其实很简单，在二维空间中就是一条直线，在三维空间中就是一个平面，以此类推，如果不考虑空间维数，这样的线性函数统称为超平面。
4.线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。
5.为什么要间隔最大呢？
一般来说，一个点距离分离超平面的远近可以表示分类预测的确信度，SVM的目标是寻找一个超平面，使得离超平面较近的异类点之间能有更大的间隔，即不必考虑所有样本点，只需让求得的超平面使得离它近的点间隔最大。SVM的思想是使得间隔最大化，也就是：max2/||W||
6.怎样计算间隔？
距离超平面最近的这几个样本点满足yi(WTxi+b)=1，它们被称为“支持向量”。虚线称为边界，两条虚线间的距离称为间隔（margin）。间隔的计算于两个异类支持向量的差在 W方向上的投影。

机器学习实战--5.支持向量积相关推荐

机器学习实战之SVM
一引言: 支持向量机这部分确实很多,想要真正的去理解它,不仅仅知道理论,还要进行相关的代码编写和测试,二者想和结合,才能更好的帮助我们理解SVM这一非常优秀的分类算法支持向量机是一种二类分类算法,假 ...
机器学习实战笔记(Python实现)-02-k近邻算法(kNN)
k近邻算法(kNN) 本博客来源于CSDN:http://blog.csdn.net/niuwei22007/article/details/49703719 本博客源代码下载地址:CSDN免费下载. ...
免费课程 | 云脑机器学习实战训练营，中美大咖携手带你飞！
随着机器学习的不断发展,人工智能掀起了新一轮的热潮.这次人工智能的复兴,最大的特点就是AI能够走入业界的真实应用场景,与商业模式紧密结合,开始在产业界发挥出真正的价值. 在业界的真实应用中,如何挖掘用 ...
《机器学习实战》总结
用了大概一个月的时间,终于把<机器学习实战>这本书看了一遍,书中的代码也全部敲了一遍.下来就总结下书中提到的各个算法. (注意,本博客适用于复习,不适用新手) 一.监督学习我的理解就是给 ...
这本《Python+TensorFlow机器学习实战》给你送到家！
小伙伴们,本公众号很久没用送书啦,是不是很是期待呀?放心啦,这次每个大佬送5本书,一共25本!包邮到你家楼下,哈哈! 怎么送书呢? 方法当然是很简单啦,关注下面公众号,后台回复「抽奖」,弹出小程序二维 ...
机器学习实战13-卷积神经网络
机器学习实战13-设备和服务器上的分布式 TensorFlow就先不学习了,详情可参见: 十二.设备和服务器上的分布式 TensorFlow 卷积神经网络(CNN)是从大脑视觉皮层的研究中出现的,自 ...
机器学习实战（十一）FP-growth（频繁项集）
目录 0. 前言 1. 构建FP树 2. 从FP树中挖掘频繁项集 3. 实战案例 3.1. FP-growth寻找频繁项集学习完机器学习实战的FP-growth,简单的做个笔记.文中部分描述属于个人 ...
机器学习实战（十）Apriori（关联分析）
目录 0. 前言 1. Apriori 算法寻找频繁项集 2. 从频繁项集中挖掘关联规则 3. 实战案例 3.1. apriori算法发现频繁项集和关联规则学习完机器学习实战的Apriori,简单的 ...
机器学习实战（五）支持向量机SVM（Support Vector Machine）
目录 0. 前言 1. 寻找最大间隔 2. 拉格朗日乘子法和KKT条件 3. 松弛变量 4. 带松弛变量的拉格朗日乘子法和KKT条件 5. 序列最小优化SMO(Sequential Minimal O ...

机器学习实战--5.支持向量积

1支持向量机(Support Vector Machine，SVM)

机器学习实战--5.支持向量积相关推荐

最新文章

热门文章