深度学习-机器学习（5.1支持向量机）

1.支持向量机(Support Vector Machine)（英文简写SVM）属于监督学习（Supervised Learning）:分类（Classifcation）

2.机器学习的一般框架：

训练集->提取特征向量->结合一定的算法（分类器：比如决策树，KNN）->得到结果

3.介绍：

3.1例子

在这个例子中加入提取了一些实例的向量，可以别映射出上图的这些点，如图有两类的实例，假如数据是N维的，则h3为一个超平面（hyper plane）,那么如何画这个超平面使能很好的分开着两类不同的点呢？

其实可以画无数条线，哪条线最好的区分这些点呢？例如：H1,H2,H3等线，大家大部分会选红线。这就引入了SVM基本的创造的动机，就是要找一个超平面。

3.2SVM寻找区分两类的超平面（hyper plane）,是边际最大。

再例如：

就可以画出如图的超平面即图中的实线，而实线到两边虚线的距离之和为边际（margin）

选取margin最大的超平面。

如何选取是边际（margin）最大的超平面（Max Margin Hyperplane）?

超平面到一侧最近的距离等于到另一侧最近点的距离，两侧的两个超平面平行。

3.线性可区分（linear separable）和线性不可区分（linear inseparable）

（1）线性不可区分：无法通过超平面无法完全分开

（2）线性可区分

4.定义与公式建立

超平面可以定义为：

W:向量，类似于权重的一个向量 X:训练实例 b:bias 偏向

4.1假设2维特征向量：X=(x1,x2)

把b想象为额外的wight

超平面方程为：

所有超平面右上方的点满足：

所有超平面左下方的点满足：

调整weight,使超平面定义边际的两边：

即+1表示一类，-1表示一类

综合以上两式，得到：

所有坐落在边际的两边的超平面上的被称为“支持向量（support vectors）”

分界的超平面和H1或H2上任意一点的距离为：

其中是向量的范数（norm）

所以最大的边际距离为：

下一节继续支持向量机

深度学习-机器学习（5.1支持向量机）相关推荐

深度学习-机器学习(5.2支持向量机SVM上的Python应用)
1.简单的应用,(用前两节的例子) 直接上代码: from sklearn import svm x = [[2,0],[1,1],[2,3]]#定义三个点 y = [0,0,1] #(class l ...
深度学习-机器学习(5.2支持向量机SVM)
1.SVM如何找出最大边际的超平面呢(MMH)? 利用一些数学推到,以上一节的公式可变为有限的凸优化问题(convex quadratic optimization) 利用Karush-Kuhn-Tu ...
信号处理深度学习机器学习_机器学习和信号处理如何融合？
信号处理深度学习机器学习 As a design engineer, I am increasingly exposed to more complex engineering challenges ...
信号处理深度学习机器学习_机器学习与信号处理
信号处理深度学习机器学习机器学习性能与两种关键信号处理算法(快速傅里叶变换和最小均方预测)的有趣对比. (A fun comparison of machine learning performan ...
深度学习机器学习基础_实用的机器学习基础
深度学习机器学习基础 This article describes my attempt at the Titanic Machine Learning competition on Kaggle. ...
计算机视觉面试宝典--深度学习机器学习基础篇（四）
计算机视觉面试宝典–深度学习机器学习基础篇(四) 本篇主要包含SVM支持向量机.K-Means均值以及机器学习相关常考内容等相关面试经验. SVM-支持向量机支持向量机(support vector ...
转载-深度学习与NLP 深度学习|机器学习|人工智能精品视频教程合集分享
原文地址写在前面深度学习与NLP是一个专注分享深度学习技术.NLP领域技术.资讯的专业平台,到目前为止,我们已经分享了20期有关深度学习.NLP.机器翻译等视频教程或视频资源.为了方便大家选 ...
深度学习机器学习面试问题准备（必会）
深度学习机器学习面试问题准备(必会) 第一部分:深度学习 1.神经网络基础问题 (1)Backpropagation(要能推倒) 后向传播是在求解损失函数L对参数w求导时候用到的方法,目的是通过链式 ...
[面试笔试整理1]：深度学习机器学习面试问题准备（必会）
此系列三篇文章的原文链接面试笔试整理1:深度学习机器学习面试问题准备(必会) 1.神经网络基础问题 (1)Backpropagation(要能推倒) 后向传播是在求解损失函数L对参数w求导时候用到的 ...
深度学习与NLP 深度学习|机器学习|人工智能精品视频教程合集分享
写在前面深度学习与NLP是一个专注分享深度学习技术.NLP领域技术.资讯的专业平台,到目前为止,我们已经分享了20期有关深度学习.NLP.机器翻译等视频教程或视频资源.为了方便大家选择合适自己 ...

深度学习-机器学习（5.1支持向量机）

深度学习-机器学习（5.1支持向量机）相关推荐

最新文章

热门文章