机器学习算法之SVM（二）概述

前面的初识部分我们说了，在划分的时候要求margin最大化

如下图，红线用W*X=0表示，则红线左上方的区域可以用W*X>0表示，右下方的区域可以用W*X<0表示

同理，红线左侧的虚线用W*X=-k表示，右侧的虚线用W*X=k表示，区域划分如下图

如下图，X1和X2分别是红线左右两侧虚线上的点，

利用向量（X1-X2）在W上的投影就可以算出Margin，接下来我们就是在Y*(W*X) ≥k 的条件下求margin的最大值

高等数学里面我们学过拉格朗日乘数法，求一个函数在其它约束条件下的极值，后面的数学推导可以参见http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf

其中，||w||叫做向量w的范数

更多参考：https://course.ccs.neu.edu/cs5100f11/resources/jakkula.pdf

http://www.cs.columbia.edu/~kathy/cs4701/documents/jason_svm_tutorial.pdf

机器学习算法之SVM（二）概述相关推荐

机器学习算法系列（二十二）-近似k近邻算法-Annoy（Approximate Nearest Neighbor / ANN）
阅读本文需要的背景知识点:k近邻算法.一丢丢编程知识一.引言前面一节我们学习了机器学习算法系列(二十一)-k近邻算法(k-Nearest Neighbor / kNN Algorithm),其 ...
机器学习算法总结--SVM
简介 SVM是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解.或者简单的可以理解为就是在高维空间中寻找一 ...
svm通俗讲解_机器学习算法：SVM
关于支持向量机(SVM)的文章在互联网上当真不知凡几,各人理解不同所呈现的方式也各有不同,当然其中也不乏很多写的非常精彩的文章,如: 支持向量机通俗导论(理解SVM的三层境界)blog.csdn.n ...
机器学习算法实践-SVM中的SMO算法
前言前两篇关于SVM的文章分别总结了SVM基本原理和核函数以及软间隔原理,本文我们就针对前面推导出的SVM对偶问题的一种高效的优化方法-序列最小优化算法(Sequential Minimal Opt ...
机器学习算法（十二）：聚类（2）层次聚类 Hierarchical Clustering
目录 1 层次聚类 1.1 层次聚类的原理 1.2 两个组合数据点间的距离: 2 自底向上的合并算法 2.1 AGNES算法 (AGglomerative NESting) 2.1.1 原理 2.1. ...
机器学习算法之SVM原理
前言很多知识并不是看一遍就能懂得,特别是对于搞算法的,数学问题博大精深,需要重复不断的学习,理解,实验.比如这个SVM,支持向量机,我很难看懂里面的数学原理,到目前为止理解都是泛泛的. 正文 svm ...
机器学习算法系列（二十）-梯度提升决策树算法（Gradient Boosted Decision Trees / GBDT）
阅读本文需要的背景知识点:自适应增强算法.泰勒公式.One-Hot编码.一丢丢编程知识一.引言前面一节我们学习了自适应增强算法(Adaptive Boosting / AdaBoost Alg ...
机器学习算法加强——SVM实践
首选--高斯核函数 import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot a ...
[机器学习算法]支持向量机SVM原理简介
一.问题和超平面描述给定训练集分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面,将不同类别的样本分开,但能将训练样本分开的划分超平面可能有很多,如下图所示: 直观来看,应该去找位于 ...

机器学习算法之SVM（二）概述

机器学习算法之SVM（二）概述相关推荐

最新文章

热门文章