【机器学习】SVM支持向量机模型
本站原创文章，转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com
目录
一. SVM的目标和思想
1.1 SVM硬间隔模型的原始目的
1.2 SVM的直接目标
1.3 什么是支持向量
二. SVM的支持平面的表示方式
2.1 支持面表示方式的初步思路
2.2 初步思路的缺陷与改进
2.3 支持面的最终表示方式
三. SVM模型表达式
3.1 SVM模型表达式
3.2 wx+b的意义
四. SVM模型损失函数
4.1 损失函数
4.2 损失函数解说
本文解说SVM的硬间隔损失函数的定义和思想，以及硬间隔损失函数的推导
一. SVM的目标和思想
本节先大概了解SVM模型的主要思想和目标
1.1 SVM硬间隔模型的原始目的
SVM硬间隔模型用于样本线性可分的二分类，
它的原始目的是找出一个判别面，让样本离判断面的最小距离最大化，
这样的判别面称为SVM的最优判别面
声明
本文所说的SVM都是指硬间隔模型，它基于样本线性可分，
硬间隔是相对软间隔模型而言，软间隔不要求样本线性可分
1.2 SVM的直接目标
直接找最优判别面较难找，SVM并不是直接找最优判别面，
而是在两类样本之间，引入两个平行的支持面(支持面之间不能有样本)
然后让支持平面尽量撑开，
当两个支持平面的距离最大化时，
两个支持平面的中心，就是要找的最优判别面
所以，
SVM的直接目标是找出距离最大化的两个支持面
从而曲线救国达到找出最优判别面的原始目的
1.3 什么是支持向量
落在支持面上的样本，称为支持向量，
它们是模型的关键样本
也就是说，看起来用很多样本训练模型，但最关键的样本其实并不多
二. SVM的支持平面的表示方式
本节说明SVM支持平面的表示方法，是后面讲述模型和损失函数的基础和前提
2.1 支持面表示方式的初步思路
一组支持面可以由(w,b,d)指定，
（w,b)代表两个支持面的中心平面wx+b =0，
中心平面向两边展开d距离，就是两个支持面
注： wx+b =0 同时也就是判别面
2.2 初步思路的缺陷与改进
初步思路中的缺陷
初步思路中，用(w,b,d)来表示支持面
这种表述最大的问题是，
由于wx+b=0与k(wx+b)=0表示的是同一个平面，
虽然最优支持面只有一组，假设为(w,b,d)
但对所有k>0, (kw,kb,d)都能表示这组最优支持平面，
即最后的解(的表述)存在无限多个
改进思路
注意到d的取值范围为
对平面wx+b=0，的取值范围也是
，
不妨用
这样的表示能让解的表述较为唯一，
如下（w,b）表示的是以Wx+b=0为中心面两边展开
而（kw,kb）虽然与(W,b)的中心面一致，但撑开的距离为
,
所以两者表示的不是同一组支持面（k=-1除外）
2.3 支持面的最终表示方式
SVM对支持面的表示最终设计如下，
【机器学习】SVM支持向量机模型相关推荐
- 网格向量必须包含特征点。_【专题研究】基于SVM支持向量机模型的选股策略
研究过集成学习中的随机森林和XGBoost后,本文将介绍一种更传统的机器学习方法:SVM支持向量机.SVM由于其较高的准确度,并且能够解决非线性分类问题,曾一度成为非常流行的机器学习算法.本文分别介绍 ...
- R语言SVM支持向量机模型数据分类实战：探索性数据分析、模型调优、特征选择、核函数选择
R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择 目录 R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择 #SVM基本原 ...
- 支持向量机python代码_Python机器学习SVM支持向量机算法理论 | kTWO-个人博客
PS:这篇文章讲的是SVM的算法的基础理论知识,因为博主也是刚学习没多久,对SVM的数学思想了解的不是很深,所以这篇文章就简单介绍一下什么是SVM以及SVM是怎么工作的. 1.什么是支持向量机(SVM ...
- 详解SVM支持向量机算法(四:坐标上升和SMO算法)
作者:RayChiu_Labloy 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 目录 背景 坐标上升算法 定义 过程 举个求解的栗子 基于坐标上升的SMO算法 SMO ...
- 机器学习之支持向量机（SVM）总结
文章目录 1.知道SVM相关的各种概念 2.知道目标函数.损失函数.正则项的意义 2.1.目标函数 2.2.损失函数 2.3.正则化(添加噪音避免过拟合) 3.了解SVM算法原理 4.知道SVM的目标 ...
- 入门机器学习(十三)--支持向量机(SVM)
1. 优化目标(Optimization Objective) 目前来说,我们已经学过了单变量与多变量的线性回归,逻辑回归以及神经网络等机器学习算法,他们在各自的领域都发挥着巨大的作用.但是还有一个算 ...
- 机器学习——SVM（支持向量机）与人脸识别
目录 系列文章目录 一.SVM的概念与原理 1.SVM简介 2.SVM基本流程 3.SVM在多分类中的推广 二.经典SVM运用于图像识别分类 三.SVM运用于人脸识别 1.预处理 1.1 数据导入与处 ...
- 机器学习（MATLAB实现）——SVM支持向量机（一）
SVM支持向量机 支持向量机理论概述 二分类支持向量机 多分类支持向量机 libsvm工具箱使用简介 训练函数 预测函数 libsvm参数实例 一点拓展 参考文献 支持向量机理论概述 核函数用于将支持 ...
- 机器学习：SVM支持向量机理解
SVM应该是机器学习过程中第一个特别复杂的算法了,其中大量的数学推导公式和优化算法,对小白真的太不友好了.这篇文章参考了许多优秀博文,主要是了解一下SVM,尽量少涉及复杂的公式推导,有些直接给出结论. ...
最新文章
- mysql 5.6 online ddl_mysql5.6的online ddl功能测试
- JAVA网络编程：TCP/IP数据包结构
- 用户画像，如何驱动产品链路优化？
- 【数据结构与算法】之有关“跳跃游戏”的求解思路与示例算法
- Java基础篇1——变量与数据类型
- docker中更新镜像——基于Prometheus
- 1组第一次作业-小组自我介绍
- python编程入门指南-《中小学生Python编程入门指南》3.4 字典
- docker 外部连接_Docker容器网络通信的那些事儿
- win32 API 调用方法
- Windows 常用快捷键 打开cmd DOS命令
- Plugin Alliance DS Audio THORN for Mac(电子音乐合成器插件) v1.2.0破解版
- 无损音频wav音乐格式怎么转换成mp3格式
- 项目合同管理 试题分析
- MATLAB函数合辑
- 文明游戏5的计算机配置,文明6配置要求高吗 文明6最低电脑配置与推荐电脑配置...
- 自己动手写工具（一）一个用Java8实现的内存级别的缓存
- SecureCRT自动保存日志设置
- MACbook安装双系统，启动转换助理提示“需要64位windows10或更高版本的ISO文件”
- 网站静态化--谈谈网站静态化
热门文章