【周志华机器学习】支持向量机
第六章 支持向量机
- 间隔与支持向量
- 对偶问题
- 核函数
- 软间隔与正则化
- 支持向量回归
间隔与支持向量
分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开。但能将训练样本分开的划分超平面可能有很多，应该找哪一个呢？
最直观的应该找正中间的超平面，它容忍度最高，鲁棒性最强。
在样本空间中，划分超平面可以通过如下方程式来描述：
其中，W为法向量，决定超平面的方向。b为位移项，决定了超平面与原点的距离。样本空间中任意点X到超平面的距离可写为：
距离超平面最近的这几个训练样本使得(6.3)成立，他们被称为支持向量，两个异类支持向量到超平面的距离之和被称为间隔为
欲找到最大间隔的超平面，也就是最大化
这就是支持向量机SVM的基本型。
对偶问题
因此问题的关键在于求解上述式子。此问题本身是一个凸二次规划问题，能直接用现成的优化计算包求解，但有更高效的办法。
对式子使用拉格朗日乘子法可得到其对偶问题：
求解出a后，求出w与b即可得到模型：
上述过程还需满足KKT条件：
于是，对任意训练样本总有a=0或yf（x）=1。若a=0，则该样本不会对f（x）有影响。若a>0，所对应样本位于最大间隔边界，是一个支持向量。
因此，训练完成后，大部分训练样本都不需要保留，最终模型仅与支持向量有关。
求解a的一个高效算法是SMO。他的思路是先固定除a之外的所有参数，然后求a上的极值。由于存在约束
，若固定a之外的其他变量，则a可由其他变量导出。于是， SMO 每次选择两个变量ai和ai，并固定其他参数.这样，在参数初始化
后， SMO不断执行如下两个步骤直至收敛:
1、选取一对需要更新的变量ai和aj。
2、固定其他参数，求解ai和aj。
核函数
在本章前面的讨论中，我们假设训练样本是线性可分的，即存在一个划超平面将训练样本正确分。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。
对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。
若原始空间是有限维，那么一定存在一个高维特征空间使得样本可分。
这里的k（）就是核函数。式6.24显示出模型的最优解可通过训练样本的核函数展开，这一展式亦称为支持向量展式。
软间隔与正则化
在前面的讨论中，我们一直假定训练样本在样本空间或特征空间中是线性可分的。即存在一个超平面能将不同类的样本完全划分开 ，在现实任务往往很难确定合适的核函数使得训练样本在特征空间中线性可分；退一步说即使恰好找到了某个核函数使 练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合所造成的。
缓解该问题的一个办法是允许支持向量机在一些样本上出错，为此要引入软间隔：
软间隔允许某些样本不满足约束：
在最大化间隔的同时，不满足约束的样本应尽可能少，于是优化目标写为：
这就是常用的软间隔支持向量机。
支持向量回归
传统回归是直接计算模型输出与真实输出之间的差别来计算损失。**支持向量回归（SVR）**假设我们能容忍两者之前有e的偏差，即他们之间偏差大于e才计算损失。若样本落入隔离带，则认为预测正确。
【周志华机器学习】支持向量机相关推荐
- 周志华机器学习-支持向量机
周志华机器学习-支持向量机 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 – 文章目录 周 ...
- 周志华机器学习（6）：支持向量机
周志华机器学习(6):支持向量机 6 支持向量机 6.1 间隔与支持向量 6.2 对偶问题(dual problem) 6.3 核函数 6.4 软间隔与正则化 基本是大段摘录西瓜书加上一些自己的解释补 ...
- 周志华机器学习--绪论
周志华机器学习–绪论 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 文章目录 周志华机器学 ...
- 周志华机器学习（西瓜书）学习笔记（持续更新）
<周志华机器学习>笔记 第1章 绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 1.5 发展历程 1.6 应用现状 第2章 模型评估与选择 2.1 经验误差与过拟 ...
- 周志华机器学习--模型评估与选择
周志华机器学习–模型评估与选择 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 文章目录 周 ...
- 周志华机器学习-决策树
周志华机器学习-决策树 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 文章目录 周志华机器 ...
- 周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据 使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
- 【读书笔记】周志华 机器学习 第二章 模型评估和选择
第二章 模型评估和选择 1 欠拟合和过拟合 偏差和方差 1.1 欠拟合和过拟合 1.2 偏差和方差 2 评估方法 性能度量 2.1 评估方法 2.1.1 留出法 2.2.2 交叉验证法 2.2.3 自 ...
- 【周志华机器学习】六、支持向量机
文章目录 参考资料 前言:一个关于SVM的童话故事 1. 基本概念 1.1 函数间隔与几何间隔 1.1.1 函数间隔 1.1.2 几何间隔 1.2 最大间隔与支持向量 1.3 从原始优化问题到对偶问题 ...
- 【吃瓜教程】周志华机器学习西瓜书第三章答案
线性模型结构梳理 3.1 试析在什么情形下式3.2中不必考虑偏置项b 答案一: 偏置项b在数值上代表了自变量取0时,因变量的取值: 1.当讨论变量x对结果y的影响,不用考虑b: 2.可以用变量归一化( ...
最新文章
- 机器学习中的不平衡分类方法(part4)--朴素贝叶斯分类器
- 汇编 --- 初体验
- Eclipse之ANT使用
- openGL中用Assimp库加载骨骼动画
- linux u盘保护,如何解除U盘写保护状态？
- uni-app上传安卓应用市场的坑
- 踩坑系列《十一》完美解决阿里云vod视频点播无法播放音频和视频点播控制台里的媒资库里面的视频无法播放
- 渗透测试实战指南笔记
- 2.4G wifi 的频道/信道 20M 40M的概念
- 5分钟理解Focal Loss与GHM
- win10 装黑苹果 完整教程
- 如何设计一个通用的查询接口
- 面试资料整理（整理中~）
- python简单数字游戏大全_python数字游戏，让你欲罢不能！
- Android 零基础学习之路
- Linux系统编程 —共享内存之mmap
- 二狗与歪果仁 java I/O 字符流
- android填空题界面的代码,Android 使用代码实现一个选词（拖拽）填空题
- phoronix-test-suit安装与测试
- 10个常见的前端手写功能，你全都会吗？