对偶的概念？

（1）概念
对偶一般来说是以一对一的方式，常常通过某个对合算子，把一种概念、公理或数学结构转化为另一种概念、公理或数学结构：如果A的对偶是B，那么B的对偶是A。在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解。

（2）SVM中的对偶算法
原始最大间隔最优化问题，先转为拉格朗日函数问题，再将拉格朗日函数转为求其对偶问题，即将朗格朗日优化问题中的 min(max) 求解顺序对调，变为max(min)。

原朗格朗日最优化目标函数
min(max(L(x,α,β)))min(max(L(x,\alpha,\beta))) min(max(L(x,α,β)))
对偶最优化目标函数
max(min(L(x,α,β)))max(min(L(x,\alpha,\beta))) max(min(L(x,α,β)))

原始问题外层的优化目标参数直接是 x ，无法直接去优化得到这个参数，因为还存在着其他未知的拉格朗日参数。所以，对偶问题外层的优化目标参数是拉格朗日参数，然后通过求得的拉格朗日参数，间接得到最终要求的超平面的参数 x 。这样就可以通过求解对偶问题得到原始问题的最优解。

【机器学习】解释对偶的概念及SVM中的对偶算法？(面试回答)相关推荐

时间基础概念及Linux中的时间函数
时间基础概念及Linux中的时间函数时间相关概念 GMT 时间 UTC 时间时区 `Time Zone` 夏令时 `DST` 本地时间 `localtime` Linux 系统中的时间时钟基础概 ...
机器学习算法实践-SVM中的SMO算法
前言前两篇关于SVM的文章分别总结了SVM基本原理和核函数以及软间隔原理,本文我们就针对前面推导出的SVM对偶问题的一种高效的优化方法-序列最小优化算法(Sequential Minimal Opt ...
协程的概念及Python中利用第三方库gevent使用协程
提到程序的并发操作,大多数人程序员首先想到的进程或者线程.我们先复习一下进程和线程的概念. 进程: 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的 ...
交叉表的概念及sql中交叉表的使用
交叉表是一种常用的分类汇总表格.使用交叉表查询,显示源于表中某个字段的汇总值,并将它们分组, 其中一组列在数据表的左侧,另一组列在数据表的上部. 行和列的交叉处可以对数据进行多种汇总计算,如:求和.平 ...
机器学习——图解SVM中gamma和c参数的作用
参数c和gamma的作用我们通过下图详解参数c的作用,首先我们以一个简单的线性分类器为例,上一个博客中我们知道影响分类器的主要因素是支持向量,即虚线上的样本,如下图可知: 但当正负样本的分布在如下情 ...
SVM中支持向量的通俗解释
SVM中的支持向量,最开始接触的时候没想明白为什么HingeLoss为0的点不考虑,明明这些才是足够优秀的点,后来想清楚,正是因为人家足够优秀,所以没有拿来划分的意义,要的就是那些离分界线最近的点.支 ...
SVM中的KKT条件和拉格朗日对偶
首先,我们要理解KKT条件是用来干嘛的? KKT条件用来判断一个解是否属于一个非线性优化问题. 求最优解: 约束条件分为 1.等式约束 2.不等式约束对于等式约束的优化问题,可以直接应用拉格朗日乘子 ...
SVM中拉格朗日乘子法、KKT条件、对偶问题详解
SVM中拉格朗日乘子法.KKT条件.对偶问题详解创作目的 1.SVM回顾 2.拉格朗日乘子法 3.KKT条件 4.对偶问题强对偶性证明总结创作目的我是机器学习初学者,目前正在上机器学习课,老 ...
机器学习中的最优化算法总结
https://www.toutiao.com/a6672189997212238348/ 导言对于几乎所有机器学习算法,无论是有监督学习.无监督学习,还是强化学习,最后一般都归结为求解最优化问题. ...

【机器学习】解释对偶的概念及SVM中的对偶算法？(面试回答)

对偶的概念？

【机器学习】解释对偶的概念及SVM中的对偶算法？(面试回答)相关推荐

最新文章

热门文章