机器学习中的目标函数、损失函数、代价函数的区别
转载自：https://www.zhihu.com/question/52398145
基本概念：
损失函数：计算的是一个样本的误差
代价函数：是整个训练集上所有样本误差的平均
目标函数：代价函数 + 正则化项
实际应用：
损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，举例说明：
上面三个图的曲线函数依次为f1(x),f2(x),f3(x)，我们想用这三个函数分别来拟合真实值Y。
我们给定x，这三个函数都会输出一个f(X)，这个输出的f(X)与真实值Y可能是相同的，也可能是不同的，为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function)，或者叫代价函数(cost function)。
损失函数越小，就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢？还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化经验风险。
到这里完了吗？还没有。
如果到这一步就完了的话，那我们看上面的图，那肯定是最右面的f3(x)的经验风险函数最小了，因为它对历史的数据拟合的最好嘛。但是我们从图上来看它肯定不是最好的，因为它过度学习历史数据，导致它在真正预测时效果会很不好，这种情况称为过拟合(over-fitting)。为什么会造成这种结果？大白话说就是它的函数太复杂了，都有四次方了，这就引出了下面的概念，我们不仅要让经验风险最小化，还要让结构风险最小化。
这个时候就定义了一个函数J(f)，这个函数专门用来度量模型的复杂度，在机器学习中也叫正则化(regularization)。常用的有L1， L2范数。到这一步我们就可以说我们最终的优化函数是：
即最优化经验风险和结构风险，而这个函数就被称为目标函数。
机器学习中的目标函数、损失函数、代价函数的区别相关推荐
- 机器学习中分类与聚类的本质区别
机器学习中分类与聚类的本质区别 机器学习中有两类的大问题,一个是分类,一个是聚类. 在我们的生活中,我们常常没有过多的去区分这两个概念,觉得聚类就是分类,分类也差不多就是聚类,下面,我们就具体来研究下 ...
- 一文看懂机器学习中的常用损失函数
作者丨stephenDC 编辑丨zandy 来源 | 大数据与人工智能(ID: ai-big-data) 导语:损失函数虽然简单,却相当基础,可以看做是机器学习的一个组件.机器学习的其他组件,还包括激 ...
- 机器学习中的常见问题—损失函数
机器学习中的常见问题--损失函数 一.分类算法中的损失函数 在分类算法中,损失函数通常可以表示成损失项和正则项的和,即有如下的形式: J(w)=∑iL(mi(w))+λR(w)J(w)=∑iL(mi( ...
- 机器学习中的Bias,Error,Variance的区别
机器学习中的Bias,Error,Variance的区别 @(Machine Learning) 名词解释 Error | 误差 Bias | 偏差 – 衡量准确性 Variance | 方差 – 衡 ...
- 机器学习中的各种损失函数（Hinge loss，交叉熵，softmax）
机器学习中的各种损失函数 SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度.在 ...
- 机器学习中常见的损失函数_机器学习中最常见的损失函数
机器学习中常见的损失函数 现实世界中的DS (DS IN THE REAL WORLD) In mathematical optimization and decision theory, a los ...
- 机器学习中的目标函数、损失函数、代价函数有什么区别？
作者:zzanswer 链接:https://www.zhihu.com/question/52398145/answer/209358209 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权 ...
- 机器学习中的目标函数总结
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要26分钟 跟随小博主,每天进步一丢丢 来自:SIGAI 几乎所有的机器学习算法都归结为求解最优化问题.有监督学习算法在训练时通过优化一个目标函数 ...
- 机器学习中SVM的损失函数,向量积
SVM即支持向量机(Support Vector Machine, SVM) 是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized ...
最新文章
- 为jQuery的$.ajax设置超时时间
- 2.Riesz定理及其应用
- php str splice,php中array_replace、array_splice与str_replace函数的比较
- 深度学习（十五）——SPPNet, Fast R-CNN
- 短语密码_使用密码短语以提高安全性
- 使用python和pandas进行同类群组分析
- python中end 1 意思_python中“end=”是什么意思？_后端开发
- 很有气势的语言openeim
- python编程语言继承_Python 面向对象编程——继承和多态
- java扫描指定主机的端口socket服务
- eclipse设置utf8编码_技术分享 | MySQL 8.0：字符集从 utf8 转换成 utf8mb4
- VC2010 Tab控件使用
- 苹果CMSv10自适应视频站原创挖片网高端seo收录模板
- git 拉取最新代码覆盖本地
- 基于springboot的租房网站
- PHP字符串函数strtoupper( 将字符串转化为大写)
- 二值图像blob分析
- java运行时加音乐_Java运行窗体/程序添加自定义背景音乐
- MuJoCo - hybrid system的建模与控制
- seo网站优化之如何优化网站导航系统