[机器学习] 代价函数（cost function）

前言：代价函数也叫做损失函数，loss function。机器学习中训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中的梯度。

1、代价函数的定义

假设有训练样本（x，y）,模型为f，参数为w，f(w)= wTx w^Tx，我们需要度量预测值f(w)与真实值y之间的差异，我们将这种差异函数叫做代价函数，如果多个样本，则可以将所有代价函数的取值求平均，计作J(w)。因此我们可以知道代价函数的一些性质：
    1、对于每一种算法，代价函数不是唯一的 ;
    2、代价函数是参数w的函数；
    3、代价函数J(w)衡量着模型的好坏，值越小表示模型和参数越符合样本；
    4、J(w)是一个标量；

当确定h后，我们需要知道参数w，那么什么样的w是我们想要的呢，也就是模型训练什么时候才结束？我们的做法就是最小化J(w)，通过不断改变w获得最小的J(w),即：

minwJ(w)

\min_w J(w)

优化参数过程中，常用的方法是梯度下降法，需要对J(w)求偏导，那么需要代价函数对w可微。

2、常用的代价函数

2.1 均方误差

在线性回归中，最常用的是均方误差(Mean squared error)，具体形式如下：

J(w0,w1)=12n∑i=1n(y¯(i)−y(i))2=12n∑i=1n(fw(x(i))−y(i))2

J(w_0,w_1)=\frac{1}{2n}\sum_{i=1}^n(\bar y^{(i)}-y^{(i)})^2=\frac{1}{2n}\sum_{i=1}^n(f_w(x^{(i)})-y^{(i)})^2

2.2 交叉熵

在逻辑回归中，最常用的代价函数是交叉熵（cross entropy）。《神经网络与深度学习》中的一种解释：

交叉熵是对「出乎意料」（译者注：原文使用suprise）的度量。神经元的目标是去计算函数y, 且y=y(x)。但是我们让它取而代之计算函数a, 且a=a(x)。假设我们把a当作y等于1的概率，1−a是y等于0的概率。那么，交叉熵衡量的是我们在知道y的真实值时的平均「出乎意料」程度。当输出是我们期望的值，我们的「出乎意料」程度比较低；当输出不是我们期望的，我们的「出乎意料」程度就比较高。
香农信息量用来度量不确定的大小：一个时间的香农信息量为0，表示该事件的发生不会给我们提供任何新的信息，例如确定性事件的发生，发生的概率为1，发生了也不会引起任何惊讶；当不可能的事情发生时，香农信息量无穷大，表示给我们提供了无穷多的新信息，并且使人无限的惊讶。公式如下：

J(w)=−1n[∑i=1n(y(i)logfw(x(i))+(1−y(i))log(1−fw(x(i)))]

J(w)=-\frac{1}{n}[\sum_{i=1}^{n}(y^{(i)}\log f_w(x^{(i)})+(1-y^{(i)})\log(1-f_w(x^{(i)}))]

2.3 神经网络中的代价函数

类似交叉熵函数。。。待续，对数损失函数，指数损失函数，一般损失函数。。。

[机器学习] 代价函数（cost function）相关推荐

机器学习----代价函数(cost function)
今天我开启了一个新的专栏-机器学习,我是一边学习吴恩达老师的课程,一边整理相应的笔记,如果有什么不正确的地方希望大家指正. 接下来我们回到正题,学习什么是代价函数,以及它是怎么推出来的. 代价函数也被 ...
损失函数(Loss function) 和代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
代价函数Cost Function ，损失函数Loss Function，经验风险empirical risk，期望风险expected risk，结构风险structural risk
损失函数,代价函数,目标函数损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差. 代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均 ...
目标函数(object function),损失函数(loss function)以及代价函数(cost function)之间的关系与区别
早先的知识理解是三者代指同一类意思,有些书本上也将其混讲: 今天车上看一个笔记讲解,原来是有差别的: 损失函数(loss):个体代价函数(cost):整体目标函数(object):更泛化的术语整 ...
损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系
基本概念: 损失函数(Loss function):计算的是一个样本的误差. 损失函数是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的 ...
使用QP方法解基于五次多项式形式的cost function minimization问题
我们在这里使用二次规划(QP)的方法解一个五次多项式形式的曲线的cost function minimization的问题.二次规划的标准形式如下: 在之前的讨论的五次多项式的方法中,我们在采用空间上 ...
2.cost function损失函数
目录模型 cost function代价函数模型线性回归:模型是线性的,例如一元一次函数y=x+2,这也叫单变量线性回归univariate linear regression. trainin ...
Cost Function
首先本人一直有一个疑问缠绕了我很久,就是吴恩达老师所讲的机器学习课程里边的逻辑回归这点,使用的是交叉熵损失函数,但是在进行求导推导时,google了很多的课件以及教程都是直接使用的,这个问题困扰了很久 ...
Loss Function , Cost Function and Kernel Function in ML(To be continued)
机器学习中的损失函数.代价函数.核函数 1.Definiton Shark Machine Learning Library–分别有介绍 "objective function, cost ...
机器学习--代价函数
一.代价函数概述机器学习的模型分为能量模型和概率模型,知道概率分布的可以直接用概率模型进行建模,比如贝叶斯分类器,不知道的就用能量模型,比如支持向量机.因为一个系统稳定的过程就是能量逐渐减小的过程. ...

[机器学习] 代价函数（cost function）

[机器学习] 代价函数（cost function）相关推荐

最新文章

热门文章