什么是cost function，什么事regularization？

趁着老大出差，在工位上写点以前想的东西。当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，从某种意义上来说，它是给现有的参数加了一个限制，由于Ocam’s Razor的原理，一个简单的模型会有更好的泛化能力。那么换句话说，cost functin + Regularization是不是一个对数据更好的模型假设呢。训练数据时，total cost = cost function + Regularization。如果非要用训练数据来估计其泛化loss，其实我更愿意用cost function，而不是total cost，所以，有的时候在思考问题时，我想找一个新的表达式来定义total loss，大概思路是不对所有的数据进行正则化。

暂时脑子很乱，组织下语言，有时间再更新博客。

什么是cost function，什么事regularization？相关推荐

Machine Learning - Coursera week5 cost function and backpropagation 1
1. cost function 这个多类别分类的神经网络和二分类的输出个数不同,二分类只有一个输出,二多分类模型有多个输出.多分类模型的输出也用one-hot码表示. 变量的定义: L = tota ...
损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系
基本概念: 损失函数(Loss function):计算的是一个样本的误差. 损失函数是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的 ...
Cost Function
首先本人一直有一个疑问缠绕了我很久,就是吴恩达老师所讲的机器学习课程里边的逻辑回归这点,使用的是交叉熵损失函数,但是在进行求导推导时,google了很多的课件以及教程都是直接使用的,这个问题困扰了很久 ...
逻辑回归损失函数(cost function)
转载:https://www.cnblogs.com/richqian/p/4511557.html 逻辑回归模型预估的是样本属于某个分类的概率,其损失函数(Cost Function)可以像线型回归 ...
Loss Function , Cost Function and Kernel Function in ML(To be continued)
机器学习中的损失函数.代价函数.核函数 1.Definiton Shark Machine Learning Library–分别有介绍 "objective function, cost ...
logistic regression中的cost function选择
一般的线性回归使用的cost function为: 但由于logistic function: 本身非凸函数(convex function), 如果直接使用线性回归的cost function的话, ...
损失函数(Loss function) 和代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
使用QP方法解基于五次多项式形式的cost function minimization问题
我们在这里使用二次规划(QP)的方法解一个五次多项式形式的曲线的cost function minimization的问题.二次规划的标准形式如下: 在之前的讨论的五次多项式的方法中,我们在采用空间上 ...
深度学习笔记（四） cost function来源和证明
1)什么是代价函数 WIKI的解释: Cost function In economics, the cost curve, expressing production costs in terms ...

什么是cost function，什么事regularization？

什么是cost function，什么事regularization？相关推荐

最新文章

热门文章