逻辑回归和SoftMax的理解:

逻辑回归

逻辑回归代价函数

这是逻辑回归的代价函数.
理解这个代价函数:
假设函数hθ代表的是预测y=1的概率(因为假设二值分布满足伯努利分布)
- 例如:如果将x=1输入假设函数当中,输出结果为0.7,那么可以说输入x=1,有百分之70的把握,输出的y=1.

如何理解这个代价函数:
1. 从公式直接理解:在y(i)取值为1时候,那么预测函数越接近于1,-log(预测值)越小,此时的代价函数越小.同时当有y(i)取值为0时候,那么预测函数越接近于0,此时-log(1-预测值)越小.所以使用这个公式可以代表代价.
2. 从深层含义上进行理解:h(x)代表是y=1,时候的概率,那么当此时应该y(i)=1时候,h(x)越大,当y(i)=0时候,h(x)越小,代价函数越小.

softMax多分类器

参考文献:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

1. softMax函数默认也是每一个预测值直接代表的就是正确的概率.如果将其中的每一个exp(θx)都当做是预测每一个的取值的最终的结果,那么这个式子就比较容易理解.
2. 其中前面这一部分为正则化项,让最终输出的值为0到1之间的一个数字.

1. 这是SoftMax当中的代价函数,其含义是将预测正确的结果的概率的对数取负值,这样的结果就是,只有当每个正确的取值的概率都最大时候,整体的代价函数取值最小.
2. 在Softmax回归中将 \textstyle x 分类为类别 \textstyle j 的概率为：

3. 这里是使用梯度下降算法时候的更新公式:

SoftMax分类器的特点:

它有一个“冗余”的参数集,详细解释如下:

权值衰减

使用权值衰减来解决SoftMax的参数冗余的问题.

SoftMax和逻辑回归的关系:

逻辑回归是SoftMax的一般形式:

关于SoftMax和多个二元分类器的比较:

如果一个用例只能被分类为一种类型,那么就使用SoftMax分类器,如果一个用例可以被分为好几种类型,那么就使用多个二元分类器.

不同种类的代价函数

log形式的代价函数:

损失函数L(Y, P(Y|X))表达的是样本X在分类Y的情况下，使概率P(Y|X)达到最大值（换言之，就是利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值；或者说什么样的参数才能使我们观测到目前这组数据的概率最大）。

平方损失函数:

最优拟合直线应该是使各点到回归直线的距离和最小的直线，即平方和最小.

SoftMax和代价函数相关推荐

softmax代价函数的导数计算
对于softmax的理解请参考Ufldl教程,本文仅对代价函数求导部分进行推导 softmax regression 代价函数: J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθT ...
看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）
1.学习背景这两天学习softmax逻辑回归算法,然后卡在了其代价函数求偏导处,"百科"中说,softmax的代价函数如下: 经过求导,得到梯度公式如下: 作为一个准数学专业毕业 ...
DeepLearning tutorial（1）Softmax回归原理简介+代码详解
FROM: http://blog.csdn.net/u012162613/article/details/43157801 DeepLearning tutorial(1)Softmax回归原理简介 ...
深度学习笔记三：Softmax Regression
Softmax回归模型整体理解回归与分类借用网上一个帖子的回复:分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y( ...
softmax理论及代码解读——UFLDL
前言看了各种softmax以后迷迷糊糊的,还是研究一下UFLDL的教程稳点.当然还是得参考挺多教程的:UFLDL-softmax .Softmax的理解与应用 .Logistic 分类器与 soft ...
UFLDL教程：Exercise:Softmax Regression
Softmax分类函数的Python实现 Deep Learning and Unsupervised Feature Learning Tutorial Solutions 逻辑回归假设函数在线性 ...
softmax分类器_[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为逻辑回归,但实际上这是一种分类模型(二分类或多分类).下面精要地把模型中的核心概念.推导梳理一下.本文主要内容如下: 逻辑回归的概率模型逻辑回归 ...
机器学习----Softmax回归
本篇博客主要是参考吴恩达教授的Ufldl教程,教程链接如下: http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 OK ...
Softmax Regression损失函数的求导
softmax regression 代价函数: J(θ)=−1m[∑i=1m∑j=1k1{y(i)=j}logeθjTX(i)∑l=1keθlTX(i)]J(\theta) = -\frac{1}{ ...

SoftMax和代价函数