1. Logistic与Softmax简述

谈到Logistic回归首先谈到便是逻辑思谛分布，其概率分布如下图所示：

可以看出该分布函数是一条S形曲线，曲线以点(0,12)(0,12)作为对称中心，且其值的范围是从 [0,1] [ 0 , 1 ] [0,1]的。而二项Logistic回归便是参数化的逻辑思谛分布。则对于有 m m m个已经标记好的样本构成：(x1,y1),(x2,y2),(x3,y3),…(xm,ym)" role="presentation">(x1,y1),(x2,y2),(x3,y3),…(xm,ym)(x1,y1),(x2,y2),(x3,y3),…(xm,ym)(x_1,y_1),(x_2,y_2),(x_3,y_3),\ldots(x_m,y_m)（其中特征向量 x x x是进行了增广操作，将偏置b" role="presentation">bbb添加进去了的），对应的分类 y∈{0,1} y ∈ { 0 , 1 } y\in{\{0,1\}}，则可以将概率描述为：

hθ(x)=11+exp(−θx) h θ ( x ) = 1 1 + e x p ( − θ x )

h_\theta(x)=\frac{1}{1+exp(−\theta x)}
需要通过训练确定参数 θ θ \theta，使得下面的最小化损失函数最小化：

J(θ)=−1m[∑i=1myilog(hθ(xi))+(1−yi)log(1−hθ(xi)] J ( θ ) = − 1 m [ ∑ i = 1 m y i l o g ( h θ ( x i ) ) + ( 1 − y i ) l o g ( 1 − h θ ( x i ) ]

J(θ)=−\frac{1}{m}[\sum_{i=1}^my_ilog(h_\theta(x_i))+(1−y_i)log(1−h_\theta(x_i)]
而对于Softmax回归，其解决的是多分类问题。则对应的标记 y∈{1,2,...k} y ∈ { 1 , 2 , . . . k } y\in{\{1,2,...k\}}，其中k是分类的类型数目。对于给定的测试输入 x x x，我们想用假设函数针对每一个类别jj估算出概率值 p(y=j|x)" role="presentation">p(y=j|x)p(y=j|x) p(y=j|x)。也就是说，我们想估计 x x x的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 k" role="presentation">kk k维的向量（向量元素的和为1）来表示这 k k k个估计的概率值。具体地说，我们的假设函数 hθ(x)" role="presentation">hθ(x)hθ(x) h_\theta(x)形式如下：

hθ(xi)=⎡⎣⎢⎢⎢⎢⎢p(yi=1|xi;θ)p(yi=2|xi;θ)⋮p(yi=k|xi;θ)⎤⎦⎥⎥⎥⎥⎥=1∑kj=1eθjxi⎡

Logistic回归和Softmax回归理解相关推荐

Logistic and Softmax Regression (逻辑回归和Softmax回归)
1．简介逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门作者 | 文杰编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
Logistic 回归与 Softmax 回归在解决二分类问题的区别
Logistic 回归与 Softmax 回归在解决二分类问题的区别在学习邱锡鹏老师的<神经网络与深度学习>的Softmax回归时,他在最后提出了此问题. 久经思考后,没想出来有什么区别 ...
生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
logistic回归和softmax回归
logistic回归在 logistic 回归中,我们的训练集由个已标记的样本构成:.由于 logistic 回归是针对二分类问题的,因此类标记 . 假设函数(hypothesis functi ...
线性回归、Logistic回归和softmax回归
区别: (1)输出:线性回归的输出是一个数值,适用于回归问题,如房屋预测价格.气温.销售额. logistic回归.softmax的输出是一个标签,适用于分类问题,如图像分类等. (2)支持类别:Lo ...
Logistic回归与Softmax回归
Logistic回归和Softmax回归属于机器学习和深度学习中比较经典和基础的两个算法,许多优秀的模型中都使用到了这两个算法.所以这周打算整理和介绍一下Logistic回归和Softmax回归. 线 ...
Logistic回归与Softmax回归比较
Logistic回归与Softmax回归比较在机器学习中,Logistic回归和Softmax回归都是常见的分类算法.它们在很多方面都有相似之处,但也存在一些不同之处.本文将介绍这两种模型的区别,并 ...
机器学习--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类. logistic回归虽然也是叫回归, ...
softmax分类器_[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为逻辑回归,但实际上这是一种分类模型(二分类或多分类).下面精要地把模型中的核心概念.推导梳理一下.本文主要内容如下: 逻辑回归的概率模型逻辑回归 ...

Logistic回归和Softmax回归理解

1. Logistic与Softmax简述

Logistic回归和Softmax回归理解相关推荐

最新文章

热门文章