逻辑回归目标函数之凸函数

逻辑回归目标函数
逻辑回归的目标函数是通过极大似然估计构造，用已经观测到的数据X对未知参数θ\thetaθ进行估计，参数是假设已存在但是未知的。
所以通过计算
θ∗=arg⁡max⁡θΠinp(y∣Xi,θ)\theta^* = \mathop{\arg\max}_{\theta} \ \Pi_{i}^{n} p(y|X_{i},\theta) θ∗=argmaxθ Πinp(y∣Xi,θ)求出参数，这里假设y是类别标签分别为0和1。所以，可以进一步将类别概率计算函数写成p(y∣Xi,θ)=p(y=1∣Xi,θ)y(1−p(y=1∣Xi,θ))1−yp(y|X_{i},\theta) = p(y=1|X_{i},\theta)^{y}(1-p(y=1|X_{i},\theta))^{1-y}p(y∣Xi,θ)=p(y=1∣Xi,θ)y(1−p(y=1∣Xi,θ))1−y
交叉熵函数
为了计算简便，通过对目标函数变形，θ∗=arg⁡min⁡θΣin−log(p(y∣Xi,θ))\theta^* = \mathop{\arg\min}_{\theta} \ \Sigma_{i}^{n} -log(p(y|X_{i},\theta)) θ∗=argminθ Σin−log(p(y∣Xi,θ))θ∗=arg⁡min⁡θΣin−log(p(y=1∣Xi,θ)y(1−p(y=1∣Xi,θ))1−y)\theta^* = \mathop{\arg\min}_{\theta} \ \Sigma_{i}^{n} -log(p(y=1|X_{i},\theta)^{y}(1-p(y=1|X_{i},\theta))^{1-y}) θ∗=argminθ Σin−log(p(y=1∣Xi,θ)y(1−p(y=1∣Xi,θ))1−y)θ∗=arg⁡min⁡θΣin−(ylog(p(y=1∣Xi,θ))+(1−y)log(1−p(y=1∣Xi,θ)))\theta^* = \mathop{\arg\min}_{\theta} \ \Sigma_{i}^{n} -(ylog(p(y=1|X_{i},\theta))+(1-y)log(1-p(y=1|X_{i},\theta)))θ∗=argminθ Σin−(ylog(p(y=1∣Xi,θ))+(1−y)log(1−p(y=1∣Xi,θ)))该目标函数就是大名鼎鼎的交叉熵函数，由于交叉熵函数是凸函数，可以从其函数图像看出，所以逻辑回归的目标函数也是凸函数。

逻辑回归目标函数之凸函数相关推荐

Python实现逻辑回归实战(完整版)--内附详细代码
Hello大家!上一篇小A已经详细的为大家讲解了逻辑回归的原理和数学推导,但是对于学习人工智能来说仅仅学会原理是远远不够的,还必须要动手实践,必须要学会使用编程语言将算法实现.所以,今天我就来为大家展 ...
分类任务如何用逻辑回归实现_【机器学习面试总结】—— LR（逻辑回归）
逻辑回归是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SVM,但千万别说 LR,因为细节真的太多了. 1. 模型介绍 Logistic Re ...
逻辑回归（Logistic Regression）原理详细总结
逻辑回归(Logistic Regression)是一个分类算法,既可以用来解决二分类问题也可以解决多分类问题.那么为什么名为"回归"的算法却是用来解决分类问题的呢?本文将对逻辑回 ...
逻辑回归L1与L2正则，L1稀疏，L2全局最优（凸函数梯度下降）
转载:https://chenrudan.github.io/blog/2016/01/09/logisticregression.html http://nanshu.wang/post/2015- ...
逻辑回归损失函数通常是凸函数（附平方差损失的非凸证明以及交叉熵损失函数求导）
Q:为什么逻辑回归损失函数往往要求是凸函数?(此处凸函数是指下凸,国内和国外凸函数的标准不一样,是相反的,吴恩达的机器学习课程凸函数是指下凸) A:如果损失函数是非凸的,使用梯度下降法优化时,最后得到 ...
一文详尽系列之逻辑回归
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容模型介绍 Logistic Regression 是一个非常经典的算法,其中也包含了非 ...
万字干货｜逻辑回归最详尽解释
2019-11-21 17:31:48 模型介绍 Logistic Regression 是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SV ...
逻辑回归Logistic Regression 模型简介
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛.本文作为美团机器学习InAction系列中的一篇,主要关注逻辑回归算法的数学模 ...
逻辑回归模型详解(Logistic Regression)
目录广义线性模型极大似然法逻辑回归的假设函数逻辑回归的损失函数交叉熵损失函数为什么LR模型损失函数使用交叉熵不用均方差交叉熵损失函数的数学原理交叉熵损失函数的直观理解交叉熵简介对数 ...

逻辑回归目标函数之凸函数

逻辑回归目标函数之凸函数相关推荐

最新文章

热门文章