Logistic回归：成本函数

2024-06-30 05:09:11

为了训练ww和bb ，需要定义成本函数对其取值的好坏进行评估。

概括来讲：

y^(i)=σ(wTx(i)+b),其中σ(z(i))=11+e−x(i)\hat{y}^{(i)}=\sigma(w^Tx^{(i)}+b),其中\sigma(z^{(i)})=\dfrac{1}{1+e^{-x^{(i)}}}，其中x(i)x^{(i)} 为第i个训练样本
已知(x(1),y(1)),...,(x(m),y(m)){(x^{(1)},y^{(1)} ),...,(x^{(m)},y^{(m)} )}，希望y^(i)≈y(i)\hat{y}^{(i)}\approx y^{(i)}

损失函数：

损失函数用来估计预测值（y^(i)\hat y^{(i)}）与期望输出值（y(i)y^{(i)}）之间的差异。也就是说，损失函数针对一则训练样例计算误差。
L(y^(i),y(i))=12(y^(i)−y(i))2L(\hat y^{(i)},y^{(i)})=\frac {1}{2}(\hat y^{(i)}-y^{(i)})^2
L(y^(i),y(i))=−(y(i)log(y^(i))+(1−y(i))log(1−y^(i)))L(\hat y^{(i)},y^{(i)})=-(y^{(i)}log(\hat y^{(i)})+(1-y^{(i)})log(1-\hat y^{(i)}))

当y(i)=1y^{(i)}=1时，L(y^(i),y(i))=−log(y^(i))L(\hat y^{(i)},y^{(i)})=-log(\hat y^{(i)})，其中log(y^(i))log(\hat y^{(i)})和y^(i)\hat y^{(i)} 应当接近于1
当y(i)=0y^{(i)}=0时，L(y^(i),y(i))=−log(1−y^(i))L(\hat y^{(i)},y^{(i)})=-log(1-\hat y^{(i)})，其中log(1−y^(i))log(1-\hat y^{(i)})和y^(i)\hat y^{(i)} 应当接近于0

成本函数:

成本函数是损失函数在整个训练集上的平均。通过全局最小化成本函数，可以确定参数ww和bb 的值。
J(w,b)=1m∑mi=1L(y^(i),y(i))=−1m∑mi=1y(i)[log(y^(i))+(1−y(i))log(1−y^(i)))]J(w,b)=\frac {1}{m}\sum_{i=1}^{m}L(\hat y^{(i)},y^{(i)})=-\frac {1}{m}\sum_{i=1}^{m}y^{(i)}[log(\hat y^{(i)})+(1-y^{(i)})log(1-\hat y^{(i)}))]

Logistic回归：成本函数相关推荐

Logistic 回归(sigmoid函数，手机的评价,梯度上升，批处理梯度,随机梯度，从疝气病症预测病马的死亡率...
(手机的颜色,大小,用户体验来加权统计总体的值)极大似然估计MLE 1.Logistic回归 Logistic regression (逻辑回归),是一种分类方法,用于二分类问题(即输出只有两种).如 ...
机器学习实战（五）——Logistic 回归
文章目录 Logistic 回归 5.2 基于最优化方法的最佳回归系数确定 5.2.1 梯度上升法 5.3 python实战 5.3.1 查看数据集分布情况 5.3.2 训练 5.3.3 绘制决策边界 ...
python做logistic回归_用Python做Logistic回归
为什么写这篇文章本人初学python,碰巧做的东西需要用一下Logistic回归,自觉这个很基础的东西应该已经有很多比较好的实现了,于是我就很自觉地问了下度娘.结果大囧==..出来的相关结果少得可怜 ...
logistic回归分析优点_机器学习实战项目-Logistic回归
Logistic 回归概述 Logistic 回归虽然名字叫回归,但是它是用来做分类的.其主要思想是: 根据现有数据对分类边界线建立回归公式,以此进行分类. 须知概念 Sigmoid 函数回归概 ...
机器学习 Logistic回归
目录一.线性模型及回归: 1.一维数据线性模型: 2.多维数据: 二.对数线性回归: 三.Logistic回归: 1.极大似然估计: 2.梯度下降: 三.本次实验数据集介绍: 1.数据集信息介绍: ...
上手机器学习系列-第3篇（上）-聊聊logistic回归
前言本系列关注于动手学习实践机器学习知识,往期文章可到公众号首页点击查看历史文章. 本期我们来聊聊logistic回归,该方法简单优雅且兼具实用性,当前在企业界实际工作中仍有大量使用,因此对于初学者 ...
多元回归和Logistic回归
什么是线性回归有监督学习 => 学习样本为D={(xi,yi)}i=1ND=\{(x_i,y_i)\}^N_{i=1}D={(xi,yi)}i=1N 输出/预测的结果yiy_iyi为连 ...
Python与logistic回归——理解与实践
文章参考 https://www.cnblogs.com/chamie/p/4876149.html [Machine Learning in Action --5]逻辑回归(LogisticRegr ...
【Python 机器学习实战】Logistic回归
引言假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作回归. 利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进 ...
损失函数和成本函数详解
损失函数(误差函数) 概念:损失函数是再单个训练样本中定义的,该样本中可以有多个特征参数. 作用:可以用来衡量算法的运行情况,通过定义损失函数L来衡量预测值的输出y^~\hat{y}~ y^ 和真实 ...

最新文章

热门文章