机器学习算法之逻辑回归（LR）

1.前言

说起机器学习，就不得不说说逻辑回归，它是区别于另一个基础算法：线性回归；对于回归（比如线性回归Linear Regression）可以理解为连续的值(类似模拟量），分类（比如逻辑回归Logistic Regression）相当于数字量（在某一范围的度量而进行的分类）。他们在用函数图像（或者表达式不过没有图像表达生动哦）进行描述时可以这样理解：对于回归来说就是图像上的数据点如果在所求的函数上那么就是回归到值了（也就是你找到了一个适用于你数据集的函数），在图像上的其他不满足的任意数据点带入该函数计算的得到的值就不确定在哪里了，反正不在函数上，那么任意不在函数上的数据点对于你来说没有意义；对于分类来说就是你所求的函数（假设函数+激活函数）能进行二分类针对于你的训练数据集，也就是假设函数上的数据点或者附近的点（针对于有惩罚项的）是你的满足线性分布或接近线性分布数据集的点得到的回归值，再经过激活函数进行概率计算判断类别。

（注：上述所说图像指的是样本特征值和预测值建立起的多维图像）

2.原理及公式推导

1）大致原理为sigmoid(线性回归)=逻辑回归，也就是激活函数本身是曲线或者说超平面是经过假设函数（线性回归）得到的值进行激活后进行阈值（概率值）判断得到类别，那么去除激活函数，只有假设函数这条直线或者说超平面直接就能把数据符合线性分布（注意不是数据特征符合线性分布）的值（也就是预测值和类别值误差符合正态分布）计算出来了，也就是所有不在假设函数上的点可以认为不属于该数据集。示意图如下：

2）建立假设函数：

假设函数就是线性回归模型中的函数表达式，在线性分类问题中就是一条距离大多数样本的距离都比较小的优化直线或者超平面；其公式为：Y=WX+B

逻辑回归中假设函数图像示意图如下：

3）激活函数的使用：

由于逻辑回归属于广义线性回归，那么它的预测是基于指数分布族的，如下：

逻辑回归是服从伯努利分布的，那么它的概率计算如下：

从这可以看出使用sigmoid()函数的必要，并且此函数单调递增，易于求导等特点。

4）由极大似然估计及联合概率可得：

化简计算得到：

（注意区分yi和（1-yi）的在公式里边的位置，是幂）

5）损失函数为：

3.计算流程：

for i in n:

由sigmoid()函数求导结果为：

得到：

最后得到：

最终求得向量θ在损失最小或达到阈值时的最优。

4.写在最后

文章写的比较简洁可能对于很少接触此算法的小伙伴儿来说比较晦涩，可以找我进行交流哦！

机器学习算法之逻辑回归（LR）相关推荐

机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)
文章目录系列文章逻辑回归 1 逻辑回归介绍 1.1 逻辑回归原理输入激活函数 1.2 损失以及优化 2 逻辑回归API介绍 3 案例:肿瘤良性恶性预测 4 分类模型的评估 4.1 分类评估方法 ...
数学推导+纯Python实现机器学习算法：逻辑回归
2019独角兽企业重金招聘Python工程师标准>>> 自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实 ...
【机器学习算法】逻辑回归为什么叫逻辑回归
文章目录逻辑回归以及为什么叫逻辑回归从sigmoid函数引出逻辑回归的统计学模型:伯努利分布线性回归模型的通式:广义线性模型指数族分布逻辑回归以及为什么叫逻辑回归逻辑回归虽然名字里有回归 ...
机器学习算法基础——逻辑回归
45.模型的保存与加载 sklearn模型的保存和加载 from sklearn.externals import joblib 保存和加载API joblib.dump(rf,"" ...
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
逻辑回归(LR)算法概述逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法. 逻辑 ...
python机器学习手写算法系列——逻辑回归
从机器学习到逻辑回归今天,我们只关注机器学习到线性回归这条线上的概念.别的以后再说.为了让大家听懂,我这次也不查维基百科了,直接按照自己的理解用大白话说,可能不是很严谨. 机器学习就是机器可以自己学 ...
机器学习实战（四）逻辑回归LR（Logistic Regression）
目录 0. 前言 1. Sigmoid 函数 2. 梯度上升与梯度下降 3. 梯度下降法(Gradient descent) 4. 梯度上升法(Gradient ascent) 5. 梯度下降/上升法 ...
python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归（softmax回归）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程线性函数.线性回归参考:http://blog.csdn.net/luanpeng825485697/article/details ...
sklearn分类器算法：逻辑回归及案例分析
分类算法之逻辑回归逻辑回归(Logistic Regression),简称LR.它的特点是能够是我们的特征输入集合转化为0和1这两类的概率.一般来说,回归不用在分类问题上,因为回归是连续型模型,而且 ...

机器学习算法之逻辑回归（LR）

for i in n:

机器学习算法之逻辑回归（LR）相关推荐

最新文章

热门文章