Sigmoid函数以及逻辑回归的由来

线性回归时统计学经典算法，它能够拟合出一条直线来描述变量之间的线性关系。但在实际中，变量之间的关系通常都不是一条直线，而是呈现出某种曲线关系。在统计学的历史中，为了让统计学模型能够更好地拟合曲线，统计学家们在线性回归的方程两边引入了联系函数（link function），对线性回归的方程做出了各种样的变化，并将这些变化后的方程称为“广义线性回归”。其中比较著名的有等式两边同时取对数的对数函数回归、同时取指数的S形函数回归等。

在探索的过程中，一种奇特的变化吸引了统计学家们的注意，这个变化就是sigmoid函数带来的变化。Sigmoid函数的公式如下：

其中e为自然常数（约为2.71828),其中z是它的自变量， $\sigma$ 是因变量，z的值常常是线性模型的取值（比如，线性回归的结果z)。Sigmoid函数是一个S型的函数，它的图像如下：

从图像上可以看出，这个函数的性质相当特别。当自变量z趋近正无穷时，因变量 $\sigma$ 趋近于1，而当z趋近负无穷时， $\sigma$ 趋近于0，这使得sigmoid函数能够将任何实数映射到（0，1）区间。同时， $\sigma$ 的导数，在z=0点时最大（这一点的斜率最大），所以它可以快速将数据从z =0的附近排开，让数据点到远离自变量取0的地方去。这样的性质，让sigmoid函数拥有将连续性变量z转化为离散型变量 $\sigma$ 的力量，这也就是化回归算法为分类算法的力量。

具体如何操作呢？只要将线性回归方程的结果作为自变量带入sigmoid函数，得出的数据就一定是（0，1)之间的值。此时，只要我们设定一个阈值（比如0.5），规定 $\sigma$ 大于0.5时，预测结果为 1类， $\sigma$ 小于0.5时，预测结果为0类，则可以顺利将回归算法转化为分类算法。此时，我们的标签就是类别0和1了。这个阈值可以自己调整，在没有调整之前，一般默认0.5。对线性回归后的结果取sigmoid函数的结果如下：

更神奇的是，当我们对线性回归的结果取sigmoid函数之后，只要再进行以下操作：

1）将结果 $\sigma$ 以几率的形式展开

2）在几率上求以e为底的对数

很容易得到：

可以发现，让 $\sigma$ 取对数几率后所得到的值就是我们线性回归的结果z！因为这个性质，在等号两边加sigmoid的算法被称为“对数几率回归”，在英文中就是“Logistic Regression",就是逻辑回归。逻辑回归可能是广义线性回归中最广为人知的算法，它是一个叫做”回归“实际上却总是被用来做分类的算法，对机器学习和深度学习都有重大的意义。

为什么 $\sigma$ 值代表了样本为某一类标签的概率？

是形似对数几率的一种变化。而几率的本质是，其中p是事件A发生的概率，而1-p是事件A不会发生的概率，并且p+(1-p)=1。因此在理解逻辑回归时，对 $\sigma$ 做出如下解释：

我们让线性回归的结果逼近0和1，此时 $\sigma$ 和1- $\sigma$ 之和为1，因此它们可以被我们看作是一对正反例发生的概率，即 $\sigma$ 是某样本i的标签被预测为1的概率，而1- $\sigma$ 是i的标签被预测为-的概率，就是样本i的标签被预测为1的相对概率。基于这种理解，逻辑回归、即单层二分类神经网络返回的结果被当成是概率来看待和使用（如果直接说它是概率，或许不太严谨）。当希望求解样本i的标签是1或是0的概率时，我们就使用逻辑回归。

因此，当一个样本对应的越接近1或0，我们就认为逻辑回归对这个样本的预测结果越肯定，样本被分类正确的可能性也越高。如果非常接近阈值（比如0.5），就说明逻辑回归其实对这个样本究竟应该是哪一类别，不是非常肯定。

Sigmoid函数以及逻辑回归的由来相关推荐

Sigmoid函数与逻辑回归
文章目录 (1). Sigmoid函数的由来--伯努利分布的衍生物 1.1 为什么会有 sigmoid 函数的出现? 1.2 sigmoid 函数推导过程 1.3 sigmoid 函数求导 (2). ...
R语言广义线性模型函数GLM、广义线性模型（Generalized linear models）、GLM函数的语法形式、glm模型常用函数、常用连接函数、逻辑回归、泊松回归、系数解读、过散度分析
R语言广义线性模型函数GLM.广义线性模型(Generalized linear models).GLM函数的语法形式.glm模型常用函数.常用连接函数.逻辑回归.泊松回归.系数解读.过散度分析目录
R语言使用glm函数构建逻辑回归模型（logistic）、使用subgroupAnalysis函数进行亚组分析并可视化森林图
R语言使用glm函数构建逻辑回归模型(logistic).使用subgroupAnalysis函数进行亚组分析并可视化森林图目录
数学推导+纯Python实现机器学习算法：逻辑回归
2019独角兽企业重金招聘Python工程师标准>>> 自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实 ...
【机器学习基础】数学推导+纯Python实现机器学习算法2：逻辑回归
自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实在是太浪费时间了..本节要和大家一起学习的是逻辑(logistic)回归模 ...
简单粗暴理解与实现机器学习之逻辑回归：逻辑回归介绍、应用场景、原理、损失以及优化...
作者 | 汪雯琦责编 | Carol 来源 | CSDN 博客出品 | AI科技大本营(ID:rgznai100) 学习目标知道逻辑回归的损失函数知道逻辑回归的优化方法知道sigmoid函数 ...
西电-机器学习-逻辑回归
逻辑回归本次作业的目的是建立一个逻辑回归模型,用于预测一个学生是否应该被大学录取. 简单起见,大学通过两次考试的成绩来确定一个学生是否应该录取.你有以前数届考生的成绩,可以做为训练集学习逻辑回归模型 ...
【机器学习算法】逻辑回归为什么叫逻辑回归
文章目录逻辑回归以及为什么叫逻辑回归从sigmoid函数引出逻辑回归的统计学模型:伯努利分布线性回归模型的通式:广义线性模型指数族分布逻辑回归以及为什么叫逻辑回归逻辑回归虽然名字里有回归 ...
吴恩达机器学习第二次作业——逻辑回归
逻辑回归一.逻辑回归 1,数据可视化 2,sigmoid函数,逻辑回归模型 3,代价函数以及梯度 4,评价逻辑回归二.正规化逻辑回归 1,数据可视化 2,特征映射(Feature Mapping) ...

Sigmoid函数以及逻辑回归的由来

Sigmoid函数以及逻辑回归的由来相关推荐

最新文章

热门文章