【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导

2024-07-02 05:58:34

sigmoid函数的数学公式

sigmoid函数的因变量x取值范围是-∞到+∞，(-∞，+∞)，但是sigmoid函数的值域是(0, 1)。

不管x取什么值其对应的sigmoid函数值一定会落到(0,1)范围内~~~

漂亮的logistic 曲线

sigmoid函数对应的图形就是logistic曲线，logistic曲线对应的函数就是sigmoid函数。

下面我们用通过spyder用python语言把logistic曲线画出来，如下所示。

代码

# -*- coding: utf-8 -*-
"""@author: tom
"""import numpy
import math
import matplotlib.pyplot as pltdef sigmoid(x):a = []for item in x:a.append(1.0/(1.0 + math.exp(-item)))return ax = numpy.arange(-10, 10, 0.1)
y = sigmoid(x)
plt.plot(x,y)
plt.show()

sigmoid函数的性质

通过logistic曲线就可以知道

1）sigmoid函数是一个阀值函数，不管x取什么值，对应的sigmoid函数值总是0<sigmoid(x)<1。

2）sigmoid函数严格单调递增，而且其反函数也单调递增

3）sigmoid函数连续

4）sigmoid函数光滑

5）sigmoid函数关于点(0, 0.5)对称

6）sigmoid函数的导数是以它本身为因变量的函数，即f(x)' = F(f(x))

所以sigmoid函数其实起源于生物学的现象中，其曲线也称为S型生长曲线。在信息科学中，由于sigmoid函数和其反函数都是严格单调递增的，所以sigmoid函数常被用作神经网络的阈值函数，将变量映射到(0,1)内。

sigmoid函数求导f(x')=F(f(x))

这是sigmoid函数的一个重要性质。sigmoid函数的导数是以他自身为因变量的函数，下面进行推导~

sigmoid函数的数学公式推导

什么事情，都要做到知其然，知其所以然~

sigmoid函数的值域∈(0,1)，这与概率值的范围[0,1]很是巧合，我们可以把sigmoid函数与一个概率分布联系起来，那就是伯努利分布。

伯努利分布的概率质量函数为：

可以知道x=1时的概率为p，x=0时的概率为1-p，即f(1|p) = p，f(0|p) = 1-p。

证明伯努利分布也属于指数分布族

为了推导sigmoid函数，需要先证明伯努利分布也属于指数分布族。

证明伯努利分布属于指数分布族：

sigmoid函数的数学公式推导

到此sigmoid函数的数学公式推导已经结束。

以上是从数学方面进行推导sigmoid函数，后续会从逻辑回归含义进行推导得到sigmoid函数的公式。

enjoy it~.

(end)

【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导相关推荐

吴恩达机器学习 -- 逻辑回归(Logistic Regression)
7.1 分类问题如果要预测的变量是离散值,此时我们应用 logistics regression. 在分类问题中,我们对某一事物进行分类,有二分类和多分类问题.此节先讨论二分类问题,即只有两个分 ...
Python遇见机器学习 ---- 逻辑回归 Logistic Regression
综述 "子非鱼,焉知鱼之乐" 本文采用编译器:jupyter 逻辑回归方法是从线性回归方法发展过来的,通常解决的是分类问题,读者或许有这样一个疑问:既然是回归算法又么解决分类问题的 ...
线性回归 Linear Regression 与逻辑回归 Logistic Regression
1 线性回归 Linear Regression 理论线性回归模型研究多个变量x与y之间的关系,通过回归模型预测位置样本的数据. 假设函数损失函数损失函数寻优,最小二乘法即: 注:最小二乘法需 ...
Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课"逻辑回归(Logistic Regression)" 本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis R ...
吴恩达机器学习 8.6 逻辑回归(Logistic Regression)
6.1 分类问题参考文档: 6 - 1 - Classification (8 min).mkv 在这个以及接下来的几个视频中,开始介绍分类问题. 在分类问题中,你要预测的变量 $y$ 是离散的值, ...
机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)
之前我们已经大概学习了用线性回归(Linear Regression)来解决一些预测问题,详见: 1.<机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradien ...
逻辑回归(logistic regression)的本质——极大似然估计
文章目录 1 前言 2 什么是逻辑回归 3 逻辑回归的代价函数 4 利用梯度下降法求参数 5 结束语 6 参考文献 1 前言逻辑回归是分类当中极为常用的手段,因此,掌握其内在原理是非常必要的.我会争 ...
[转载] 吴恩达机器学习逻辑回归练习题：逻辑回归及规则化（python实现）
参考链接: 了解逻辑回归 Python实现练习题背景:网易云课堂->吴恩达机器学习课程->逻辑回归练习题对于练习题的详细内容,和课程中推荐的octave编程实现,请见:吴恩达机器学习逻 ...

最新文章

热门文章