Sigmoid函数推导

通过logistic曲线就可以知道

sigmoid函数的导数是以它本身为因变量的函数，即f(x)' = F(f(x))

sigmoid函数是一个阀值函数，不管x取什么值，对应的sigmoid函数值总是∈(0,1)

1、证明f(x)' = F(f(x)) $f'(x)=[\frac{1}{1+e^{-x}}]'=\frac{1'.(1+e^{-x})-1.(1+e^{-x})'}{(1+e^{-x})^{2}}=\frac{1}{1+e^{-x}}-\frac{1}{(1+e^{-x})^{2}}=\frac{1}{1+e^{-x}} (1-\frac{1}{1+e^{-x}})=f(x)[1-f(x)]$

所以 $f'(x)=F(f(x))$

sigmoid函数的值域∈(0,1)，这与概率值的范围[0,1]很是巧合，我们可以把sigmoid函数与一个概率分布联系起来，那就是伯努利分布。

伯努利分布的概率质量函数为： $f(x|p)=p^{x}(1-p)^{1-x}$

2、证明伯努利分布也属于指数分布族

指数分布族的一般表达式 $f(x|\theta)=h(x)e^{y(\theta)T(x)-A(\theta)}$

伯努利分布的概率质量函数为：

$f(x|p)=p^{x}(1-p)^{1-x}=e^{ln[p^{x}(1-p)^{(1-x)}]}=e^{[lnp^{x}+ln(1-p)^{1-x}]}=e^{[xln\frac{p}{1-p}+ln(1-p)]}$

由此可知，伯努利分析也是属于指数分布族

3、sigmoid函数的数学公式推导

由伯努利分布 $f(x|p)=p^{x}(1-p)^{1-x}$ 属于指数分布族

$y(\theta)=ln\frac{p}{1-p}$ ， $e^{y(\theta)}=\frac{p}{1-p}$ ， $(1-p)e^{y(\theta)}=p$ ， $p=\frac{e^{y(\theta)}}{1+e^{y(\theta)}}=\frac{1}{1+e^{-y(\theta)}}$

可知p的值域恒 $\in$ （0，1）

Sigmoid函数推导相关推荐

Sigmoid函数与逻辑回归
文章目录 (1). Sigmoid函数的由来--伯努利分布的衍生物 1.1 为什么会有 sigmoid 函数的出现? 1.2 sigmoid 函数推导过程 1.3 sigmoid 函数求导 (2). ...
最详细的Sigmoid函数的求导推导过程
Sigmoid函数为logistic回归.神经网络等模型的激活函数. 函数图像如下: 定义域是从 (−∞,+∞),值域是(0,1). 函数: 导数: 推导过程为: ...
sigmoid函数求导与自然指数
sigmoid函数求导与自然指数在神经网络里经常使用sigmoid做激活函数,它的导数是怎么样求解呢?因为要使用它的导数来计算梯度下降. 这个过程如下: 1. sigmoid 函数:f(z) = 1 ...
sigmoid函数_机器学习面试常考知识之激活函数
神经网络的知识激活函数 y=f(Wx+b) 常用的激活函数有sigmoid.tanh.ReLu.LeakyReLU等为什么需要激活函数(这里说的激活函数一般指非线性激活),假设不用激活函数(相 ...
sigmoid函数_常用的激活（激励）函数——深度学习笔记（建议收藏）
激活函数(又叫激励函数,后面就全部统称为激活函数)是模型整个结构中的非线性扭曲力,神经网络的每层都会有一个激活函数.那他到底是什么,有什么作用?都有哪些常见的激活函数呢? 深度学习的基本原理就是基于人 ...
Sigmoid函数（logsig）求导
通常情况下,我们所说的Sigmoid函数定义如下: σ ( x ) = 1 1 + e − x = e x e x + 1 . \sigma(x)=\frac{1}{1+e^{-x}}=\frac{e ...
sigmoid函数求导-只要四步
sigmoid函数的导数是f′(x)=f(x)(1−f(x))f ^ { \prime } ( x ) =f ( x ) ( 1 - f ( x ) ) f′(x)=f(x)(1−f(x)) 推 ...
从【为什么要用sigmoid函数】到真的懂【逻辑回归】
1.逻辑回归是广义线性回归(GLM)的一种特殊形式 2.GLM有三个要素构成:响应变量服从指数族分布,系统分量是预测变量x的线性模型,通过连接函数联系前两者 2.逻辑回归建立在0-1分布上,而0-1分 ...
【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导
sigmoid函数的数学公式 sigmoid函数的因变量x取值范围是-∞到+∞,(-∞,+∞),但是sigmoid函数的值域是(0, 1). 不管x取什么值其对应的sigmoid函数值一定会落到(0, ...

Sigmoid函数推导

Sigmoid函数推导相关推荐

最新文章

热门文章