关于Sigmoid数据输出不是zero-centered的理解

讲到Sigmoid函数时，有一个缺点是Sigmoid函数的输出不是零中心的，那么为什么我们更需要一个零中心的激活函数呢？
在上cs231n的时候，对老师关于这部分内容的讲解云里雾里，在查阅一些资料后，放上自己的理解：

假设我们现在有两个函数，分别是一个线性加权函数和一个激活函数，我们知道在一个神经网络中这样的函数将会一层层重叠。对于sigmoid函数来说，它的输出始终为正数(非zero-centered)，那下一层f的输入将全部为正数。

现在假设我们的w是二维的，即包括(w1,w2)，利用链式法则我们可以计算出w的梯度：

其中，f关于w的导数是x（在当前例子中f是线性函数），l关于f的导数取决于上游梯度，也就是正数或者负数。现在我们的x恒为正数，那么l关于w的导数的符号就是全为正或者全为负。（这里有一些小疑惑，在课程note中写到w的梯度具体依整个表达式f而定，那么默认l关于f的导数就是正数了吗(sigmoid)？而在课上老师又说w的梯度依上游梯度而定。具体问题我想先放一放，因为无论哪种解释这里w的导数总是固定符号的）

这就导致了w总是关于同一方向变化，我们可以用正数去增加w中所有的值，或者用负数去减少w中所有的值。

那么问题来了，若我们现在理想的过程是w1不断增加，w2不断减少，那么收敛的过程将会非常缓慢，如图所示，梯度下降权重更新时出现z字型的下降。

望大家指正:)

关于Sigmoid数据输出不是zero-centered的理解相关推荐

4.3 SE38数据输出
4.3 SE38数据输出 4.3.1 数据的基本输出数据的基本输出,使用WRITE语句进行数据对象的输出,WRITE语句在输出时可以控制数据对象的长度,输出位置以及格式等属性的控制.同时可以输出多个 ...
Shiny平台构建与R包开发（三）——数据输出
作为Shiny平台构建与R包开发教程的第三小节,本节向读者展示如何利用Shiny server输出自己想要的数据,包括Rplot.Table.Text等信息. 数据输出机制仍以上一节的案例为基础: ...
golang beego 数据输出返回值
概览直接输出字符串通过beego.Controller.Ctx.WriteString()方法可以直接向http response body中输出字符串 beego中的函数定义如下: // Wri ...
springmvc十五:数据输出
数据输出-- 传入Map,Model或者ModelMap package com.atchina;import java.util.Map;import org.springframework.ste ...
数据输出：如何将数据带给页面||SpringMVC除过在方法上传入原生的request和session外还能怎么样把数据带给页面
数据输出:如何将数据带给页面 SpringMVC除过在方法上传入原生的request和session外还能怎么样把数据带给页面 SpringMVC提供了一种可以临时给Session域中保存数据的方式 ...
《物联网框架ServerSuperIO教程》- 23.动态数据接口增加缓存，提高数据输出到OPCServer和（实时）数据库的效率...
22.1 概述及要解决的问题设备驱动有DeviceDynamic接口,可以继承并增加新的实时数据属性,每次通讯完成后更新这些属性数据.原来是通过DeviceDynamic接口实体类反射的方式获 ...
python数据输出_python数据输出
下面的是我的code, 但是最后的结果全部都是others,有哪位大神能帮忙看产生输出的最简单方法是使用print语句,可以通过用逗号分隔零个或多个表达式.这个函数传递表达式转换为一个字符串,如下结果 ...
ssm idea后端接收数据输出在控制台时出现中文乱码
idea 后端接收数据输出在控制台时出现中文乱码环境 maven项目, ssm框架(spring+springmvc+mybatis)注解和配置文件混合开发, tomcat服务器解决乱码的方式(推 ...
php怎么输出mysql一条数据,MySQL数据输出在一个可打印的PHP变量
我知道我在这里有一个语法错误,但我无法弄清楚这一点.MySQL数据输出在一个可打印的PHP变量我试图在我的数据库中获取单个特定记录的结果以显示在PHP变量中.似乎很简单,但显然不适合我.这里是代码我 ...

关于Sigmoid数据输出不是zero-centered的理解

关于Sigmoid数据输出不是zero-centered的理解相关推荐

最新文章

热门文章