激活层函数和affine层的反向传播

import numpy as np
#Relu函数实现带反向传播
class Relu:def __init__(self):self.mask=Nonedef forward(self,x):self.mask=(x<=0)out=x.copy()                    #复制x中的所有元素out[self.mask]=0return outdef backward(self,dout):dout[self.mask]=0dx=doutreturn dx
#如果正向传播时的输人值小于等于0.则反向传播的值为0。因此,反向传播中会便用正问传播时保存的mask，将从上游传来的doutmask中的元素为True的地方设为0。

#Sigmoid函数带反向传播
class Sigmoid:def __init__(self):self.out=Nonedef forward(self,x):out=1/(1+np.exp(-x))self.out=outreturn outdef backward(self,dout):dx=dout*(1.0-self.out)*self.outreturn dx#这个实现中，正向传播时将输出保存在了实例变量out中。然后反向传播时，使用该变量out进行计算。

#神经网络的正向传播过程中的矩阵乘积运算在几何学领域称作仿射变换（affine）。因此这里将进行仿射变换的处理实现为affine层。class Affine:def __init__(self):self.W=Wself.b=bself.x=Noneself.dW=Noneself.db=Nonedef forward(self,x):self.x=xout=np.dot(x,self.W)+self.breturn outdef backward(self,dout):dx=np.dot(dout,self.W.T)                       #在numpy模块下.T表示转置矩阵self.dW=np.dot(self.x.T,dout)self.db=np.sum(dout,axis=0)return dx

激活层函数和affine层的反向传播相关推荐

结合反向传播算法使用python实现神经网络的ReLU、Sigmoid、Affine、Softmax-with-Loss层
结合反向传播算法使用python实现神经网络的ReLU.Sigmoid激活函数层这里写目录标题一.ReLU层的实现二.Sigmoid层的实现三.实现神经网络的Affine层四.Softmax ...
DL：神经网络算法简介之Affine 层的简介、使用方法、代码实现之详细攻略
DL:神经网络算法简介之Affine 层的简介.使用方法.代码实现之详细攻略目录 Affine 层的简介批版本的Affine 层 Affine 层的使用方法 Affine 层的代码实现 Affin ...
误差反向传播和深度学习相关技巧总结
误差反向传播和深度学习相关技巧总结文章目录误差反向传播和深度学习相关技巧总结一.误差反向传播法 1.几个问题 2.简单层(加法.乘法层).激活函数层.Affine/softmax层的实现 3.误 ...
独家 | 数据科学家指南：梯度下降与反向传播算法
作者:Richmond Alake 翻译:陈之炎校对:zrx本文约3300字,建议阅读5分钟本文旨在为数据科学家提供一些基础知识,以理解在训练神经网络时所需调用的底层函数和方法. 标签:神经网络, ...
第二章反向传播算法如何工作的？
更好的公式展现请去gitbook 连接阅读在上一章,我们看到了神经网络如何使用梯度下降算法来学习他们自身的权重和偏差.但是,这里还留下了一个问题:我们并没有讨论如何计算代价函数的梯度.这是很大的缺失 ...
CNN 反向传播推导
CNN卷积神经网络推导和实现本文的论文来自: Notes on Convolutional Neural Networks, Jake Bouvrie. 这个主要是CNN的推导和实现的一些笔记,再看 ...
入门机器学习(八)--神经网络参数的反向传播算法
1. 代价函数(Cost Function) 假设我们拥有一个如下图所示的神经网络,一共有四层,分别是一层输入层,两层隐藏层,一层输出层.下面定义几个变量的意义: m:训练样本的个数,共有m个样本 L ...
Day8_误差反向传播
1.激活函数的实现 ReLU层 Relu函数 y=np.maximum(0,x) dy/dx=(1 if i >0 else 0 for i in x) 正向传播时的输入值小于等于0,则反向传播 ...
花书+吴恩达深度学习（三）反向传播算法 Back Propagation
目录 0. 前言 1. 从 Logistic Regression 中理解反向传播 2. 两层神经网络中单个样本的反向传播 3. 两层神经网络中多个样本的反向传播如果这篇文章对你有一点小小的帮助,请 ...

激活层函数和affine层的反向传播

激活层函数和affine层的反向传播

激活层函数和affine层的反向传播相关推荐

最新文章

热门文章