关于全连接层梯度的链式法则

import tensorflow as tf
import numpy as np
#构建待优化变量
x=tf.constant([1.])
w1=tf.constant([2.])
b1=tf.constant([1.])
w2=tf.constant([2.])
b2=tf.constant([1.])
#构建梯度记录器
with tf.GradientTape(persistent=True) as tape:#tf.Variable类型的张量需要人为的设置记录梯度信息tape.watch([w1,b1,w2,b2])#构建两层的线性网络y1=x*w1+b1y2=y1*w2+b2
#独立求解出各个偏导数
dy2_y1=tape.gradient(y2,y1)[0]
dy1_w1=tape.gradient(y1,w1)[0]
dy2_w1=tape.gradient(y2,w1)[0]
#验证链式法则，两个输出应该相等
print(dy2_y1*dy1_w1)
print(dy2_w1)
tf.Tensor(2.0, shape=(), dtype=float32)
tf.Tensor(2.0, shape=(), dtype=float32)

可以看出偏导数的传播是符合链式法则的。

关于全连接层梯度的链式法则相关推荐

Python学习笔记--pytorch--随机梯度下降、神经网络与全连接层
随机梯度下降是一个向量,代表函数在某一个点增长的方向,模代表了在该点增长的速率影响搜索过程的因素: 初始状态,学习率,动量激活函数 1.torch.sigmoid (0,1) a=torch.l ...
8月2日Pytorch笔记——梯度、全连接层、GPU加速、Visdom
文章目录前言一.常见函数的梯度二.激活函数及其梯度 1.Sigmoid 2.Tanh 3.ReLU 三.Loss 函数及其梯度 1.Mean Squared Error(MSE) 2.Softm ...
全连接层的作用_python构建计算图2——全连接层
(好久不更~)前文中,参照tensorflow的方式实现了简单的自动求导.接下来要在自动求导的基底(模板)上搭建简单的bp神经网络. 计算图前文曾多次提到计算图,关于什么是计算图,有很多种说法.既然 ...
对于全连接层的理解全连接层的推导
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来.由于其全相连的特性,一般全连接层的参数也是最多的. 全连接层的前向计算下图中连线最密集的2个地方就是全连 ...
【深度学习】(3) 全连接层、激活函数
各位同学好,今天和大家分享一下tensorflow2.0深度学习中的相关操作.内容有: (1) 全连接层创建: tf.keras.Sequential(),tf.keras.layers.Dense( ...
【pytorch】pytorch自定义训练vgg16和测试数据集微调resnet18全连接层
自己定义模型测试: correct = 0total = 0for data in test_loader:img,label = dataoutputs = net(Variable(img))_ ...
卷积神经网络CNN要点：CNN结构、采样层、全连接层、Zero-padding、激活函数及Dropout
CNN结构: 卷积层:特征提取: 采样层:特征选择: 全连接层:根据特征进行分类. 采样层(pooling): max-pooling:克服卷积层权值参数误差: average-pooling:克服卷 ...
深度学习（22）神经网络与全连接层五: 误差计算
深度学习(22)神经网络与全连接层五: 误差计算 1. MSE 2. Entropy(熵) 3. Cross Entropy 4. Binary Classification 5. Single ou ...
全连接层时间复杂度_神经网络全连接层（3）
CNN网络基础结构神经网络-全连接层(3) 上一回我们聊完了算法,这回我们正式开始写代码.上回在做公式推导的时候,我们实际上只是针对一个数据样本进行推导,而实际中,计算和训练都是一批一批完成的.大多 ...

关于全连接层梯度的链式法则

关于全连接层梯度的链式法则相关推荐

最新文章

热门文章