演示gradients基本用法

一实例描述

通过定义两个矩阵相乘来演示使用gradients求梯度。

在反向传播过程中，神经网络需要对每一个loss对应的学习参数求偏导。算出的这个值叫梯度，用来乘以学习率然后更新学习参数使用的。它是通过tf.gradients函数来实现的。tf.gradients函数里的第一个参数为求导公式，第二个参数为指定公式中哪个变量来求偏导。

二代码

import tensorflow as tf
w1 = tf.Variable([[1,2]])
y = tf.matmul(w1, [[9],[10]])
#grads = tf.gradients(y,[w1,w2])#w2不相干，会报错
grads = tf.gradients(y,[w1])
with tf.Session() as sess:sess.run(tf.global_variables_initializer())gradval = sess.run(grads)print(gradval)

三运行结果

[array([[ 9, 10]])]

上面例子中，由于y是由w1与[[9],[20]]相乘而来，所以导数也就是[[ 9, 10]]（斜率）。

四参考

https://blog.csdn.net/taoyanqi8932/article/details/77602721

演示gradients基本用法相关推荐

VTK：演示回调的用法实战
VTK:演示回调的用法实战程序输出程序完整源代码程序输出程序完整源代码 #include <vtkActor.h> #include <vtkAxesActor.h> ...
Go程序：演示数组切片用法
在Go语言中,数组的长度在定义之后无法再次修改:数组是值类型,每次传递都将产生一份副本.显然这种数据结构无法完全满足开发者的真实需求,但是Go语言提供了数组切片(slice)这个非常酷的功能来弥补数组 ...
tensorflow中gradients基本用法
import tensorflow as tf """ 在反向传播过程中,神经网络需要对 loss 对应的学习参数求偏导(也叫梯度), 该值用来乘以学习率然后更新学习参数 ...
Go程序：演示map用法
Go程序:演示map用法在C++/Java中,map一般都以库的方式提供,比如在C++中是STL的std::map<>,在C#中是 Dictionary<>,在Java中是H ...
java语言基础final_java语言中final的用法
许多程序设计语言都有自己的办法告诉编译器某个数据是"常数".常数主要应用于下述两个方面: (1) 编译期常数,它永远不会改变 (2) 在运行期初始化的一个值,我们不希望它发生变化 ...
方法对象java final关键字的用法
之前一直在查找方法对象之类的问题,今天正好有机会和大家讨论一下. 1.用final关键字设置常数很多程序设计语言都有自己的方法告知编译器某个数据是"常数".常数重要应用于下述两个 ...
01 HBase基本概念和hbase shell常用命令用法
本文转载自:http://archive.cnblogs.com/a/2178064/ 1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一 ...
HBase基本概念和hbase shell常用命令用法
1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实 ...
MySql数据库explain用法示例_mysql explain的用法
MySQL的EXPLAIN命令显示了mysql如何使用索引来处理select语句以及连接表.可以帮助选择更好的索引和写出更优化的查询语句. 一.通过expalin可以得到 1.表的读取顺序 2.表的读 ...

演示gradients基本用法

演示gradients基本用法相关推荐

最新文章

热门文章