paddle学习笔记（1）--clear

在梯度更新的时候，使用了一个clear_grad函数，当时在想，如果没有清空梯度会怎么样（其实我主要是想了解损失函数是怎么backforward的，但是那个代码调试到

 core.dygraph_run_backward([self], [grad_tensor],retain_graph,framework._dygraph_tracer())

就不知道后面说的啥了，不过在这个文件里面有对清空梯度的解释：

  The new gradient will accumulat on previous gradient.You can clear gradient by ``Tensor.clear_grad()`` .

这里面就是说如果不把之前的清空就会一直累加
顺便还有例子，体会一下：

Examples:.. code-block:: pythonimport paddlex = paddle.to_tensor(5., stop_gradient=False)for i in range(5):y = paddle.pow(x, 4.0)y.backward()print("{}: {}".format(i, x.grad))# 0: [500.]# 1: [1000.]# 2: [1500.]# 3: [2000.]# 4: [2500.]x.clear_grad()print("{}".format(x.grad))# 0.grad_tensor=paddle.to_tensor(2.)for i in range(5):y = paddle.pow(x, 4.0)y.backward(grad_tensor)print("{}: {}".format(i, x.grad))# 0: [1000.]# 1: [2000.]# 2: [3000.]# 3: [4000.]# 4: [5000.]"""

paddle学习笔记（1）--clear_grad（）函数相关推荐

c++学习笔记内联函数，函数重载，默认参数
c++学习笔记内联函数,函数重载,默认参数 1 inline内联函数 C++中的const常量可以替代宏常数定义,如: const int A = 3;  #define A 3 C++中是否有解决 ...
c语言中void arrout,c语言学习笔记(数组、函数
<c语言学习笔记(数组.函数>由会员分享,可在线阅读,更多相关<c语言学习笔记(数组.函数(53页珍藏版)>请在人人文库网上搜索. 1.数组2010-3-29 22:40一维数 ...
IOS学习笔记07---C语言函数-scanf函数
2013/8/7 IOS学习笔记07---C语言函数-scanf函数 ------------------------------ qq交流群:创梦技术交流群:251572072 ...
IOS学习笔记07---C语言函数-printf函数
IOS学习笔记07---C语言函数-printf函数 0 7.C语言5-printf函数 ------------------------- ----------------------------- ...
IOS学习笔记06---C语言函数
IOS学习笔记06---C语言函数 -------------------------------------------- qq交流群:创梦技术交流群:251572072 ...
jquery学习笔记及常用函数封装
二.JQuery 学习笔记及常用函数封装 https://download.csdn.net/download/weixin_42530002/13087988 1.JQuery入门 (1).css选 ...
STATA学习笔记：egen函数
STATA学习笔记:egen函数 1. egen (1)mean() webuse egenxmpl,clear egen avg = mean(cholesterol) gen deviation ...
Python学习笔记11：函数修饰符
Python学习笔记11:函数修饰符 Python有很多有趣的特性,其中函数修饰符就是一个. 我们在之前的那个web应用示例中用过如下写法: @web.route('/log') @符号后边的,就是一 ...
Hive学习笔记三之函数操作
文章目录 5 函数 5.1 系统内置函数 5.2 常用内置函数 5.2.1 空字段赋值 5.2.2 CASE WHEN THEN ELSE END(类似于java中的switch case) 5.2. ...

paddle学习笔记（1）--clear_grad（）函数

paddle学习笔记（1）--clear_grad（）函数相关推荐

最新文章

热门文章