本文是通过学习 AI研习社炼丹兄所做笔记！！！

1. .backward()

目录

1.1 .grad

1.2 .is_leaf

1.3 .retain_grad()

1.4 .grad_fn

1.1 .grad

作用：查看叶子节点梯度值

例：，计算y关于w的梯度：

(上式计算中，)

和是叶子节点，是整个计算过程的根基

在反向传播结束之后，非叶子节点的梯度会被释放掉

Pytorch代码实现过程如下：

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)a = w + x
b = w + 1
y = a * by.backward()
print(w.grad)

运行结果如下：
tensor([5.0])

1.2 .is_leaf

作用：查看是否为叶子节点

例：，计算y关于w的梯度：

(上式计算中，)

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)a = w + x
b = w + 1
y = a * by.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad)

运行结果如下：

True True False False False
tensor([5.]) tensor([2.]) None None None

观察到只有和是叶子节点，然后反向传播计算完梯度后（.backward()之后），只有叶子节点的梯度保存下来了。

1.3 .retain_grad()

作用：通过.retain_grad()保留非任意节点的梯度值

例：，计算y关于w的梯度：

(上式计算中，)

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)a = w + x
a.retain_grad()
b = w + 1
y = a * by.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad)

运行结果如下：

True True False False False
tensor([5.]) tensor([2.]) tensor([2.]) None None

1.4 .grad_fn

作用：记录创建该张量时所用的函数，这个属性反向传播的时候会用到

例：，计算y关于w的梯度：

(上式计算中，)

y.grad_fn = MulBackward0 表示y是通过乘法得到的。求导时用乘法的求导法则。

a.grad_fn = AddBackward0 表示a是通过加法得到的。求导时用加法的求导法则。

叶子节点的 .grad_f是None

import torchw = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)a = w + x
a.retain_grad()
b = w + 1
y = a * by.backward()
print(y.grad_fn)
print(a.grad_fn)
print(w.grad_fn)

运行结果如下：

<MulBackward0 object at 0x000002107EE17610>
<AddBackward0 object at 0x000002107EE17610>
None

【笔记】Pytorch-backward()相关推荐

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解发布: 2017年8月4日 7,195阅读 ...
笔记 | PyTorch安装及入门教程
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文内容概述如何安装PyTorch以及PyTorch的一些简单操作 ...
[笔记]Pytorch框架下的入门应用：resnet34实现分类
导师的课题需要用到图片分类:入门萌新啥也不会,只需要实现这个功能,给出初步效果,不需要花太多时间了解内部逻辑.经过一周的摸索,建好环境.pytorch,终于找到整套的代码和数据集,实现了一个小小的分类 ...
深度学习笔记--pytorch从梯度下降到反向传播BP到线性回归实现，以及API调用和手写数据集的实现
梯度下降和反向传播目标知道什么是梯度下降知道什么是反向传播 1. 梯度是什么? 梯度:是一个向量,导数+变化最快的方向(学习的前进方向) 回顾机器学习收集数据 x x x ,构建机器学习模型 ...
PyTorch 笔记Ⅱ——PyTorch 自动求导机制
文章目录 Autograd: 自动求导机制张量(Tensor) 梯度使用PyTorch计算梯度数值 Autograd 简单的自动求导复杂的自动求导 Autograd 过程解析扩展Autogra ...
NLP学习笔记-Pytorch框架（补充）
PDF Pytorch初步应用使用Pytorch构建一个神经网络学习目标掌握用Pytorch构建神经网络的基本流程. 掌握用Pytorch构建神经网络的实现过程. 关于torch.nn: 使用P ...
PyTorch backward原理
1,先看运行效果第一部分 x = torch.tensor([2., 1.], requires_grad=True).view(1,2)print(x) y = torch.tensor([[1. ...
pytorch backward使用解析
目录前言 backward函数官方文档 backward理解 Jacobian矩阵 vector-Jacobian product的计算 vector-Jacobian product的例子理解输 ...
pytorch笔记 pytorch模型中的parameter与buffer
1 模型的两种参数在 Pytorch 中一种模型保存和加载的方式如下:(具体见pytorch模型的保存与加载_刘文巾的博客-CSDN博客) #save torch.save(net.state_di ...
[轻笔记]Pytorch语义分割输出转换为图像显示
基于Pytorch的语义分割网络采用F.cross_entropy(y^,y\hat{\mathbf{y}}, \mathbf{y}y^,y)对数据集进行训练. 数据对(x,y)(\mathbf{x ...

【笔记】Pytorch-backward()

本文是通过学习 AI研习社炼丹兄所做笔记！！！

1. .backward()

1.1 .grad

1.2 .is_leaf

1.3 .retain_grad()

1.4 .grad_fn

【笔记】Pytorch-backward()相关推荐

最新文章

热门文章

【笔记】Pytorch-backward()

本文是通过学习 AI研习社 炼丹兄 所做笔记！！！

1. .backward()

1.1 .grad

1.2 .is_leaf

1.3 .retain_grad()

1.4 .grad_fn

【笔记】Pytorch-backward()相关推荐

最新文章

热门文章

本文是通过学习 AI研习社炼丹兄所做笔记！！！