自动微分

原理

pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.
tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解. 注意并不是根据 y x ′ = Δ y Δ x y'_x=\frac {\Delta y} {\Delta x} yx′=ΔxΔy 的定义去计算数值解.

例子

令 x 1 = 2 , x 2 = 2 x_1=2,x_2=2 x1=2,x2=2
u = ( u 1 , u 2 ) = f 1 ( x ) = ( 4 x 1 , 4 x 2 ) u=(u_1,u_2)=f_1(x)=(4x_1,4x_2) u=(u1,u2)=f1(x)=(4x1,4x2)
y = f 2 ( u ) = ( u 1 2 + u 2 2 ) 1 2 y=f_2(u)=(u_1^2+u_2^2)^{\frac12} y=f2(u)=(u12+u22)21,
求 y 对 x1 的偏导数.

手算偏导

使用链式法则作复合函数的求导.
∂ y ∂ x 1 = ∂ y ∂ u 1 ⋅ ∂ u 1 ∂ x 1 (1) \frac{\partial y}{\partial x_1} = \frac{\partial y}{\partial u_1} \cdot \frac{\partial u_1}{\partial x_1} \tag1 ∂x1∂y=∂u1∂y⋅∂x1∂u1(1)

分别计算两项各自的导数:
∂ y ∂ u 1 = ∂ ( u 1 2 + u 2 2 ) 1 2 ∂ u 1 = 1 2 × ( u 1 2 + u 2 2 ) − 1 2 × 2 u 1 = 1 2 × 1 64 + 64 × 2 × 8 = 0.7071 (2) \frac{\partial y}{\partial u_1}=\frac{{\partial}(u_1^2+u_2^2)^{\frac12}}{{\partial u_1}}\\ =\frac12 \times (u_1^2+u_2^2)^{-\frac12}\times 2u_1\\ =\frac12\times\frac1{\sqrt{64+64}}\times 2\times8\\ =0.7071 \\ \tag2 ∂u1∂y=∂u1∂(u12+u22)21=21×(u12+u22)−21×2u1=21×64+64 1×2×8=0.7071(2)
注意因为有 u 1 2 u_1^2 u12 的存在, 这里其实也是一个复合函数, 都用到了 ( x a ) ′ = a x a − 1 (x^a)'=ax^{a-1} (xa)′=axa−1 的求导公式.

∂ u 1 ∂ x 1 = 4 (3) \frac{\partial u_1}{\partial x_1} =4 \tag3 ∂x1∂u1=4(3)

将 (2)(3)的结果代入式(1), 有
r e s = ∂ y ∂ u 1 ⋅ ∂ u 1 ∂ x 1 = 0.7071 × 4 = 2.8284 (4) res = \frac{\partial y}{\partial u_1} \cdot \frac{\partial u_1}{\partial x_1}\\ =0.7071\times 4\\ =2.8284 \tag4 res=∂u1∂y⋅∂x1∂u1=0.7071×4=2.8284(4)

代码比对

import torchx = torch.tensor([2, 2], dtype=torch.float)  # input tensor
x.requires_grad = True
u = 4 * x
y: torch.Tensor = u.norm()
print('x.grad_fn', x.grad_fn)
print('y.grad_fn', y.grad_fn)
print('u.grad_fn', u.grad_fn)
print(f'before y.backward(), x.grad = {x.grad}, u.grad = {u.grad}')
y.backward()
print(f'after y.backward(), x.grad = {x.grad}, u.grad = {u.grad}')
"""
x.grad_fn None
y.grad_fn <NormBackward1 object at 0x0000027620F89A90>
u.grad_fn <MulBackward0 object at 0x0000027620F89A90>
before y.backward(), x.grad = None, u.grad = None
after y.backward(), x.grad = tensor([2.8284, 2.8284]), u.grad = None
D:\code_study\torch_study\test\auto_grad_test.py:10: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed. Its .grad attribute won't be populated during autograd.backward(). If you indeed want the .grad field to be populated for a non-leaf Tensor, use .retain_grad() on the non-leaf Tensor. If you access the non-leaf Tensor by mistake, make sure you access the leaf Tensor instead. See github.com/pytorch/pytorch/pull/30531 for more informations. (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\build\aten\src\ATen/core/TensorBody.h:485.)print(f'before y.backward(), x.grad = {x.grad}, u.grad = {u.grad}')
"""

可以清晰看到 y对x1的偏导为 2.8284, 与手算结果一致.
有个 warning 信息, 是说 tensor u 不是叶子结点, 所以.grad attribute 不会被自动计算. 如果硬要算也可以, 调用 u.retain_grad() 即可.

不可微的 op 怎么搞?

一些分段函数带来的第一类间断点等.
todo

梯度更新

手算tensor迭代

使用最简单的 SGD, 步长为 0.1, 那么一个 step 之后, x 新的值为
x=x+(-1)*gradient*learning_rate, 代入得 x=2-0.1*2.8284=1.7172.

代码比对

import torchx = torch.tensor([2, 2], dtype=torch.float)  # input tensor
x.requires_grad = Trueu: torch.Tensor = 4 * x
y: torch.Tensor = u.norm()
print('y.grad_fn = ', y.grad_fn)
print('u.grad_fn = ', u.grad_fn)
print('x.grad_fn = ', x.grad_fn)loss = y
optimizer = torch.optim.SGD(params=[x], lr=0.1)u.retain_grad()
optimizer.zero_grad()print(f'before loss.backward(), x.grad = {x.grad}, u.grad = {u.grad}')
loss.backward()
print(f'after loss.backward(), x.grad = {x.grad}, u.grad = {u.grad}')print(f'before optimizer.step(), x = {x}')
optimizer.step()
print(f'after optimizer.step(), x = {x}')"""
y.grad_fn <CopyBackwards object at 0x0000022F2CDA1BE0>
u.grad_fn <MulBackward0 object at 0x0000022F2CDA1BE0>
x.grad_fn Nonebefore loss.backward(), x.grad = None, u.grad = None
after loss.backward(), x.grad = tensor([2.8284, 2.8284]), u.grad = tensor([0.7071, 0.7071])before optimizer.step(), x = tensor([2., 2.], requires_grad=True)
after optimizer.step(), x = tensor([1.7172, 1.7172], requires_grad=True)
"""

pytorch autograd 自动微分与梯度更新相关推荐

PyTorch深度学习60分钟闪电战：02 Autograd - 自动微分
本系列是PyTorch官网Tutorial Deep Learning with PyTorch: A 60 Minute Blitz 的翻译和总结. PyTorch概览 Autograd - 自动微 ...
只知道TF和PyTorch还不够，快来看看怎么从PyTorch转向自动微分神器JAX
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转载自:机器之心说到当前的深度学习框架,我们往往绕不开 Ten ...
Pytorch Autograd (自动求导机制)
Introduce Pytorch Autograd库 (自动求导机制) 是训练神经网络时,反向误差传播(BP)算法的核心. 本文通过logistic回归模型来介绍Pytorch的自动求导机制.首先, ...
[PyTorch] autograd 自动求导
文章目录 1. autograd 注意事项 backward() 梯度累加 2. 标量求导 3. 张量求导例1 例2 1. autograd 注意事项 backward() backwad() 函数 ...
pytorch基础-使用 TORCH.AUTOGRAD 进行自动微分（5）
在训练神经网络时,最常用的算法是反向传播.PyTorch的反向传播(即tensor.backward())是通过autograd包来实现的,autograd包会根据tensor进行过的数学运算来自动计 ...
速成pytorch学习——3天自动微分机制
神经网络通常依赖反向传播求梯度来更新网络参数,求梯度过程通常是一件非常复杂而容易出错的事情. 而深度学习框架可以帮助我们自动地完成这种求梯度运算. Pytorch一般通过反向传播 backward 方 ...
《20天吃透Pytorch》Pytorch自动微分机制学习
自动微分机制 Pytorch一般通过反向传播 backward 方法实现这种求梯度计算.该方法求得的梯度将存在对应自变量张量的grad属性下. 除此之外,也能够调用torch.autograd.gr ...
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战（附源码超详细必看）
创作不易觉得有帮助请点赞关注收藏~~~ 一.PyTorch的Reduction操作 Reduction运算的特点是它往往对一个Tensor内的元素做归约操作,比如torch.max找极大值,torc ...
【Pytorch】用自动微分求sin(x)的导数
目录 1. 问题分析 1.1 问题描述 1.2 解决思路 2. 代码实现 1. 问题分析 1.1 问题描述其实这个问题很简单,本篇博客全当备忘录了.我们的需求是: 图片来源:李沐:<动手学深度 ...

pytorch autograd 自动微分与梯度更新

自动微分

原理

相关 api

例子

手算偏导

代码比对

不可微的 op 怎么搞?

梯度更新

相关api

手算tensor迭代

代码比对

pytorch autograd 自动微分与梯度更新相关推荐

最新文章

热门文章