torch 的 forward 和 backward

Criterions有其forward和backward函数
https://github.com/torch/nn/blob/master/doc/criterion.md
Module也有其forward和backward函数
https://github.com/torch/nn/blob/master/doc/module.md

Module的forward函数最简单，就是输入input得到output

Module的backward看下这个线性回归的例子

require 'torch'
require 'nn'
require 'gnuplot'month = torch.range(1,10)
price = torch.Tensor{28993,29110,29436,30791,33384,36762,39900,39972,40230,40146}model = nn.Linear(1, 1)
criterion = nn.MSECriterion()month_train = month:reshape(10,1)
price_train = price:reshape(10,1)for i=1,1000 doprice_predict = model:forward(month_train) -- 输入 -> 输出err = criterion:forward(price_predict, price_train) -- 输出,正确 -> loss值print(i, err)model:zeroGradParameters()gradient = criterion:backward(price_predict, price_train) -- 输出，正确 -> 梯度model:backward(month_train, gradient) -- 输入，梯度model:updateParameters(0.01)
endmonth_predict = torch.range(1,12)
local price_predict = model:forward(month_predict:reshape(12,1))
print(price_predict)gnuplot.pngfigure('plot.png')
gnuplot.plot({month, price}, {month_predict, price_predict})
gnuplot.plotflush()

torch 的 forward 和 backward相关推荐

caffe学习笔记2：net forward与backward
caffe学习笔记2:Forward and Backward 原网页:http://caffe.berkeleyvision.org/tutorial/forward_backward.html f ...
pytorch自定义forward和backward函数
pytorch会自动求导,但是当遇到无法自动求导的时候,需要自己认为定义求导过程,这个时候就涉及到要定义自己的forward和backward函数. 举例如下: 看到这里,大家应该会有很多疑问,比如: ...
【video frame interpolation系列1】背景知识: forward and backward image warping （图像扭曲/变换）
最近子课题的研究涉及到 video frame interpolation 的相关知识,故开一个系列,简单地记录一下,对于此课题涉及到的内容,个人的一些总结与理解,仅供参考,如有错误之处,欢迎指正. ...
【Caffe笔记】二.Forward and Backward(前传/反传)
前传和后传是一个网络最重要的计算过程. 1.前传前传过程为给定的待推断的输入计算输出,Caffe组合每一层的计算一得到整个模型的计算函数,自底向上进行. 2.反传反传过程根据损失来计算梯度从而进行 ...
Vscode :代码缩进forward and backward
forward Select the code you want to perform on.[Tab+Shift] backward Select the code you want to perf ...
证券法律法规体系所有法律_告诉我法律
证券法律法规体系所有法律 Software Architecture is getting too complicated- 软件架构变得太复杂了-- It is easy to look at al ...
通俗讲解Pytorch梯度的相关问题：计算图、torch.no_grad、zero_grad、detach和backward；Variable、Parameter和torch.tensor
文章目录 with torch.no_grad()和requires_grad backward() Variable,Parameter和torch.tensor() zero_grad() 计算图 ...
【深度学习】pytorch自动求导机制的理解 | tensor.backward() 反向传播 | tensor.detach()梯度截断函数 | with torch.no_grad()函数
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.pytorch里自动求导的基础概念 1.1.自动求导 requires_grad=True 1.2.求导 requ ...
pytorch 笔记：扩展torch.autograd
1 扩展torch.autograd 向 autograd 添加操作需要为每个操作实现一个新的 Function 子类. 回想一下,函数是 autograd 用来编码操作历史和计算梯度的东西. 2 何 ...

torch 的 forward 和 backward

torch 的 forward 和 backward相关推荐

最新文章

热门文章