torch.nn.Dropout()细节记录

说明：

1. 在model.train()模式下Dropout层是有效的，在model.eval()模式下，Dropout层是无效的。

2. torch.nn.Dropout是采用的inverted 版本，为了“保持期望不变”而进行了rescale(缩放），缩放比例是1/(1-p)，p是的丢弃比率。

Furthermore, the outputs are scaled by a factor of :math:`\frac{1}{1-p}` during
training. This means that during evaluation the module simply computes an
identity function.

#-*- coding:utf-8 -*-
#Author LJB Create on 2021/8/25
import torch.nn as nn
import torch
class Test(nn.Module):def __init__(self):super(Test,self).__init__()self.droprate=0.8self.dropout = nn.Dropout(self.droprate)def forward(self,x):o = self.dropout(x)print('++before dropout:',x/(1-self.droprate))print('---after dropout:',o)T = Test()data = torch.Tensor([1,2,3,4,5,6,7,8,9,10])
T.train()
for i in range(5):T(data)print('#'*40)
T.eval()
for i in range(5):T(data)

运行结果：

torch.nn.Dropout()细节记录相关推荐

【Pytorch】torch.nn.Dropout()
目录简介 torch.nn.Dropout() 语法作用举例参考结语简介 Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- ଘ(੭ˊᵕˋ)੭ 昵称:海轰标签 ...
PyTorch 笔记（20）— torchvision 的 datasets、transforms 数据预览和加载、模型搭建（torch.nn.Conv2d/MaxPool2d/Dropout）
计算机视觉是深度学习中最重要的一类应用,为了方便研究者使用,PyTorch 团队专门开发了一个视觉工具包torchvision,这个包独立于 PyTorch,需通过 pip instal torchv ...
torch.nn、(二)
参考 torch.nn.(二) - 云+社区 - 腾讯云目录 Recurrent layers RNN LSTM GRU RNNCell LSTMCell GRUCell Transformer l ...
nn.Dropout
Dropout torch.nn.Dropout(p=0.5, inplace=False) p – probability of an element to be zeroed. Default: ...
[Pytorch系列-28]：神经网络基础 - torch.nn模块功能列表
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
PyTorch踩坑记录——torch.functional 与 torch.nn.functional的区别
问题描述: 提示:刚入门深度学习,记录一些犯下的小错误: 由于本周开始试图复现华为的CTR库以增加记忆,熟悉代码细节,没想到第一天看基础模块的时候就遇到了麻烦,在torch.utils类中,有如下获取 ...
torch.nn.Module()
torch.nn.Module() 如果自己想研究,官方文档它是所有的神经网络的根父类! 你的神经网络必然要继承! 模块也可以包含其他模块,允许将它们嵌套在树结构中.所以呢,你可以将子模块指定为常规 ...
PyTorch中的torch.nn.Parameter() 详解
PyTorch中的torch.nn.Parameter() 详解今天来聊一下PyTorch中的torch.nn.Parameter()这个函数,笔者第一次见的时候也是大概能理解函数的用途,但是具体实 ...
pytorch分布式训练（二）：torch.nn.parallel.DistributedDataParallel
之前介绍了Pytorch的DataParallel方法来构建分布式训练模型,这种方法最简单但是并行加速效果很有限,并且只适用于单节点多gpu的硬件拓扑结构.除此之外Pytorch还提供了Distr ...

torch.nn.Dropout()细节记录

torch.nn.Dropout()细节记录相关推荐

最新文章

热门文章