Pytorch学习中的Dataset与DataLoad的一些自己的理解

在学习这部分内容时，可以先明白几个术语的意思，DataSize、BatchSize、Iteration、Epoch分别是什么意思，他们之间的关系如何。

如图可知，所有数据训练一次就是一个Epoch，一次输入模型的数据大小就是一个Batch，处理一次batchsize就是Iteration。

Dataset：

首先继承dataset,

from torch.utils.data import DataLoader, Dataset

，主要包括三部分

class CustomDataset(data.Dataset):#需要继承data.Datasetdef __init__(self):# 此处编辑文件的路径，获取到一个包含各个文件路径的列表，#注意区分训练集与测试集的路径，一般设置个bool值True是取训练集passdef __getitem__(self, index):# 此处打开单个文件，例如文本文件或者图片文件，一般返回文件和标签passdef __len__(self):#返回一个长度，可以是所有文件的个数return len（total_file）

DataLoad：

使用dataload一般可以编写一个get_dataloader(train = True):

def get_dataloader(train = True):imdb_dataset =MyDataset(train)data_loader = DataLoader(Mydataset, batch_size=2,shuffle=True,collate_fn=collata_fn)"""collate_fn：用于设置获得的数据的格式shuffle：每次训练是否重新打乱数据batch_size：一次读入几个文件"""  return data_loader

Pytorch学习中的Dataset与DataLoad的一些自己的理解相关推荐

深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现
from: 深度学习中IU.IoU(Intersection over Union)的概念理解以及python程序实现 IoU(Intersection over Union) Intersectio ...
pytorch 学习中安装的包
记录pytorch学习遇到的包 1.ImportError: cannot import name 'PILLOW_VERSION' torchvision 模块内import pillow的时候发现 ...
《Pytorch学习指南》- Dataset和Dataloader用法详解
目录前言 DataSet DataLoader 数据构建 1. 创建Dataset 类 :sparkles: 2. 读取数据 :ambulance: 3. 返回数据 :zap: 读取数据 :art: ...
速成pytorch学习——6天Dataset和DataLoader
Pytorch通常使用Dataset和DataLoader这两个工具类来构建数据管道. Dataset定义了数据集的内容,它相当于一个类似列表的数据结构,具有确定的长度,能够用索引获取数据集中的元素. ...
pytorch学习中 torch.squeeze() 和torch.unsqueeze()的用法
squeeze的用法主要就是对数据的维度进行压缩或者解压. 先看torch.squeeze() 这个函数主要对数据的维度进行压缩,去掉维数为1的的维度,比如是一行或者一列这种,一个一行三列(1,3)的 ...
强化学习中on policy和off policy的区别-深度理解
参考图书: Deep Reinforcement Learning Fundamentals, Research and Applications https://link.springer.com/ ...
深度学习中IU、IoU(Intersection over Union)的概念理解
IoU(Intersection over Union) Intersection over Union是一种测量在特定数据集中检测相应物体准确度的一个标准.我们可以在很多物体检测挑战中,例如PASC ...
PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解发布: 2017年8月4日 7,195阅读 ...
在pytorch中自定义dataset读取数据2021-1-8学习笔记
在pytorch中自定义dataset读取数据 utils import os import json import pickle import randomimport matplotlib.pyp ...

Pytorch学习中的Dataset与DataLoad的一些自己的理解

Dataset：

DataLoad：

Pytorch学习中的Dataset与DataLoad的一些自己的理解相关推荐

最新文章

热门文章