pytorch中数据集获取

1.从数据集中导入Dataset

from torch.utils.data import Dataset
help(Dataset)

from PIL import Image    #导入图片包
img_path = "E:\\datdasetpy\\hymenoptera_data\\train\\ants\\0013035.jpg"  #图片路径
img = Image.open(img_path)    #打开图片路径
#img.show()    #显示图片import os
dir_path = "E:\\datdasetpy\\hymenoptera_data\\train\\ants"     #获取文件夹地址
img_path_list = os.listdir(dir_path)               #获取文件夹里每个图片的列表
img.show(img_path_list[0])                         #获取列表中第0个图片root_dir = "dataset/train"
label_dir = "ants"
path = os.path.join(root_dir,label_dir)   #把两个路径连接在一起

class MyData(Dataset):def __init__(self,root_dir,label_dir):     #当作全局变量在后面进行调用self.root_dir = root_dirself.label_dir = label_dirself.path = os.path.join(self.root_dir,self.label_dir)#获得所有图片的一个地址self.img_path = os.listdir(self.path)def __getitem__(self,idx):     #1.通过索引idx获取图片的地址，先要获取所有图片的列表img_name = self.img_path[idx]img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)img = Image.open(img_item_path)label = self.label_dirreturn img,labeldef __len__(self):return len(self.img_path)#获取蚂蚁的数据集，蜜蜂的数据集
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir,ants_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)# img,label = ants_dataset[0]   #获取所有图片中索引为0，1的图片
# img.show()
# img,label = ants_dataset[1]
# img.show()# img,label = bees_dataset[1]
# img.show()#一整个数据集
train_dataset = ants_dataset + bees_dataset
# print(len(train_dataset))#看一下整个数据集的长度
# print(len(ants_dataset)) #蚂蚁数据集124
# print(len(bees_dataset)) #苍蝇数据集121img,label = train_dataset[123]#按道理来说应该是蚂蚁的最后一张图片
img.show()
img,label = train_dataset[124]#苍蝇图片的第一张
img.show()

pytorch中数据集获取相关推荐

【小白学习PyTorch教程】十七、 PyTorch 中数据集torchvision和torchtext
@Author:Runsen 对于PyTorch加载和处理不同类型数据,官方提供了torchvision和torchtext. 之前使用 torchDataLoader类直接加载图像并将其转换为张量. ...
【深度学习】在PyTorch中构建高效的自定义数据集
文章来源于磐创AI,作者磐创AI 学习Dataset类的来龙去脉,使用干净的代码结构,同时最大限度地减少在训练期间管理大量数据的麻烦. 神经网络训练在数据管理上可能很难做到"大规模" ...
Pytorch中的dataset类——创建适应任意模型的数据集接口
作为一个2年多的不资深keraser和tfer,被boss要求全员换成pytorch.不得不说,pytorch还是真香的.之前用keras,总会发现多GPU使用的情况下不太好,对计算资源的利用率不太高 ...
pytorch中的数据加载(dataset基类，以及pytorch自带数据集）
目录 pytorch中的数据加载模型中使用数据加载器的目的数据集类 Dataset基类介绍数据加载案例数据加载器类 pytorch自带的数据集 torchvision.datasets MIN ...
PyTorch中的MIT ADE20K数据集的语义分割
PyTorch中的MIT ADE20K数据集的语义分割代码地址:https://github.com/CSAILVision/semantic-segmentation-pytorch Semant ...
pytorch中获取模型参数
原文链接:pytorch中获取模型参数:state_dict和parameters两个方法的差异比较_造未来-CSDN博客一.本文的模型案例代码如下: import torch import to ...
【已补蓝奏云链接】PyTorch中MNIST数据集（附datasets.MNIST离线包）下载慢/安装慢的解决方案
一.问题背景在学习MNIST数据集手写数字识别demo的时候,笔者碰到了一些问题,现记录如下: 1.必须先确保torchvision已经正确安.如何安装torchvision?请参考PyTorch/ ...
pytorch 中利用自定义函数 get_mask_from_lengths(lengths, max_len)获取每个batch的mask
在pytorch中,经常会需要通过batch进行批量处理数据,由于每个batch中各个样本之间存在差异,经常会需要进行先padding后mask的操作. 尤其是在自然语言处理任务中,每个batch中的 ...
利用 AssemblyAI 在 PyTorch 中建立端到端的语音识别模型
作者 | Comet 译者 | 天道酬勤,责编 | Carol 出品 | AI 科技大本营(ID:rgznai100) 这篇文章是由AssemblyAI的机器学习研究工程师Michael Nguyen ...

pytorch中数据集获取

pytorch中数据集获取相关推荐

最新文章

热门文章