pytorch划分训练集、验证集与测试集（train_idx、val_idx、test

假设现在共有10个数据，然后按照5:3:2的比例划分数据。

import torch
import torch.utils.data as Dx = torch.Tensor([10 - x + 100 for x in range(10)])train_idx, val_idx, test_idx = D.random_split(x, [5, 3, 2])# random_split函数返回的是一些D.dataset.Subset类(包含两个属性)
tmp = D.dataset.Subset # ctrl+左键见D.dataset.Subset类源码内容
print(test_idx)
print(type(test_idx))# D.dataset.Subset的第二个属性indices是一个list，保存相应的索引
print(train_idx.indices)
print(val_idx.indices)
print(test_idx.indices)
print(type(train_idx.indices))# dataset是第一个属性，该例子中数据类型为Tensor，保存的原来未分割的数据
print(train_idx.dataset)
print(type(train_idx.dataset))# 最终要使用的划分数据如下
print(x[train_idx.indices])
print(x[val_idx.indices])
print(x[test_idx.indices])

输出结果如下所示：

<torch.utils.data.dataset.Subset object at 0x000001C502B9F208>
<class 'torch.utils.data.dataset.Subset'>[4, 9, 3, 6, 0]
[7, 1, 8]
[5, 2]
<class 'list'>tensor([110., 109., 108., 107., 106., 105., 104., 103., 102., 101.])
<class 'torch.Tensor'>tensor([106., 101., 107., 104., 110.])
tensor([103., 109., 102.])
tensor([105., 108.])

End...

pytorch划分训练集、验证集与测试集（train_idx、val_idx、test_idx）相关推荐

【转载】如何理解数据集中【训练集】、【验证集】和【测试集】
转自<吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍> 训练,验证,测试集(Train / Dev / Test sets) 在配置训练.验证和测试数据集的过程中做出正确决策 ...
训练集准确率上升，测试集的准确率没有变化！
训练集准确率上升,测试集的准确率没有变化! 1.问题描述 2.解决办法 1.问题描述最近利用ResNet18网络做分类问题时,训练集准确率一直在上升,测试集的准确率确几乎没有变化.数据集用的是flo ...
【Science】破解密码“AlphaGo”诞生，训练Gan破解27%LinkedIn测试集密码
本文讲的是破解密码"AlphaGo"诞生,训练Gan破解27%LinkedIn测试集密码,一项新的研究旨在使用生成对抗网络(GAN) 来加快密码破解的速度.斯蒂文斯理工学院的研究人 ...
为什么训练集用fit_transform()而测试集用transform()及sklearn.feature_extraction.text.CountVectorizer API详解
真正讲明白的 https://blog.csdn.net/yyhhlancelot/article/details/85097656 API https://scikit-learn.org/stab ...
训练集山准确率高测试集上准确率很低_推荐算法改版前的AB测试
编辑导语:所谓推荐算法就是利用用户的一些行为,通过一些数学算法,推测出用户可能喜欢的东西:如今很多软件都有这样的操作,对于此系统的设计也会进行测试:本文作者分享了关于推荐算法改版前的AB测试,我们一起 ...
训练集山准确率高测试集上准确率很低_拒绝DNN过拟合，谷歌准确预测训练集与测试集泛化差异，还开源了数据集 | ICLR 2019...
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 深度神经网络(DNN)如今已经无处不在,从下围棋到打星际,DNN已经渗透到图像识别.图像分割.机器翻译等各种领域,并且总是表现惊艳. 然而, ...
ML基础 : 训练集，验证集，测试集关系及划分 Relation and Devision among training set, validation set and testing set...
首先三个概念存在于有监督学习的范畴 Training set: A set of examples used for learning, which is to fit the parameters ...
【小白学PyTorch】 2.浅谈训练集验证集和测试集
文章目录: 经验误差与过拟合评估方法经验误差与过拟合关键词:错误率(error rate),精度(accuracy). 错误率好理解,就是m个样本中,a个样本分类错误,则错误率E = a/m . ...
训练集、验证集和测试集的概念及划分原则
深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是 ...

pytorch划分训练集、验证集与测试集（train_idx、val_idx、test_idx）

pytorch划分训练集、验证集与测试集（train_idx、val_idx、test_idx）相关推荐

最新文章

热门文章