图片+TXT文本标签数据划分为训练集，验证集和测试集代码

import os
import numpy as np
import shutil
imgpath = r"E:\tata\data\images"     #图片路径
annotationpath = r"E:\tata\data\labels"   #标签路径
output_path = r'E:\tata\data\121'     #输出存放路径
#构建所有文件名的列表，dir为label
filename = []
#label = []
# dirs = os.listdir(root)
for root, dir, files in os.walk(imgpath):for file in files:filename.append(file)  # save file name#打乱文件名列表
np.random.shuffle(filename)
#划分训练集、测试集，默认比例8:1:1
train = filename[:int(len(filename)*0.8)]        #0-80%
val = filename[int(len(filename)*0.8):int(len(filename)*0.9)]   #80%-90%
test = filename[int(len(filename)*0.9):]               # 90%-100%# copy images
outimages = os.path.join(output_path, 'images')
if not os.path.exists(outimages):os.mkdir(outimages)
outimages_train = os.path.join(outimages, 'training')
if not os.path.exists(outimages_train):os.mkdir(outimages_train)
outimages_validation = os.path.join(outimages, 'validation')
if not os.path.exists(outimages_validation):os.mkdir(outimages_validation)
outimages_test = os.path.join(outimages, 'test')
if not os.path.exists(outimages_test):os.mkdir(outimages_test)# copy annotations
outannotations = os.path.join(output_path, 'labels')
if not os.path.exists(outannotations):os.mkdir(outannotations)
outannotations_train = os.path.join(outannotations, 'training')
if not os.path.exists(outannotations_train):os.mkdir(outannotations_train)
outannotations_validation = os.path.join(outannotations, 'validation')
if not os.path.exists(outannotations_validation):os.mkdir(outannotations_validation)
outannotations_test = os.path.join(outannotations, 'test')
if not os.path.exists(outannotations_test):os.mkdir(outannotations_test)# copyfile
for i in train:print(os.path.join(imgpath, i))print(os.path.join(outimages_train, i))shutil.copyfile(os.path.join(imgpath, i), os.path.join(outimages_train, i))annotations_name = i[:-3]+'txt'shutil.copyfile(os.path.join(annotationpath, annotations_name), os.path.join(outannotations_train, annotations_name))for i in val:shutil.copyfile(os.path.join(imgpath, i), os.path.join(outimages_validation, i))annotations_name = i[:-3]+'txt'shutil.copyfile(os.path.join(annotationpath, annotations_name), os.path.join(outannotations_validation, annotations_name))for i in test:shutil.copyfile(os.path.join(imgpath, i), os.path.join(outimages_test, i))annotations_name = i[:-3]+'txt'shutil.copyfile(os.path.join(annotationpath, annotations_name), os.path.join(outannotations_test, annotations_name))

图片+TXT文本标签数据划分为训练集，验证集和测试集代码相关推荐

【小白学PyTorch】 2.浅谈训练集验证集和测试集
文章目录: 经验误差与过拟合评估方法经验误差与过拟合关键词:错误率(error rate),精度(accuracy). 错误率好理解,就是m个样本中,a个样本分类错误,则错误率E = a/m . ...
python 训练集测试集验证集划分_将自己的图片数据集分成训练集、验证集和测试集并用 Tensorflow2.0 导入...
文章目录项目介绍划分数据集1.在 dataset 目录下创建三个文件夹 2.将原来 dataset 文件夹中的子文件夹分别复制到这三个文件夹中 3.在 python 中指定所有路径 4.将这三个文件 ...
训练集、验证集和测试集的概念及划分原则
深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是 ...
训练集验证集_训练与验证、测试集数据分布不同的情况
在不同分布的数据集上进行训练与验证.测试深度学习需要大量的数据,但是有时我们可获得的满足我们真实需求分布的数据并不是那么多,不足以对我们的模型进行训练.这时我们就会收集大量相关的数据加入到训练集中, ...
YOLOv5将自己数据集划分为训练集、验证集和测试集
在用自己数据集跑YOLOv5代码时候,需要将自己的VOC标签格式数据集转为yolo格式. 首先是要获取自己的数据集,然后再对数据集进行标注,保存为VOC(xml格式).然后再把标注完的数据集划分为训练 ...
机器学习典型步骤以及训练集、验证集和测试集概念
1. 机器学习典型步骤数据采集和标记数据清洗特征选择如房子的面积.地理位置.朝向.价格等. 模型选择有监督还是无监督,问题领域.数据量大小.训练时长.模型准确度等多方面有关. 模型训练和测试 ...
【入门篇】如何正确使用机器学习中的训练集、验证集和测试集？
[注] ·本文为转载文章,原文作者是王树义老师,原文链接为 https://zhuanlan.zhihu.com/p/71961236 训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎 ...
训练集、验证集和测试集的意义
原文在有监督的机器学习中,经常会说到训练集(train).验证集(validation)和测试集(test),这三个集合的区分可能会让人糊涂,特别是,有些读者搞不清楚验证集和测试集有什么区别. I. ...
Recbole自定义训练集、验证集和测试集推荐
文章目录 Recbole简介 Recbole使用自定义训练集.验证集和测试集 Recbole简介 Recbole(中文名称:伯乐)是一款使用Python开发的开源推荐框架,里面集成了大量的推荐模型, ...

图片+TXT文本标签数据划分为训练集，验证集和测试集代码

图片+TXT文本标签数据划分为训练集，验证集和测试集代码相关推荐

最新文章

热门文章