Windows10 使用Glint360K数据集

Windows10环境下解压使用Glint360K数据集

Glint360K数据集介绍
关于Glint360k数据集的介绍：
参见：知乎https://zhuanlan.zhihu.com/p/265673438
数据集已经开源：
GitHub开源链接https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc#glint360k
论文地址lhttps://arxiv.org/abs/2010.05222

在GitHub上找到数据集的百度云下载链接，提取码：o3az 下载数据集。

下载完成后，得到这样的文件
github教程上虽然给了解压命令，但是是针对Linux系统的，那么针对Windows系统，怎么做呢？答案就是使用Git

下载并安装Git
Git下载链接:https://git-scm.com/download/win

Git安装教程https://www.jianshu.com/p/414ccd423efc

第一步解压

Git的安装完成后，打开数据文件夹
鼠标右键，点击"Git Bash Here"

然后输入官方给出的命令：

cat glint360k_* | tar -xzvf -
1
不要忘记了最后的"-"

数据集很大，耐心等待

解压完后，就会得到这样的文件数据集：

到这一步，文件是可以直接使用的。
比如.bin文件，.rec文件，具体的，小伙伴们自己可以查找相关资料

此图来自实验室李学长的指导，数据集在Windows 10上的解压，离不开学长的帮助，在此鸣谢！！Thank you!

第二步解压
在得到这些文件以后，如何查看数据集的图片呢？

链接如下：https://github.com/deepinsight/insightface/blob/master/recognition/partial_fc/unpack_glint360k.py

单个文件不好下载，就可以直接复制下面的代码，然后命名为unpack_glint360k.py

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import os

import cv2
import mxnet as mx

def main(args):
include_datasets = args.include.split(',')
rec_list = []
for ds in include_datasets:
path_imgrec = os.path.join(ds, 'train.rec')
path_imgidx = os.path.join(ds, 'train.idx')
imgrec = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r') # pylint: disable=redefined-variable-type
rec_list.append(imgrec)
if not os.path.exists(args.output):
os.makedirs(args.output)

#
imgid = 0
for ds_id in range(len(rec_list)):
imgrec = rec_list[ds_id]
s = imgrec.read_idx(0)
header, _ = mx.recordio.unpack(s)
assert header.flag > 0
seq_identity = range(int(header.label[0]), int(header.label[1]))

for identity in seq_identity:
s = imgrec.read_idx(identity)
header, _ = mx.recordio.unpack(s)
for _idx in range(int(header.label[0]), int(header.label[1])):
s = imgrec.read_idx(_idx)
_header, _img = mx.recordio.unpack(s)
label = int(_header.label[0])
class_path = os.path.join(args.output, "id_%d" % label)
if not os.path.exists(class_path):
os.makedirs(class_path)
_img = mx.image.imdecode(_img).asnumpy()[:, :, ::-1] # to bgr
image_path = os.path.join(class_path, "%d_%d.jpg" % (label, imgid))
cv2.imwrite(image_path, _img)
imgid += 1
if imgid % 10000 == 0:
print(imgid)

if __name__ == '__main__':
parser = argparse.ArgumentParser(description='do dataset merge')
# general
parser.add_argument('--include', default='', type=str, help='')
parser.add_argument('--output', default='', type=str, help='')
args = parser.parse_args()
main(args)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
然后使用cmd命令行运行

python unpack_glint360k.py --include=E:\glint360k\glint360k --output=E:\glint360k_unzip
1
#E:\glint360k\glint360k 是指解压出来的文件所在的文件夹，如下图所示
#E:\glint360k_unzip 是你希望最后解压出来的文件在哪个文件夹
#这是我解压时的设置
1
2
3

输入命令运行后，就开始解压了：

tip：
1.python的相关依赖需要自己安装
2.我这里是把解压的py文件放到数据集文件夹下，所以需要进行路径切换

数据集很大，耐心等待
数据集很大，耐心等待
数据集很大，耐心等待

最后数据集解压完成！！！

放几张数据集的图片

至此，数据集在Windows 10上就解压完毕了！！！！
————————————————
版权声明：本文为CSDN博主「Walden-2020」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43408232/article/details/109687884

Windows10 使用Glint360K数据集相关推荐

Windows10环境下解压使用Glint360K数据集
Windows10环境下解压使用Glint360K数据集 Windows10环境下解压使用Glint360K数据集 Windows10环境下解压使用Glint360K数据集 Glint360K数据集介 ...
glint360k数据集的解压
关于训练集的解压早就有人写了blog了,文章地址:https://blog.csdn.net/weixin_43408232/article/details/109687884 但是对于它剩余的7个b ...
36万类别、1800万图像，国内机构创建全球最大人脸数据集
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货这项研究基于现有公开人脸数据集创建了目前全球最大的人脸数据集,并实现了一个高效的分布式采样算法 ...
Glint360K | 使用指南
首先恭喜格林深瞳3月18日在科创板成功上市一.介绍 Glint360K数据集包含36万类别的1800万张图像,不论是类别数还是图像数,相比MS1MV2数据集都有大幅提升. 这是一个号称全球最大最干净 ...
Windows10下使用darknet和YOLOV3训练自己的数据集
前言 1.我的环境是windows10,vs2015,cuda9.1,cudnn7.1. 2. darknet加yoloV3,用cmake和vs2015编译成darknet.exe. 3. 我的目录结 ...
格灵深瞳开源全球最大最干净的人脸识别数据集：Glint360K
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/265673438 1.数据集的表现学术界的测评比如IJB-C和megaface,利用该数据 ...
Windows10+YOLOv5训练自己的数据集
Windows10+YOLOv5训练自己的数据集一.环境和配置 1.1 安装anaconda 1.2 在anaconda中安装pytorch虚拟环境 1.3 安装CUDA和cudnn 1.4 安装p ...
Yolov5训练自己的数据集（windows10）
Yolov5训练自己的数据集(windows10) 环境配置+训练数据集一.Anaconda 的安装教程(图文) Anaconda下载下载地址:https://www.anaconda.com/d ...
windows10和ubuntu两种环境搭建YOLOX环境配置，并训练VOC数据集
前言:本文使用的代码来自于:https://github.com/Megvii-BaseDetection/YOLOX,确保系统中已经安装好cuda cudnn,未装好的请自行查阅资料进行安装一.W ...

Windows10 使用Glint360K数据集

Windows10 使用Glint360K数据集相关推荐

最新文章

热门文章