reference :

imagenet下载及训练 - 仰望高端玩家的小清新 - 博客园

1. download dataset

1.1 Download Torrent.

validation dataset http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrent
train dataset http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent

1.2 Then download it by thunder.

1.3 Md5sum Check

# After the download, I got two tar files.
# For preventing file damage, please use md5 to verify.
# Val Verify, expect："29b22e2961454d5413ddabcf34fc5622"
md5sum ILSVRC2012_img_val.tar
# Train Verify, expect：1d675b47d978889d74fa0da5fadfb00e
md5sum ILSVRC2012_img_train.tar

2 Tar -> Prepare -> Tar

val:

wget https://files-cdn.cnblogs.com/files/luruiyuan/valprep.sh
mkdir val && tar -xvf ILSVRC2012_img_val.tar -C val
mv valprep.sh val && cd val && bash valprep.sh && cd ../

train:

mkdir train && tar -xvf ILSVRC2012_img_train.tar -C train
for x in `ls train/*tar`; do fn=train/`basename $x .tar`; mkdir $fn; tar -xvf $x -C $fn; rm -f $fn.tar; done

3 Statistic

val:

# Expect 51001 = 50000 + 1000folder + 1 shell(valprec.sh)
cnt=0; for f in `ls`; do cd $f; cur=`ls|wc -l`; cnt=`expr $cnt + $cur`; cd ..; done; echo $cnt

train:

# Expect 1281167
cnt=0; for f in `ls`; do cd $f; cur=`ls|wc -l`; cnt=`expr $cnt + $cur`; cd ..; done; echo $cnt

imagenet download and train相关推荐

PyTorch 笔记（20）— torchvision 的 datasets、transforms 数据预览和加载、模型搭建（torch.nn.Conv2d/MaxPool2d/Dropout）
计算机视觉是深度学习中最重要的一类应用,为了方便研究者使用,PyTorch 团队专门开发了一个视觉工具包torchvision,这个包独立于 PyTorch,需通过 pip instal torchv ...
深度学习之目标检测--Pytorch实战
原创申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址全文共计33000字,阅读大概需要5分钟欢迎关注我的个人公众号:不懂开发的程序猿目录一.配置环境安装Anaconda 安装p ...
集效率之大成的EfficientNet
基于EfficientNet实现分类任务目录基于EfficientNet实现分类任务 EfficientNet简介算法解析模型优化目标模型缩放算法模型结构 MBConv结构 ConvNor ...
机器学习(十一) 迁移学习
目录前言 1 原理 2 实例 2.1 特征提取 2.2 微调前言迁移学习在计算机视觉任务和自然语言处理任务中经常使用,这些模型往往需要大数据.复杂的网络结构.如果使用迁移学习,可将预训练的模 ...
【土堆pytorch】入门P23-P32 完结实战
文章目录一.损失函数与反向传播二.优化器三.现有网络模型的使用及修改四.网络模型的保存和读取五.利用GPU训练六.总结实战 1.训练 2.预测一.损失函数与反向传播计算实际输出和目标之 ...
MMEngine理解
MMEngine理解 1 简介 1.1 架构 1.2 模块介绍 1.2.1 核心模块与相关组件 1.2.1 公共基础模块 2 上手示例 2.1 构建模型 2.2 构建数据集和数据加载器 2.3 构建评 ...
深度学习框架Pytorch入门与实践——读书笔记
2 快速入门 2.1 安装和配置 pip install torch pip install torchvision#IPython魔术命令 import torch as t a=t.Tensor( ...
Introduction to PyTorch 笔记
文章目录 Introduction to PyTorch 笔记 Part 1 - Tensors in PyTorch (Solution).ipynb Part 2 - Neural Network ...
Convolutional Neural Networks for Visual Recognition
http://cs231n.github.io/ 里面有很多相当好的文章 http://cs231n.github.io/convolutional-networks/ Table of Cont ...

imagenet download and train

reference :

1. download dataset

1.1 Download Torrent.

1.2 Then download it by thunder.

1.3 Md5sum Check

2 Tar -> Prepare -> Tar

val:

train:

3 Statistic

imagenet download and train相关推荐

最新文章

热门文章