pytorch实现moco v3

链接：MoCo_v3_pytorch

参考论文：An Empirical Study of Training Self-Supervised Vision Transformers

训练

CUDA_VISIBLE_DEVICES=6 python main_mocov3.py -a resnet18 --lr 0.03 --batch-size 1 --dist-url 'tcp://localhost:10003' --multiprocessing-distributed --world-size 1 --rank 0 --moco-k 65536  --epochs 10 /your_data_root

数据集

例子中采用了一个toy数据集，随机产生一张256x256大小的图片，用户可以根据需要替换成自己需要的数据集。

只需要修改main_mocov3.py文件中main_worker中的train_dataset = ToyDS()行，替换成自己的数据集即可。

VIT模块参数修改

修改main_mocov3.py文件中main_worker中的

    v = ViT(image_size = 256,patch_size = 32,num_classes = 10,dim = 1024,depth = 6,heads = 16,mlp_dim = 2048,dropout = 0.1,emb_dropout = 0.1)

具体参数含义可以参考An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

pytorch实现moco v3相关推荐

真不是炼丹，务实敢为的 MoCo v3
作者 | 黄挂编辑 | NewBeeNLP 这次分享的paper是 An Empirical Study of Training Self-Supervised Visual Transformer ...
11.MOCO v3
paper链接:https://arxiv.org/abs/2104.02057 0.摘要 1．作者分析了训练self-supervised ViT过程中的一些现象,指出"训练过程的不稳定& ...
深度学习论文: YOLOv6 v3.0: A Full-Scale Reloading及其PyTorch实现
深度学习论文: YOLOv6 v3.0: A Full-Scale Reloading及其PyTorch实现 YOLOv6 v3.0: A Full-Scale Reloading PDF: http ...
YOLO v3算法解析
论文:YOLOv3: An Incremental Improvement 论文地址:https://pjreddie.com/media/files/papers/YOLOv3.pdf YOLO系列 ...
大概是全网最详细的何恺明团队顶作MoCo系列解读...(完结篇)
作者丨科技猛兽编辑丨极市平台本文原创首发于极市平台,转载请获得授权并标明出处. 大概是全网最详细的何恺明团队顶作 MoCo 系列解读!(上) 本文目录 1 MoCo v2 1.1 MoCo v2 ...
MoCo V2：MoCo系列再升级
何凯明从 CVPR 2020 上发表的 MoCo V1(Momentum Contrast for Unsupervised Visual Representation Learning),到前几天挂 ...
对比学习系列（二）---MoCo 系列
MoCo 系列文章目录 MoCo 系列自监督 MoCo V1 前言动量对比 Dictionary as a queue Momentum update 代理任务 Shuffling BN 实验 ...
【深度学习】大概是全网最详细的何恺明团队顶作MoCo系列解读...(完结篇)
作者丨科技猛兽编辑丨极市平台导读 kaiming 的 MoCo让自监督学习成为深度学习热门之一, Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来 ...
紧跟大佬的步伐：关于我亲自动手复现了恺明新作MAE这件事
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨CW不要無聊的風格@知乎(已授权) 来源丨https://zh ...

pytorch实现moco v3

训练

数据集

VIT模块参数修改

pytorch实现moco v3相关推荐

最新文章

热门文章