【Timm】create_model所提供的ViT模型概览

⚪查看代码：python xxx.py

import timmif __name__ == '__main__':model_vit = timm.list_models('*vit*')print(len(model_vit),model_vit[:])

⚪结合vision transformer理解

7 ResNets:

R50x1, R50x2 R101x1, R152x1, R152x2, pre-trained for 7 epochs,
plus R152x2 and R200x3 pre-trained for 14 epochs;

6 Vision Transformers:

ViT-B/32, B/16, L/32, L/16, pre-trained for 7 epochs,
plus L/16 and H/14 pre-trained for 14 epochs;

5 hybrids,

R50+ViT-B/32, B/16, L/32, L/16 pretrained for 7 epochs,
plus R50+ViT-L/16 pre-trained for 14 epochs

参数解读：

以ViT-L/16为例，表示ViT Large模型，对应patch_size为16。
但是，混合模型的数值不是对应patch_size，而是ResNet的总取样率。
采样：模拟信号进行取样时的快慢次数
这里就能对Timm库所提供的预训练模型有所理解。

⚪ViT_model概览-28个

'vit_base_patch16_224',
'vit_base_patch16_224_in21k',
'vit_base_patch16_384',
'vit_base_patch32_224',
'vit_base_patch32_224_in21k',
'vit_base_patch32_384',
'vit_base_resnet26d_224',
'vit_base_resnet50_224_in21k',
'vit_base_resnet50_384',
'vit_base_resnet50d_224',
'vit_deit_base_distilled_patch16_224',
'vit_deit_base_distilled_patch16_384',
'vit_deit_base_patch16_224',
'vit_deit_base_patch16_384',
'vit_deit_small_distilled_patch16_224',
'vit_deit_small_patch16_224',
'vit_deit_tiny_distilled_patch16_224',
'vit_deit_tiny_patch16_224',
'vit_huge_patch14_224_in21k',
'vit_large_patch16_224',
'vit_large_patch16_224_in21k',
'vit_large_patch16_384',
'vit_large_patch32_224',
'vit_large_patch32_224_in21k',
'vit_large_patch32_384',
'vit_small_patch16_224',
'vit_small_resnet26d_224',
'vit_small_resnet50d_s3_224'

文章推荐：

Pytorch视觉模型库--timm_pytorch 模型库
pytorch下的迁移学习模型库·详细使用教程

【Timm】create_model所提供的ViT模型概览相关推荐

AI周报丨中文巨量模型源1.0比GPT-3强在哪里？；谷歌用协同训练策略实现多个SOTA，单一ViT模型执行多模态多任务
01 # 行业大事件语言大模型的终极目标是什么? 在自然语言处理(NLP)领域,暴力美学仍在延续. 自 2018 年谷歌推出 BERT(3.4 亿参数)以来,语言模型开始朝着「大」演进.国内外先后出 ...
《预训练周刊》第60期：大模型应用图谱、最大ViT模型PaLI、高效英文语音识别Whisper...
No.60 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
霸榜多个CV任务，开源仅两天，微软分层ViT模型收获近2k star
视学算法报道转载自:机器之心编辑:维度屠榜各大 CV 任务的微软 Swin Transformer,近日开源了代码和预训练模型. 自 2017 年 6 月谷歌提出 Transformer 以来, ...
与nlp相关的模型概览
与nlp相关的模型概览 word2vec CBOW Skip-Gram Doc2Vec RNN.LSTM.GRU 循环神经网络RNN 长短期记忆神经网络(Long Short Term Memory, ...
如何做深ViT模型？NUS、字节：引入Re-attention机制，实现强大性能
作者 | 陈萍.杜伟来源 | 机器之心 CNN 通过堆叠更多的卷积层来提高性能,而 transformer 在层次更深时会很快进入饱和.基于此,来自新加坡国立大学和字节跳动 AI Lab 的研究者引 ...
【20210416期AI简报】微软分层ViT模型开源、 DIY一只“眼睛”摄像头
导读:本期为 AI 简报 20210416 期,将为您带来 7 条相关新闻~ 本文一共 2300 字,通篇阅读结束需要 5~8 分钟 1. 训练AI来玩CS反恐精英!清华朱军与剑桥博士后的这项研究太燃 ...
【深度学习】ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列
作者丨科技猛兽编辑丨极市平台导读这篇文章提出了一种无需训练即可加速 ViT 模型,提高吞吐量的方法 Token Merging (ToMe).ToMe 通过一种轻量化的匹配算法,逐步合并 ViT ...
深度学习目标检测2013-2018单双阶段主流模型概览及详解
背景:深度学习引入目标检测领域以来,给目标检测领域带来了很多突破性的进展,文章"Deep Learning for Generic Object Detection: A Survey&qu ...
Nvidia推边缘运算平台EGX 未来将提供企业AI模型参考框架
2019独角兽企业重金招聘Python工程师标准>>> Nvidia在COMPUTEX期间,展示了新推出的边缘运算平台EGX在不同场景中的应用,包括监测路况的实时影像分析与对话式AI ...

【Timm】create_model所提供的ViT模型概览

【Timm】create_model所提供的ViT模型概览相关推荐

最新文章

热门文章