【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer

来源：专知
本文为论文介绍，建议阅读5分钟我们创建了Hiera，一种极其简单的分层视觉Transformer，比以前的模型更精确。

现代的分层视觉Transformer已经添加了几个专门针对视觉的组件，以追求监督分类的性能。虽然这些组件带来了有效的精确度和吸引人的FLOP计数，但增加的复杂性实际上使这些Transformer比其原生ViT（Vision Transformer）对应物更慢。在本文中，我们认为这种额外的复杂性是不必要的。通过使用强大的视觉前提任务（MAE）进行预训练，我们可以从最先进的多阶段视觉Transformer中去除所有的附加功能，而不会损失精确度。在此过程中，我们创建了Hiera，一种极其简单的分层视觉Transformer，比以前的模型更精确，同时在推断和训练过程中也更快。我们在图像和视频识别的各种任务上评估了Hiera。我们的代码和模型可以在https://github.com/facebookresearch/hiera 上找到。

【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer相关推荐

无需训练，自动扩展的视觉Transformer来了
来自德克萨斯大学奥斯汀分校.悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT,其能以高效和有原则的方式自动发现和扩展 ViT. 当前 Vision Transformers ...
玩转 MATLAB 附加功能/硬件支持包安装
解决不能下载附加功能.硬件支持包的使用方法. MATLAB 作为一个开放的科学计算.系统仿真与设计.以及软件产品开发的工程平台,其生态圈有非常丰富的内容. 尽管时至今日 MathWorks 已在最新的 ...
为什么edge AI是一个无需大脑的人
为什么edge AI是一个无需大脑的人 Why edge AI is a no-brainer 德勤预计,到2020年,将售出超过7.5亿个edge AI芯片,即在设备上而不是在远程数据中心执行或加速 ...
从Spring起，Java EE 6必须具备哪些附加功能？
我是一名高级Java开发人员,必须研究应用程序架构师选择的技术. 我最多只能表达对特定技术的看法,不能做出/影响技术选择的决定. 因此,在我的正式项目中,我别无选择从Spring迁移到JavaEE6或 ...
从Spring开始，Java EE 6必须具备哪些附加功能？
我是一名高级Java开发人员,必须研究应用程序架构师选择的技术. 我最多只能表达对特定技术的看法,不能做出/影响技术选择的决定. 因此,在我的正式项目中,我别无选择从Spring迁移到JavaEE6或 ...
【C#】分享一个可携带附加消息的增强消息框MessageBoxEx
[C#]分享一个可携带附加消息的增强消息框MessageBoxEx --------------201806111122更新--------------- 更新至2.0.主要是增加自定义按钮文本的功能 ...
蓝牙信标有哪些附加功能？蓝牙信标的工业用途知多少？
蓝牙信标是一款基于低功耗蓝牙BLE广播协议的硬件设备,兼容Ibeacon协议或者eddystone,可通过信标的接收信号强度指标(RSSI)与信标在广播数据包中广播的数据这两个主要技术手段来构建一个有 ...
2.15 Spring Framework 5.x 之ApplicationContext附加功能
1.15 附加功能ApplicationContext 正如章节介绍中所讨论的,该org.springframework.beans.factory 包提供了管理和操作bean的基本功能,包括以编程方 ...
SpringFramework核心技术一（IOC：ApplicationContext的附加功能)
标题正如本章介绍中所讨论的,该org.springframework.beans.factory 包提供了用于管理和操作bean的基本功能,包括以编程方式.该org.springframework. ...
组件分享之后端组件——基于Golang实现的database/sql附加功能组件dbr
组件分享之后端组件--基于Golang实现的database/sql附加功能组件dbr 背景近期正在探索前端.后端.系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题, ...

【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer

【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer相关推荐

最新文章

热门文章