A ConvNet for the 2020 一篇总结性的论文

最近在看论文时发现了一篇总结性的文章，推荐给大家最近一段时间transform 太火了，基本上大家都在用这些东西，传统CNN 用的反而少了起来，因此这篇论文提出了一些提高CNN 的方法，最后超过了大热的transform。这篇文章是ConVNet for the 2020.这是一篇总结性的论文。

大概扫一扫你会发现好像没什么创新点，好像文章说的东西你都懂啊？是的，可以理解这次提出的ConvNeXt其实就是ResNet的魔改，类似于打比赛刷榜那样，一点点trick不断地加，并用非常solid的实验验证了这些trick的有效性。那就一起来看看这些熟悉的trick是如何work的：

训练技巧

多训练一会呗——ResNets从训练90个epoch加到300个epoch
优化器更新换代了，别守着Adam，试试AdamW！
数据增强扩充数据量：Mixup、Cutmix，RandAugment，RandomErasing
正则化防过拟合：Stochastic Depth，Label Smoothing

一顿操作猛如虎，ResNet-50直接从76.1的精度提高到78.8

结构设计

改一改每一阶段的block数量，ResNet-50从(3,5,6,3)改为(3,3,9,3)
ResNeXt化
加深加宽
depthwise conv 代替 bottleneck中的 3x3卷积
使用和Swin-T一样的网络宽度，从原来的64改为96

更大的感受野

transformer的感受野往往可以是global的，而cnn通常用比较小的卷积核，改！加大感受野

这里其实是为了和Swin-T对齐，并没有带来提升

细节决定成败

激活函数也在更新换代，试着在卷积网络中也用一下GELU！虽然在这里也没提升
真的有必要那么多激活函数吗？transformer中其实只有在MLP块中有一层激活函数。删减CNN中的激活函数！只要两层 1x1卷积层之间放激活函数
normalization也不是越多越好，删！
用layer norm替代batch norm
学习Swin Transformer在两个stage之间加一层下采样层，带来的问题是训练不稳定了，解决办法是多加点LN层： one before each downsampling layer, one after the stem, and one after the final global average pooling

A ConvNet for the 2020 一篇总结性的论文相关推荐

CVPR 2020 三篇有趣的论文解读
©PaperWeekly 原创 · 作者|文永亮学校|哈尔滨工业大学(深圳)硕士生研究方向|视频预测.时空序列预测在深度学习中我们真的需要乘法? 论文标题:AdderNet: Do We Rea ...
CVPR 2020几篇论文内容点评：目标检测跟踪，人脸表情识别，姿态估计，实例分割等
CVPR 2020几篇论文内容点评:目标检测跟踪,人脸表情识别,姿态估计,实例分割等 CVPR 2020中选论文放榜后,最新开源项目合集也来了. 本届CPVR共接收6656篇论文,中选1470篇,&q ...
近期必读的5篇AI顶会CVPR 2020 GNN (图神经网络) 相关论文
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 计算机视觉顶会CVPR 2020在不久前公布了论文接收列表.本届CVPR共收到了6 ...
专家票选！ 2020 年度 10 篇人工智能经典论文（6-10）
内容提要:近日,多家机构发布了关于人工智能的年终回顾总结,从种种表现来看,疫情之下,AI 依然蓬勃发展,全球 AI 产业规模达到 1500 多亿美元.这背后,又有哪些突破性的研究值得关注? 关键词:A ...
memkind版本查看_不同价位值得买轻薄本推荐~2020国庆篇
说起轻薄本,你理想中的一台优秀机型是什么样的? 轻薄便携.质感上乘.高颜值.逼格.手感佳.续航持久.屏幕素质高.独立小键盘.性能激进-- 和游戏本的鲜明对比,注定了是两种不同的"菜" ...
优秀！303篇论文获2020年度“优秀博士学位论文”！
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:科奖中心 AI博士笔记系列推荐周志华<机器学习> ...
解读 | 2019年10篇计算机视觉精选论文（中）
导读:2019 年转眼已经接近尾声,我们看到,这一年计算机视觉(CV)领域又诞生了大量出色的论文,提出了许多新颖的架构和方法,进一步提高了视觉系统的感知和生成能力.因此,我们精选了 2019 年十大 ...
总结 | 2020年TOP 10计算机视觉论文：代码，解读，还有demo视频！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:louisfb01 编译:ronghuaiyang 来源:AI公园导读论文,代码,解读,还有 ...
吃惊！江苏抽查发现，144篇硕士学位论文不合格，部分单位将被约谈
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 ...