读书笔记-《CNN真的需要下采样（上采样）吗?》

2024-06-29 11:19:37

原文链接

文章主题：讨论采样在神经网络中的重要性

文章逻辑：

1.下采样的必要

因为下采样是为了减小计算量和增大感受野，所以尝试用空洞卷积（Diluted Convolution）和大卷核来代替下采样。空洞卷积结果：发现准确率和使用同参数VGG的结果差不多。大卷积核结果：收敛方式更加震荡一点，但是结果精度差不多。下采样结果:准确率低于前两种。结论：下采样的确会损失信息。

2. 多个小卷积核代替大卷积核

尝试用多个小卷积核来得到与大卷积核相同的感受野，同时减少参数量。结果：空洞卷积网络依然以较小的参数领先于depthwise卷积和3x3卷积混合网络，并以数倍更少的参数优势，在精度上略低于3x3级联网络。结论：深度之外，感受野以及该感受野上的通道数，真正决定了网络的性能。

3. 稀疏化

常见稀疏化：通道维度的稀疏化，这相当于减少通道数。
作者认为的稀疏化：

即在卷积核中选一些参数让其为0，稀疏率：稀疏化后不为零的参数占总参数的比例。结果：稀疏化后的3X3卷积核（很多3x3来代替大卷积核）网络表现最好，直接使用大卷积核次之，空洞卷积效果反而最差。

4. 稀疏化极限的思考

可能需要保持卷积核形状的二维性。

5. maxpooling的额外讨论

这段不太懂，要如何不下采样又max pooling，而且这样尺寸还没变。

6. 分割网络的设计

直接把GAP或者FC换成conv1x1就可以变成分割网络。（欸，这个分割网络让我想到之前YOLO对于每个像素都可以分类的那张图）

之后作者又讨论了在分割网络中的decoder。这里应该要学习了分割网络之后才能明白。

结论：作者反对下采样，深度之外，只有感受野和与之对应的通道数最重要。

附：数学本质

第一次看见卷积网络的数学本质，太感动了，详情见原文。

读书笔记-《CNN真的需要下采样（上采样）吗?》相关推荐

读书笔记 | 墨菲定律
1. 有些事,你现在不做,永远也不会去做. 2. 能轻易实现的梦想都不叫梦想. 3.所有的事都会比你预计的时间长.(做事要有耐心,要经得起前期的枯燥.) 4. 当我们的才华还撑不起梦想时,更要耐下心来 ...
读书笔记 | 墨菲定律（一）
1. 有些事,你现在不做,永远也不会去做. 2. 能轻易实现的梦想都不叫梦想. 3.所有的事都会比你预计的时间长.(做事要有耐心,要经得起前期的枯燥.) 4. 当我们的才华还撑不起梦想时,更要耐下心来 ...
洛克菲勒的38封信pdf下载_《洛克菲勒写给孩子的38封信》读书笔记
<洛克菲勒写给孩子的38封信>读书笔记洛克菲勒写给孩子的38封信第1封信:起点不决定终点人人生而平等,但这种平等是权利与法律意义上的平等,与经济和文化优势无关第2封信:运气靠策划 ...
股神大家了解多少？深度剖析股神巴菲特
股神巴菲特是金融界里的传奇,大家是否都对股神巴菲特感兴趣呢?大家对股神了解多少?小编最近在QR社区发现了<阿尔法狗与巴菲特>,里面记载了许多股神巴菲特的人生经历,今天小编简单说一说关于股神 ...
2014巴菲特股东大会及巴菲特创业分享
沃伦·巴菲特,这位传奇人物.在美国,巴菲特被称为"先知".在中国,他更多的被喻为"股神",巴菲特在11岁时第一次购买股票以来,白手起家缔造了一个千亿规模的 ...
《成为沃伦·巴菲特》笔记与感想
本文首发于微信公众帐号: 一界码农(The_hard_the_luckier) 无需授权即可转载: 甚至无需保留以上版权声明-- 沃伦·巴菲特传记的纪录片 http://www.bilibili.co ...
读书笔记002：托尼.巴赞之快速阅读
读书笔记002:托尼.巴赞之快速阅读托尼.巴赞是放射性思维与思维导图的提倡者.读完他的<快速阅读>之后,我们就可以可以快速提高阅读速度,保持并改善理解嗯嗯管理,通过增进了解眼睛和大脑功能 ...
读书笔记001：托尼.巴赞之开动大脑
读书笔记001:托尼.巴赞之开动大脑托尼.巴赞是放射性思维与思维导图的提倡者.读完他的<开动大脑>之后,我们就可以对我们的大脑有更多的了解:大脑可以进行比我们预期多得多的工作:我们可以最 ...
读书笔记003：托尼.巴赞之思维导图
读书笔记003:托尼.巴赞之思维导图托尼.巴赞的<思维导图>一书,详细的介绍了思维发展的新概念--放射性思维:如何利用思维导图实施你的放射性思维,实现你的创造性思维,从而给出一种深刻的智 ...
产品读书《滚雪球：巴菲特和他的财富人生》
作者简介艾丽斯.施罗德,曾经担任世界知名投行摩根士丹利的董事总经理,因为撰写研究报告与巴菲特相识.业务上的往来使得施罗德有更多的机会与巴菲特亲密接触,她不仅是巴菲特别的忘年交,她也是第一个向巴菲特建 ...

最新文章

热门文章