卷积核的参数量和计算量
卷积核的参数量和计算量
1. 参数量计算
1.1 普通卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | OxHxW |
| 卷积核尺寸 | kxkxC（O个kxkxC的卷积） |
| 权重 | kxkxCxO |
| 偏置 | O |
| BN层 | 2xO |
| 总的参数量 | kxkxCxO+3xO |
1.2 depth wise 卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | OxHxW |
| 卷积核尺寸 | kxkx1（C个kxkx1的卷积） |
| 权重 | kxkxC |
| 偏置 | C |
| BN层 | 2xC |
| 总的参数量 | kxkxC+3xC |
1.3 point wise卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | OxHxW |
| 卷积核尺寸 | 1x1xC（O个1x1xC的卷积） |
| 权重 | 1x1xCxO |
| 偏置 | O |
| BN层 | 2xO |
| 总的参数量 | 1x1xCxO+3xO |
1.4 深度可分离卷积（depth wise separable卷积）
由两部分组成，第一部分由C个大小为kxkx1的depth wise卷积组成，第二部分由O个1x1xC的point wise卷积组成，因此总的参数量为kxkxC+3xC+CxO+3xO.
2. 卷积计算量
2.1 普通卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | OxHxW |
| 卷积核尺寸 | kxkxC（O个kxkxC的卷积） |
| 偏置 | O |
| 进行一次卷积操作计算量 | kxkxC（乘法）+(kxk-1)xC + C-1（加法）= 2kxkxC-1 |
| 在特征图上进行完一个卷积核的卷积操作 | （2xkxkxC-1）xHxW |
| 共输出O个特征图的计算量 | (2xkxkxC-1）xHxWxO |
| O个卷积核bias的加法操作 | O |
| 总计算量 | （2xkxkxC-1）x H xWxO + O |
2.2 深度可分离卷积
深度可分离卷积分为两部分：第一部分是C个kxkx1的depth wise卷积，第二部分是O个1x1xC的point wise卷积。
- depth wise卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | CxHxW |
| 卷积核尺寸 | kxkx1（C个kxkx1的卷积） |
| 偏置 | C |
| 进行一次卷积操作计算量 | kxkx1（乘法）+(kxk-1)x1 （加法）= 2kxk-1 |
| 在特征图上进行完一个卷积核的卷积操作 | （2xkxk-1）xHxW |
| 共输出C个特征图的计算量 | (2xkxk-1）xHxWxC |
| C个卷积核bias的加法操作 | C |
| 总计算量 | （2xkxk-1）x H xWxC + C |
- point wise卷积
| 输入特征图尺寸 | CxHxW |
|---|---|
| 输出特征图尺寸 | OxHxW |
| 卷积核尺寸 | 1x1xC（O个1x1xC的卷积） |
| 偏置 | O |
| 进行一次卷积操作计算量 | 1x1xC（乘法）+C-1（加法）= 2C-1 |
| 在特征图上进行完一个卷积核的卷积操作 | （2C-1）xHxW |
| 共输出O个特征图的计算量 | (2C-1）xHxWxO |
| O个卷积核bias的加法操作 | O |
| 总计算量 | （2C-1）x H xWxO + O |
综上所述，深度可分离卷积的总计算量为：
（2xkxk-1）x H xWxC + C + （2C-1）x H xWxO + O = HxWx[(2xkxk-1)xC+(2xC-1)xO] +C + O
卷积核的参数量和计算量相关推荐
- 卷积神经网络的参数量和计算量
<卷积神经网络的参数量和计算量> 对于在端部署的模型来说,模型的参数量以及计算量是锱铢必较的,使用什么样的激活函数,会有多大的计算成本.对于模型的压缩量化等都是模型的参数量和计算量的准 ...
- 卷积神经网络参数量和计算量内存计算
卷积神经网络参数量和计算量内存计算 参数量 计算量 内存 参数量 每一次卷积的参数量和特征图的大小无关,仅和卷积核的大小,偏置及BN有关. 1.每个卷积层的参数量,+1表示偏置: Co x (Kw x ...
- 卷积层和全连接层的区别_CNN卷积层、全连接层的参数量、计算量
我们以VGG-16为例,来探讨一下如何计算卷积层.全连接层的参数量.计算量.为了简单.直观地理解,以下讨论中我们都会忽略偏置项,实践中必须考虑偏置项. [卷积层的参数量] 什么是卷积层的参数? 卷积层 ...
- 深度学习中参数量与计算量的理解
接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算 参数量,如何统计 计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还 ...
- Pytorch 计算参数量与计算量Flops
获取网络模型的每一层参数量与计算量(Flops)---Pytorch 分析网络的参数量与计算量: 1.ptflops 安装: pip install --upgrade git ...
- 关于mmdetection、mmrotate如何计算参数量、计算量和速度FPS
近几天跑完实验后,发现效果还是不错,于是开始进行模型的参数量.计算量和速度指标的计算对比,话不多说,直接上干货. ------------------------------------------- ...
- 神经网络参数量和计算量,神经网络是参数模型吗
神经网络参数如何确定 神经网络各个网络参数设定原则:①.网络节点 网络输入层神经元节点数就是系统的特征因子(自变量)个数,输出层神经元节点数就是系统目标个数.隐层节点选按经验选取,一般设为输入层节点数 ...
- 【视频课】Pytorch模型分析进阶（可视化，参数量与计算量，计算速度）
课程内容 本次课程内容是Pytorch的高阶使用部分,要求大家预先要熟练掌握Pytorch.总课程大纲包括Pytorch模型结构的分析,Pytorch模型速度与计算量分析,Pytorch模型可视化3部 ...
- 神经网络参数量和计算量计算
概述 神经网络模型运算可以看成一个数据流入流出的过程,涉及的计算包含内存占用和浮点运算量两个方面.数据占用的空间计算很容易,数据量乘以表示单个数据所占用的字节数 (e.g, 4, 8).复杂一点的是 ...
最新文章
- HTTP协议通信原理 （资源）
- informix——ODBC数据源配置
- 浏览器扫码器 ，扫描二维码，浏览器调起二维码，扫一扫功能，网页版扫一扫
- reviewboard mysql_ReviewBoard-安装（Centos 7）
- 微量小程序联盟，如何实现微信小程序换量和微信小程序推广？
- 自动驾驶中图像与点云融合的深度学习研究综述
- 设置计算机访问权限密码忘了怎么办,苹果访问限制密码是什么？忘记怎么办【详解】...
- “我祝你不幸并痛苦”——约翰·罗伯茨毕业致辞
- OSI七层网络结构详解
- 分布式限流的解决方案
- 根据文本信息自动生成图片怎么操作？值得收藏的几种转换方法
- skylin怎么添加geoserver发布的wfs图层
- 在谷歌搜索中胜出的视频缩略图
- Python爬虫+数据分析，2019年你想看的A股牛市都在这里了！
- java.lang.NullPointerException
- 西湖大学开招本科生了！每名学生配三位学术导师
- Google Earth Engine(GEE)——图像位移与配准！
- 给电脑一个系统睡眠快捷方式，一键睡眠
- 【朝花夕拾】Android性能篇之（七）Android跨进程通信篇...
- GPRS模块（SIM900A）在QT下的通信例程