深度学习中的FLOPs是什么？如何计算的？
1.区分FLOPs和FLOPS
FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
注意在深度学习中，我们用的是FLOPs，也就是说计算量，即用来衡量算法/模型的复杂度。
2.计算方法
注：以下不考虑activation function的运算。
2.1 卷积层：
Ci=input channel,
k=kernel size,
H，W=output feature map size,
Co=output channel.
2是因为一个MAC算2个operations。不考虑bias时有-1，有bias时没有-1。
（注：这里的MAC是乘加的意思，所以是两个operation）
上面针对一个input feature map，没考虑batch size。
理解上面这个公式分两步，括号内是第一步，计算出output feature map的一个pixel，然后再乘以HWCo拓展到整个output feature map。括号内的部分又可以分为两步，
第一项是乘法运算数，第二项是加法运算数，因为n个数相加，要加n-1次，所以不考虑bias，会有一个-1，如果考虑bias，刚好中和掉，括号内变为
2.2 全联接层：
I=input neuron numbers, O=output neuron numbers.
2是因为一个MAC算2个operations。
不考虑bias时有-1，有bias时没有-1。
分析同理，括号内是一个输出神经元的计算量，拓展到O了输出神经元。
参考：https://www.zhihu.com/question/65305385/answer/451060549
深度学习中的FLOPs是什么？如何计算的？相关推荐
- 【深度学习】深度学习中模型计算量(FLOPs)和参数量(Params)等的理解以及四种在python应用的计算方法总结
接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算 参数量,如何统计 计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还 ...
- 深度学习中FLOPs计算
深度学习中FLOPs计算 定义:FLOPs(floating point operations),即浮点数运算次数,是一个计算量,所以可以用来衡量一个算法/模型等的复杂度 FLOPs是用来计算整个网络 ...
- 深度学习中FLOPS和FLOPs的区别与计算
深度学习中FLOPS和FLOPs的区别与计算 FLOPS FLOPs 单位换算 Params和FLOPs的计算 CONV标准卷积层 FC全连接层 NVIDIA GPU的浮点计算能力 GPU的计算能力的 ...
- 经验 | 深度学习中从基础综述、论文笔记到工程经验、训练技巧
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:本文授权转自知乎作者跑者小越,https://zhuanla ...
- 深度学习中GPU和显存分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 转自:机器学习AI算法工程 深度学习最吃机器,耗资源,在本文,我将 ...
- 深度学习中的Normalization模型（附实例公式）
来源:运筹OR帷幄 本文约14000字,建议阅读20分钟. 本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,从一个新的数学视角分析了BN算法为什么有效. [ 导读 ]不 ...
- 科普帖：深度学习中GPU和显存分析
深度学习最吃机器,耗资源,在本文,我将来科普一下在深度学习中: 何为"资源" 不同操作都耗费什么资源 如何充分的利用有限的资源 如何合理选择显卡 并纠正几个误区: 显存和GPU等价 ...
- 全民 Transformer （一）: Attention 在深度学习中是如何发挥作用的
<Attention 在深度学习中是如何发挥作用的:理解序列模型中的 Attention> Transformer 的出现让 Deep Learning 出现了大一统的局面.Tran ...
- [转载] python实现语义分割_使用Keras实现深度学习中的一些语义分割模型
参考链接: Keras中的深度学习-数据预处理 Keras-Sematic-Segmentation 使用Keras实现深度学习中的一些语义分割模型. 配置 tensorflow 1.13.1+ten ...
最新文章
- 【学习笔记】Silverlight框架：Jounce（4）——事件通信
- Oracle imp导入数据
- python decorator. decorator_Python装饰器（decorator）
- OpenCV cv :: UMat与DirectX9ex曲面的互操作性的实例(附完整代码)
- 三阶魔方还原步骤图_研究人员开发的AI成功在1.2秒内还原三阶魔方
- 浪潮as5300技术方案_浪潮智能存储AS5300G2双活解决方案
- 工作总结3：axios里面的主要参数
- kmeans python自定义初始聚类中心_机器学习-KMeans聚类 K值以及初始类簇中心点的选取...
- 【大数据】Linux下Storm（0.9版本以上）的环境配置和小Demo
- 第七篇 ScrollView控件
- 计算机c语言等级考试PDF,计算机二级C语言等级考试题.pdf
- 小程序毫秒级倒计时（适用于拼团秒杀功能）
- NYOJ_23_取石子（一）
- android内录音软件,安卓内录声音软件（能内录音频的手机软件）
- 【经验贴】Java搭建一个以yy直播为主的直播聊天室
- 猜数字游戏（c语言实现）
- 《历史是个什么玩意儿》袁腾飞最新语录
- CF1060F Shrinking Tree
- 云大计算机初试最高分,【经验谈】初试总分360+，专业排名前五！云大社会工作专......
- （Xcode）ipa上传APP Store鉴定报错