训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系

参考链接：https://blog.csdn.net/lien0906/article/details/78863118

问题：

tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048

tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd8500 of size 9437184

tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x5245d8500 of size 2048

解决：尝试降低网络的深度和宽度、batch size 的大小

深度学习中神经网络的显存占用，我们可以得到如下公式：

显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用

时间更宝贵，尽可能使模型变快（减少 flop）
显存占用不是和 batch size 简单成正比，模型自身的参数及其延伸出来的数据也要占据显存
batch size 越大，速度未必越快。在你充分利用计算资源的时候，加大 batch size 在速度上的提升很有限

尤其是 batch-size，假定 GPU 处理单元已经充分利用的情况下：

增大 batch size 能增大速度，但是很有限（主要是并行计算的优化）
增大 batch size 能减缓梯度震荡，需要更少的迭代优化次数，收敛的更快，但是每次迭代耗时更长。
增大 batch size 使得一个 epoch 所能进行的优化次数变少，收敛可能变慢，从而需要更多时间才能收敛（比如 batch_size 变成全部样本数目）

训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系相关推荐

解决zing生成二维码时二维码太小、白框太大的问题
项目里实现生成二维码这个功能时,发现二维码的边框太大了,导致二维码内容区域太小.百度了一下,发现有人说设置EncodeHintType.MARGIN属性即可,这个属性值为1-4,实际测试发现并没有什么 ...
PowerDesigner绘制业务处理模型等时元素的字体太小，调大字体方法
问题昨晚绘制这个系统的业务处理模型,创建Entity时,文字太小了,只有8px,看不清,就像这样,粘贴到文档里真的没法看.... 失败方法百度找方法,说是可以通过Tools->Display ...
ppt流程图字体太小_ppt调整字体大小之后怎么自动变大或变小了？
展开全部这是因为你设置了自动调整,修62616964757a686964616fe58685e5aeb931333337626232改请参照选定编辑文字-右键选择设置文本效果格式-文本框-自动调整中 ...
关于eclipse 中文注释时中文字体太小的问题解决
今天下载了eclipse的indigo版本,使用了一下,发现注释时的中文字体太小,看起来不方便.为什么这样呢? 在windows 7系统中,font的状态分为"显示"和" ...
模型训练太慢？显存不够？这个方法让你的GPU联手CPU
随着深度学习模型复杂度和数据集规模的增大,计算效率成为了不可忽视的问题.GPU凭借强大的并行计算能力,成为深度学习加速的标配.然而,由于服务器的显存非常有限,随着训练样本越来越大,显存连一个样本都容不 ...
tensorflow 显存训练_【他山之石】训练时显存优化技术——OP合并与gradient checkpoint...
作者:bindog 地址:http://bindog.github.io/ 01 背景前几天看到知乎上的文章FLOPs与模型推理速度[1],文中提到一个比较耗时又占显存的pointwise操作x * ...
实时监测GPU的显存和显存清理小功能学习
目录一.pynvml库的简单使用二.显存清理在跑神经网络训练或者推理的时候,有的时候很有必要实时监测一下显存的状态.NVIDIA显卡在终端管理界面,使用命令:watch -n 3 nvidia- ...
为什么安装的是gpu版本训练时还是用的cpu?_免费GPU哪家强？谷歌Kaggle vs. Colab | 硬核评测...
作者 | Jeff Hale译者 | Monanfei责编 | 夕颜出品 | AI科技大本营(id:rgznai100) 谷歌有两个平台提供免费的云端GPU:Colab和Kaggle, 如果你想深入学 ...
pytorch(4)Pytorch模型训练时从CPU与GPU之间的转换
1.如何进行迁移使用Pytorch写的模型: 对模型和相应的数据使用.cuda()处理.通过这种方式,我们就可以将内存中的数据复制到GPU的显存中去.从而可以通过GPU来进行运算了. 另外一种方式, ...

训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系

训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系相关推荐

最新文章

热门文章