如果使用TF跑程序遇到了“Blas GEMM launch failed“的问题，那么一定是显存不够的原因。主要原因是因为TF在跑GPU代码时会默认申请全部的GPU资源！

1. 指定某块GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "1"

这其实是CUDA本身的参数，对所有深度学习框架都是适用的。

需要注意的是最好写在improt keres 和 import tensorflow之前，不然可能出错。

注意：写在程序的开头

2. 指定多块GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] =  "0, 2"

注意：写在程序的开头

3. 不使用GPU（使用CPU）

import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1"

注意：写在程序的开头

4. 控制GPU显存使用比例

4.1 TF1.X

tf_config = tensorflow.ConfigProto()
tf_config.gpu_options.per_process_gpu_memory_fraction = 0.5 # 分配50%
session = tensorflow.Session(config=tf_config)

注意：写在程序的开头

4.2 TF2.X

gpus = tf.config.experimental.list_physical_devices('GPU')
# 对需要进行限制的GPU进行设置
tf.config.experimental.set_virtual_device_configuration(gpus[0],[tf.config.experimental.VirtualDeviceConfiguration(memory_limit=8192)])

注意：写在程序的开头

5. 指定GPU+控制显存使用

5.1 TF1.x

tf_config = tensorflow.ConfigProto()
tf_config.gpu_options.allow_growth = True
session = tensorflow.Session(config=tf_config)

5.2 TF2.x

config = tf.compat.v1.ConfigProto(gpu_options=tf.compat.v1.GPUOptions(allow_growth=True))
sss = tf.compat.v1.Session(config=config)

参考文章:

https://www.cnblogs.com/youyou0/p/9547751.html
https://zhuanlan.zhihu.com/p/65218239

【TF】显存分配问题相关推荐

巨省显存的重计算技巧在TF、Keras中的正确打开方式
一只小狐狸带你解锁炼丹术&NLP 秘籍作者:苏剑林(来自追一科技,人称"苏神") 前言在前不久的文章<BERT重计算:用22.5%的训练时间节省5倍的显存开销( ...
tensorflow显存自适应分配（tf.1x和tf2.x）
用tensorflow的同学肯定都知道,只要tf的程序运行起来就会默认占满显存,但实际上有些代码使用的数据量远远不需要使用全部显存,这样就造成了浪费,我们可以在代码前加上一些控制语句,使程序占用的显存 ...
keras系列︱keras是如何指定显卡且限制显存用量
keras系列︱keras是如何指定显卡且限制显存用量原创 2017年07月21日 10:59:24 标签: keras / gpu / 显卡 / 指定 / 限制 6630 keras在使用GPU的 ...
keras终止训练后显存不释放_Keras实现Large-scale Bisample Learning on ID vs. Spot Face Recognition...
keras-lbl-IvS 论文地址:Large-scale Bisample Learning on ID vs. Spot Face Recognition 工程地址:keras-lbl-IvS ...
3_深度学习中显卡的使用和显存的分配（20181213）
深度学习中显卡的使用和显存的分配(20181213) 1.查看机器上GPU的使用情况 2.tensorflow 中显卡使用和显存分配 1.显卡的使用,单显卡和多显卡调用 1.通过设置环境变量设置禁用 ...
【tensorflow】 GPU 显存分配设置
import osimport tensorflow as tfconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_f ...
【Ubuntu-Tensorflow】GPU设置及显存资源分配
最近笔者在做GPU显存资源分配的研究,发现在tf中gpu一些实用的方法和接口,共享出来,供大家参考学习,如有问题,欢迎留言讨论. 1.运行程序时,控制台设置GPU运行参数,占用显存全部资源 $ CUD ...
batchsize和数据量设置比例_Keras - GPU ID 和显存占用设定步骤
初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的 ...
硬核推导Google AdaFactor：一个省显存的宝藏优化器
一只小狐狸带你解锁炼丹术&NLP秘籍作者:苏剑林(来自追一科技,人称"苏神") 前言自从GPT.BERT等预训练模型流行起来后,其中一个明显的趋势是模型越做越大,因为更 ...

【TF】显存分配问题

1. 指定某块GPU

2. 指定多块GPU

3. 不使用GPU（使用CPU）

4. 控制GPU显存使用比例

4.1 TF1.X

4.2 TF2.X

5. 指定GPU+控制显存使用

5.1 TF1.x

5.2 TF2.x

【TF】显存分配问题相关推荐

最新文章

热门文章