Tensorflow: Allocation of XXXXXX exceeds 10% of system memory 可能的原因
在使用他人的项目代码时，遇到了这个问题
W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108]：Allocation of XXXXXX exceeds 10% of system memory
意思是方法分配的空间的大小超过了系统内存的10%
配置：Tensorflow 1.10.0，内存 128G
这算是一种Warning，而不是Error
在客观上无法马上扩展内存的情况下，仿佛只能通过减少数据量和模型参数量的角度进行修改
综合已有关于此问题的一些讨论[1][2]，可能的角度如下，但不适用于所有可能的情况：
0、尽可能关闭其他占用内存较多的不必要的程序
1、减小batch_size
2、减少数据量，比如处理图片时先进行压缩
3、减少模型参数，比如层数和节点数
4、增加项目所在硬盘的虚拟内存交换分区的大小（swap file）
使用交换文件将内存作为 Amazon EC2 实例中的交换空间分配
5、指定物理设备是否内存生长，避免初始化时分配所有内存
tf.config.experimental.set_memory_growth | TensorFlow v2.11.0
6、改变优化函数，比如Adam会使用分配模型两倍的参数
7、避免使用大精度的数据类型，比如使用float32而不是float64
愿天堂没有bug
[1] python - Tensorflow Allocation Memory: Allocation of 38535168 exceeds 10% of system memory - Stack Overflow
[2] tensorflow/core/framework/allocator.cc:101] Allocation of X exceeds 10% of system memory. #18735 · Issue #18736 · tensorflow/tensorflow · GitHub
Tensorflow: Allocation of XXXXXX exceeds 10% of system memory 可能的原因相关推荐
- TensorFlow Allocation of 1511424000 exceeds 10% of system memory
在利用TensorFlow社区的神经网络新手教程的一个例程时,遇到了一个因为内存问题而导致电脑卡主没反应的问题,本次神经网络的模型为一隐层的神经网络模型(2,3,1结构),在训练过程中,出现了内存的问 ...
- Tensorflow Allocation Memory: Allocation of 38535168 exceeds 10% of system memory解决办法
Tensorflow Allocation Memory: Allocation of 38535168 exceeds 10% of system memory解决办法 在Stackflow上看到的 ...
- TensorFlow：Allocation of 256000000 exceeds 10% of system memory对auc的影响
1.背景: 我在原来特征基础上,增加了一列特征,这列特征是一个list,长度不固定[0,5]之间的一个长度,比如 样本 1: ['找工作', '发工资', '领导力'] 代码中给该列特征先做了一个分桶 ...
- tensorflow验证模型准确率出现Allocation of 1003520000 exceeds 10% of system memory
原本是一下子直接放入mnist.test.images, y_: mnist.test.labels,占用内存过大,导致提示'Allocation of 1003520000 exceeds 10% ...
- Allocation of XXXXXXXX exceeds 10% of system memory
在实验室服务器上跑代码遇到了"Allocation of XXXXXXXX exceeds 10% of system memory"的问题,一个博客中写的是: 这个问题的原因主要 ...
- 提示 Allocation of XXXXXXXX exceeds 10% of system memory.怎么办？
提示 " Allocation of XXXXXXXX exceeds 10% of system memory."怎么办? 问题原因 这个问题的原因主要是两种:一种是你的硬盘容量 ...
- TensorFlow2.2.0 Allocation of 614400000 exceeds 10% of system memory
2VCPU,4G内存,4G Tesla T4显存做基于CNN的CIFAR10例程的时候,在处理数据集的时候,报错如下: 查资料,一种是在import的时候屏蔽报错信息,并没有意义.另一种说是修改bat ...
- Allocation of 411041792 exceeds 10% of system memory.
出现这种警告可以把batch_size改小一点,这样就不会出现警告了: 出现警告: 将batch_size改成16,警告消失
- exceeds 10% of system memory--------fatal python error: aborted
我在用 tensorflow 写的深度学习模型进行前向传播的时候,连续跳出几个 exceeds 10% of system memory,紧跟着就是:fatal python error: abort ...
最新文章
- PingCode 全年上线功能盘点
- tensorflow实现图像的翻转
- WinFormsUI(转xiaisidinen)
- 使用javabean类用户注册
- How to resolve error message CRM_PRODUCT_SALES-E016 during product download
- webpack4 入门配置研究
- quartz.net 执行后台任务
- 深圳市南山区派出所大全
- Golang之Channel的理解与应用
- 数据结构开发(11)：双向循环链表的实现
- H5手机端JS实现微博分享实例详解
- FOFA网络空间搜索引擎使用教程
- 【Git】版本控制管理(第二版) 前言 第一章 第二章
- 无线网络 笔记本连接正常上网，手机之类的就不能上网
- asp.net面试常见试题
- docker-compose（二）：SpringBoot + Docker Compose
- 2022年安全员-C证操作证考试题库及模拟考试
- 示例：Linux设备属性节点驱动，以及cat, echo操作
- mysql 详解YEAR() MONTH() DAYOFMONTH()日期函数
- skyline v6 三维学习软件