pytorch 提高gpu利用率

pytorch跑Unet代码，gpu利用率在0%-20%闪现，主要问题是GPU一直在等cpu处理的数据传输过去。利用top查看cup的利用率也是从0省道100%且显然cup的线程并不多，能处理出的数据也不多。在一般的程序中，除了加载从dataloader中数据和model的运行需要gpu，其余更多的dataset、dataloader、loss的计算和日志的输出很多部分都需要cup的计算。
所以，可以提升的方面包括从class dataset的优化、dataloader的优化和其他部分代码的优化。当然代码的优化是一个长期的考验代码能力的问题。那么短期的提升在于对dataloader的优化：
1.batchsize调大提高GPU内存占用率
2.num_works 调到适当值，一般情况下为8、16是比较合适的值。太小就会出现我上述讲道的一些问题。太大的话cpu线程增加会导致gpu的利用率降低。因为模型需要将数据平均分配到几个子线程去进行预处理，分发等数据操作，设高了反而影响效率。（具体原因请参考，分析很全面的一篇文章）
3.pin_memory =True 省掉了将数据从CPU传入到缓存RAM里面，再给传输到GPU上；为True时是直接映射到GPU的相关内存块上，省掉了一点数据传输时间。

pytorch 提高gpu利用率相关推荐

python视频处理加速的库_VPF：适用于 Python 的开源视频处理框架，加速视频任务、提高 GPU 利用率...
原标题:VPF:适用于 Python 的开源视频处理框架,加速视频任务.提高 GPU 利用率雷锋网 AI 开发者按:近日,NVIDIA 开源了适用于 Python 的视频处理框架「VideoProc ...
香侬科技Service Streamer：加速深度学习Web服务、极大提高GPU利用率。| 百万人学AI评选
2020 无疑是特殊的一年,而 AI 在开年的这场"战疫"中表现出了惊人的力量.站在"新十年"的起点上,CSDN[百万人学AI]评选活动正式启动.本届评选活动在 ...
多个cuda 被单进程沾满_报名 | 提高GPU利用率，听英伟达专家分享这个CUDA工具
随着 NVIDIA GPU 计算性能的不断提升,如何提升 GPU 利用率是开发者普遍关心的问题之一.从 Kepler 架构开始,NVIDIA GPU 支持多个 CUDA kernels 函数的并发执行 ...
机器学习如何提高GPU利用率
前言首先,如果你现在已经很熟悉tf.data+estimator了,可以把文章x掉了╮(￣▽￣"")╭ 但是!如果现在还是在进行session.run(-)的话!尤其是苦恼于GP ...
VPF：适用于 Python 的开源视频处理框架，加速视频任务、提高 GPU 利用率
0 背景近日,NVIDIA 开源了适用于 Python 的视频处理框架「VideoProcessingFramework(VPF)」.该框架为开发人员提供了一个简单但功能强大的 Python 工具, ...
Win10显卡跑不满？是时候给系统洗洗澡了，换系统提高GPU利用率
有些模型用Win7或Win8跑的好好的,换成Win10以后就跑不动了?这是个什么问题呢,经过查询发现的确是Windows10系统的锅,请看:Win10 CUDA效率问题.也就是说Win10系统会默认预 ...
提高 Kubernetes 中的 GPU 利用率
提高 Kubernetes 中的 GPU 利用率对于可扩展的数据中心性能,NVIDIA GPU 已成为必备品. 由数千个计算内核支持的 NVIDIA GPU 并行处理能力对于加速不同行业的各种应用程 ...
聊聊GPU利用率那些事
引言众所周知,GPU本身的计算能力是越来越强大,特别是新一代的NVIDIA AMPERE架构发布之后,又一次刷新了大家对AI算力的认知.目前,确实有不少大规模分布式训练对更大算力的渴求是极其强烈的, ...
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
在深度学习模型训练过程中,在服务器端或者本地pc端,输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util),然后采用top来查看CPU ...

pytorch 提高gpu利用率

pytorch 提高gpu利用率相关推荐

最新文章

热门文章