mmdetection版本：2.11.0

显存占用

跑起模型推理后实时监控显存占用

watch -n .5 nvidia-smi

推理速度

mmdetection/tools/test.py

看你的程序走的是single_gpu_test还是multi_gpu_test。在具体工程中，一般都是多卡训的，就算你是用的单卡来测速度和显存，也是走的multi_gpu_test。

if not distributed:model = MMDataParallel(model, device_id=[0])outputs = single_gpu_test(model, dataloader, args.tmpdir, args.show_score_thr)
else:model = MMDataParallel(model.cuda(),devices_id=[torch.cuda.current_device()],broadcast_buffers=False)outputs = multi_gpu_test(model, data_loader,  args.tmpdir, args.show_score_thr)

*mmdetection/mmdet/apis/test.py

以multi_gpu_test为例。
找到：

result = model(return_loss=False, rescale=True, **data)

改为：

torch.cuda.synchronize()
start = time.time()
result = model(return_loss=False, rescale=True, **data)
torch.cuda.synchronize()
end = time.time()
print(end - start, "s")

单位为秒s。
因为pytorch中程序的执行是异步的，因此

torch.cuda.synchronize()

是必须加的，要不然结果会有问题。

mmdetection测试模型显存占用与推理速度相关推荐

torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度
torch.cuda.amp自动混合精度训练 -- 节省显存并加快推理速度文章目录 torch.cuda.amp自动混合精度训练 -- 节省显存并加快推理速度 1.什么是amp? 2.为什么需要自动 ...
模型显存占用及其计算量
1. 显存的占用当在GPU上跑一个模型时,显存的占用主要有两部分: 模型的输出(特征图.特征图的梯度).模型的参数(权重矩阵.偏置值.梯度) 1. 模型参数的显存占用:(例如:卷积核的参数.BN层. ...
【NVIDIA】GeForce-GTX-1080Ti单算法服务内存显存占用
[NVIDIA]GeForce-GTX-1080Ti单算法服务内存显存占用 1.背景 2.关于Gunicorn 服务器 3.测试内存显存占用 3.1 使用1个工作进程 3.2 使用2个工作进程 3.3 ...
浅谈深度学习:如何计算模型以及中间变量的显存占用大小
原文链接:https://oldpan.me/archives/how-to-calculate-gpu-memory 前言亲,显存炸了,你的显卡快冒烟了! torch.FatalError: cu ...
什么软件测试显卡占用率,到底多少才算够 GTA5显存占用情况测试
1GTA5显存情况占有测试自由.不羁.快意恩仇.做想做却又不敢做的事,甚至是尽情舒展自己阴暗的一面,这就是GTA V当中所描绘的世界.也许其中的洛圣都并不真实存在,但R星所缔造的这片世界却又是那么的 ...
模型测试时显存爆炸解决
with torch.no_grad():pass Reference:模型训练或测试时候显存爆掉(RuntimeError:CUDA out of memory)的几种可能及解决方案_洗千帆,还少年 ...
CNN模型的计算量、参数、显存占用
经典CNN模型的计算量.参数.显存占用文章目录经典CNN模型的计算量.参数.显存占用 1. 深度学习复杂度 2. FLOPS概念 3.参数量计算 4. 输出特征图尺寸 5. 常用模型的FlOPs和 ...
超硬核 ICML’21 | 如何使自然语言生成提速五倍，且显存占用减低99%
文 | 炼丹学徒编 | 小轶我们忽略掉引言和介绍,直接把工作的效果丢上来,相信就足够令自然语言生成的相关同学心动--对于任何一个已有的Transformer生成模型,只需根据本文算法更改atten ...
后向重计算在OneFlow中的实现：以时间换空间，大幅降低显存占用
撰文 | 赵露阳 2016年,陈天奇团队提出了亚线性内存优化相关的"gradient/activation checkpointing(后向重计算)"等技术[1],旨在降低深度学习 ...

mmdetection测试模型显存占用与推理速度

显存占用

推理速度

mmdetection/tools/test.py

*mmdetection/mmdet/apis/test.py

mmdetection测试模型显存占用与推理速度相关推荐

最新文章

热门文章