PyTorch 单卡多卡训练模型常用命令

linux系统查看gpu情况的三个命令：

watch -n 1 nvidia-smi （是nvidia-smi命令的扩展，即实时查看gpu情况，每1秒刷新一次）

nvidia-smi

gpustat (安装命令 pip/pip3 install gpustat)

单卡训练方式：

1. 在代码中指定gpu来训练模型

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

"cuda:0" 这部分的数字即gpu的序号。

然后，对于要放在这张卡的模型和数据：

model = Model().to(device)

inputs = b_x.to(device)

labels = b_y.to(device)

2. 在命令行（终端）中指定gpu来训练

在代码中只需要：

model = Model().cuda()

inputs = b_x.cuda()

labels = b_y.cuda()

在终端运行程序的命令：

CUDA_VISIBLE_DEVICES=0 python train.py # 0即gpu的序号 python train.py 是本来要运行的命令。

算了再续着吧。。。。。

多卡训练方式：

import torch.nn

import os

os.environ[‘CUDA_VISIBLE_DEVICES’] = “2,3” # 只允许本程序使用的gpu序号

model=nn.DataParallel(model)

PyTorch 单卡多卡训练模型常用命令相关推荐

linux rhel unix centos FreeBSD 查看CPU核数使用率系统位内存大小硬盘 HBA光纤卡号常用命令
一:使用CentOS常用命令查看cpu more /proc/cpuinfo | grep "model name" grep "model name" / ...
linux RAID卡检查命令,raid卡的常用命令
手动创建 raid ##删除raid root@scaler:~# /opt/MegaRAID/MegaCli/MegaCli64 -CfgLdDel -L2 -A0 ##创建raid root@sc ...
大模型训练技巧｜单卡多卡｜训练性能评测
原视频:[单卡.多卡 BERT.GPT2 训练性能[100亿模型计划]] 此笔记主要参考了李沐老师的视频,感兴趣的同学也可以去看视频- 视频较长,这里放上笔记,与大家分享- 大模型对于计算资源的要求越 ...
freedos 常用命令_庆祝FreeDOS 24周年：有用的命令备忘单
freedos 常用命令 FreeDOS在6月29日满24岁. FreeDOS是一个完整的,免费的,与DOS兼容的操作系统,您可以使用它来玩经典的DOS游戏 , 运行商务软件或开发嵌入式系统. 在MS ...
【卡法常用 ckl.js 库】： js汇合表单验证 cookie设置日期格式电话手机号码 email 整数小数金额检查参数长度...
[卡法常用js库]: js汇合表单验证 cookie设置日期格式电话手机号码 email 整数小数金额检查参数长度 // +---------------------- ...
第133天学习打卡（Docker 初识Docker Docker的基本组成安装docker 阿里云镜像加速 Docker常用命令）
Docker学习 Docker概述官方地址:Empowering App Development for Developers | Docker Docker的思想来自于集装箱! 隔离:Docker ...
MYSQL常用命令大全（导入导出、创建、单多表查询（超详细）、授权）
MYSQL常用命令一.导入导出 1.导出整个数据库 mysqldump -u 用户名 -p --default-character-set=latin1 数据库名 > 导出的文件名(数据库默认 ...
pytorch 单机多卡训练distributedDataParallel
pytorch单机多卡:从DataParallel到DistributedDataParallel 最近想做的实验比较多,于是稍微学习了一下和pytorch相关的加速方式.本人之前一直在使用DataP ...
python pip、conda、windows CMD常用命令大全！
文章目录 python pip 常用命令 1.查找软件 2.安装软件 3.更新软件 4.卸载软件 5.列出已安装软件 6.查看一个软件包时安装了哪些文件 7.命令补全 8.升级所有包 9.修改pip安 ...

PyTorch 单卡多卡训练模型常用命令

PyTorch 单卡多卡训练模型常用命令相关推荐

最新文章

热门文章