使用Pytorch构建一个分类器(CIFAR10模型)
分类器任务和数据介绍
·构建一个将不同图像进行分类的神经网络分类器,对输入的的图片进行判别并完成分类。
·本案例采用CIFAR10数据集作为原始图片数据
·CIFAR10数据集介绍:数据集中每张图片的尺寸是3*32*32,代表彩色3通道
·CIFAR10数据集共有10种不同的分类,分别是"airplane","automobile","bird","cat","deer","dog","frog","horse","ship","truck".
·CIFAR10数据集的样例如下图所示
训练分类器的步骤
·1:使用torchvision下载CIFAR10数据集
·2:定义卷积神经网络
·3:定义损失函数
·4:在训练集上训练模型
·5:在测试集上测试模型
·1:使用torchvision下载CIFAR10数据集
·导入torchvision包来辅助下载数据集
import torch
import torchvision
import torchvision.transforms as transforms
·下载数据集并对图片进行调整,因为torchvision数据集输出的是PILImage格式,数据域在[0,1].我们将其转换为标准数据域[-1,1]的张量格式
import torch
import torchvision
import torchvision.transforms as transformstransform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,shuffle=True, num_workers=2)
testset = torchvision.datasets.CIFAR10(root='./data', train=False,download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,shuffle=False, num_workers=2)
classes = ('plane', 'car', 'bird', 'cat','deer', 'dog', 'frog', 'horse', 'ship','truck')
·输出结果
Downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ./data\cifar-10-python.tar.gz
170499072it [15:21, 185017.90it/s]
Extracting ./data\cifar-10-python.tar.gz to ./data
Files already downloaded and verified
·如果是在Windows系统下运行上述代码,并且出现报错信息"brokenpipeerror",可以尝试将torch.utils.data.DataLoader()中的num_workers设置为0。
·展示若干训练集的图片
·输出图片结果
输出标签结果
deer horse bird cat
·2:定义卷积神经网络
·仿照Pytorch神经网络中的类来构造此处的类,唯一的区别是此处采用3通道3-channel
import torch.nn as nn
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.conv1 = nn.Conv2d(3, 6, 5)self.pool = nn.MaxPool2d(2, 2)self.conv2 = nn.Conv2d(6, 16, 5)self.fc1 = nn.Linear(16 * 5 * 5, 120)self.fc2 = nn.Linear(120, 84)self.fc3 = nn.Linear(84, 10)def forward(self, x):x = self.pool(F.relu(self.conv1(x)))x = self.pool(F.relu(self.conv2(x)))x = x.view(-1, 16 * 5 * 5)x = F.relu(self.fc1(x))x = F.relu(self.fc2(x))x = self.fc3(x)return xnet = Net()
print(net)
·输出结果
Net((conv1): Conv2d(3, 6, kernel_size=(5, 5), stride=(1, 1))(pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))(fc1): Linear(in_features=400, out_features=120, bias=True)(fc2): Linear(in_features=120, out_features=84, bias=True)(fc3): Linear(in_features=84, out_features=10, bias=True)
)
·3:定义损失函数
·采用交叉熵损失函数和随机梯度下降优化器
import torch.optim as optimcriterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
·4:在训练集上训练模型
·采用基于梯度下降的优化算法,都需要很多个轮次的迭代训练。
import torch.optim as optimcriterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)for epoch in range(2): # loop over the dataset multiple timesrunning_loss = 0.0for i, data in enumerate(trainloader, 0): # data中包含输入图像张量inputs,张量标签labelsinputs, labels = data# 首先将优化器梯度归零optimizer.zero_grad()# 输入图像张量进网络,得到输出张量outputs#X = torch.Tensor(trainset)#Y = torch.Tensor(labels)#train_dataset = trainset(X, Y)#train_loader = trainloader(dataset=train_dataset,# batch_size=1,#shuffle=True)# num_workers = 2)outputs = net(inputs)# 利用网络的输出outputs和标签labels计算损失值loss = criterion(outputs, labels)# 反向传播+参数更新,是标准代码的标准流程loss.backward()optimizer.step()# 打印轮次和损失值running_loss += loss.item()if (i + 1) % 2000 == 0:print('[%d, %5d] loss: %.3f' %(epoch + 1, i + 1, running_loss / 2000))running_loss = 0.0
print('Finished Training')
·输出结果
[1, 2000] loss: 2.164
[1, 4000] loss: 1.833
[1, 6000] loss: 1.654
[1, 8000] loss: 1.558
[1, 10000] loss: 1.516
[1, 12000] loss: 1.465
[2, 2000] loss: 1.393
[2, 4000] loss: 1.381
[2, 6000] loss: 1.340
[2, 8000] loss: 1.283
[2, 10000] loss: 1.276
[2, 12000] loss: 1.285
Finished Training
·保存模型
#首先设定模型的保存路径
PATH = './cifar_net.pth'
#保存模型的状态字典
torch.save(net.state_dict(), PATH)
·5:在测试集上测试模型
·第一步,展示测试集中的若干图片
dataiter = iter(testloader)
images, labels = dataiter.next()
#打印原始图片
imshow(torchvision.utils.make_grid(images))
#打印真实的标签
print('GroundTruth: ', ' '.join('%5s' % classes[labels[j]] for j in range(4)))
·输出图片结果:
·输出标签结果
GroundTruth: cat ship ship plane
·第二步,加载模型并对测试图片进行预测
dataiter = iter(testloader)
images, labels = dataiter.next()
# 打印原始图片
imshow(torchvision.utils.make_grid(images))
# 打印真实的标签
print('GroundTruth: ', ' '.join('%5s' % classes[labels[j]] for j in range(4)))
# 首先实例化模型的类的对象
net = Net()
# 加载训练阶段保存好的模型的状态字典
net.load_state_dict(torch.load(PATH))
# 利用模型对图片进行预测
outputs = net(images)
# 共有十个类别,采用模型计算出的概率最大的作为预测的类别
_, predicted = torch.max(outputs, 1)
# 打印预测标签的结果
print('Predicted: ', ' '.join('%5s' % classes[predicted[j]] for j in range(4)))
·输出结果
Predicted: cat car car ship
·接下来看一下在全部测试集上的表现
correct = 0
total = 0
with torch.no_grad():for data in testloader:images, labels = dataoutputs = net(images)_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()print('Accuracy of the network on the 10000 test images: %d %%' % (100 * correct / total))
·输出结果
Accuracy of the network on the 10000 test images: 55 %
·分析结果:对于拥有10个类别的数据集,随机猜测的准确率是10%,模型达到了53%,说明模型学到了真实的东西。
·为了更细致的看一下模型在哪些类上表现得更好,在哪些类上表现得更差,我们分类别的进行准确率的计算
class_correct = list(0. for i in range(10))
class_total = list(0. for i in range(10))
with torch.no_grad():for data in testloader:images, labels = dataoutputs = net(images)_, predicted = torch.max(outputs, 1)c = (predicted == labels).squeeze()for i in range(4):label = labels[i]class_correct[label] += c[i].item()class_total[label] += 1
for i in range(10):print('Accuracy of %5s : %2d %%' % (classes[i], 100 * class_total[i] / class_total[i]))
·输出结果
Accuracy of plane : 100 %
Accuracy of car : 100 %
Accuracy of bird : 100 %
Accuracy of cat : 100 %
Accuracy of deer : 100 %
Accuracy of dog : 100 %
Accuracy of frog : 100 %
Accuracy of horse : 100 %
Accuracy of ship : 100 %
Accuracy of truck : 100 %
在GPU上训练模型
·为了真正利用Pytorch中Tensor的优秀属性,加速模型的训练,我们可以将训练过程转移到GPUY上进行。
·首先要定义设备,如果CUDA是可用的则被定义成GPU,否则被定义成CPU。
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)
·输出结果
cuda:0
·当训练模型的时候,只需要将模型转移到GPU上,同时将输入的图片和标签页转移到GPU上即可。
#将模型转移到GPU上
net.to(device)#将输入的图片张量和标签张量转移到GPU上
inputs, labels = data[0].to(device), data[1].to(device)
总结
·分类器的任务和数据样式
·将不同图像进行分类的神经网络分类器,对输入的图片进行判别并完成分类。
·采用CIFAR10数据集作为原始图片数据,CIFAR10数据集拥有10个类别的3*32*32彩色图片。
·训练分类器的步骤:
·使用torchviosion下载CIFAR10数据集
·定义卷积神经网络
·定义损失函数
·在训练集上训练模型
·在测试集上测试模型
·在GPU上训练模型
·首先定义设备,GPU和CPU二选一:
·device=torch.device("cuda:0"if torch.cude.is_available() else "cpu")
·然后将模型转移到GPU上去:
·net.to(device)
·最后在迭代训练的过程中,每一步都将图片和标签张量转移到GPU上去:
·inputs,labels=data[0].to(device),data[1].to(device)
使用Pytorch构建一个分类器(CIFAR10模型)相关推荐
- PyTorch学习系列教程:构建一个深度学习模型需要哪几步?
导读 继续PyTorch学习系列.前篇介绍了PyTorch中最为基础也最为核心的数据结构--Tensor,有了这些基本概念即可开始深度学习实践了.本篇围绕这一话题,本着提纲挈领删繁就简的原则,从宏观上 ...
- Pytorch实现一个简单分类模型
Pytorch实现一个简单分类模型 在本小节主要带领大家学习分类任务的代码编写,另外,本人参考的学习资料为[莫烦Python],有兴趣观看视频的同学可以观看视频资料https://www.youtub ...
- 用Pytorch构建一个喵咪识别模型
本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052 目录 一.前言 二.问题阐述及理论流程 2.1问题阐述 2.2猫咪图片识别原 ...
- C++调用Python文件,TensorFlow和PyTorch构建的深度学习模型,无法使用GPU的情况分析。
C++调用Python深度学习模型,包含TensorFlow和PyTorch等构造的模型,然后使用GPU出现问题.包含C++调用Python函数,C++加载模型到GPU,GPU内存占用过大,计算完毕内 ...
- 使用pytorch构建图片分类器
分类器任务和数据介绍 构造一个将不同图像进行分类的神经网络分类器, 对输入的图片进行判别并完成分类. 本案例采用CIFAR10数据集作为原始图片数据. CIFAR10数据集介绍: 数据集中每张图片的尺 ...
- 使用pytorch构建一个神经网络、损失函数、反向传播、更新网络参数
关于torch.nn: 使用Pytorch来构建神经网络, 主要的工具都在torch.nn包中. nn依赖于autograd来定义模型, 并对其自动求导. 构建神经网络的典型流程: 定义一个拥有可学习 ...
- python实现目标检测_由浅入深:教你如何构建一个行人目标检测模型(Python)
摘要: 零基础也能构建一个目标检测(对象检测)模型?小编教你使用Image AI库从头开始构建一个行人检测模型. 当我们看到一张图片时,我们的大脑会立即识别图片中所包含的物体.而对于机器来说,识别这些 ...
- PyTorch框架学习十九——模型加载与保存
PyTorch框架学习十九--模型加载与保存 一.序列化与反序列化 二.PyTorch中的序列化与反序列化 1.torch.save 2.torch.load 三.模型的保存 1.方法一:保存整个Mo ...
- 使用 HSV 颜色模型和 openCV 构建昼夜分类器
在本文中,我们将学习如何构建一个简单的模型,它使用色调饱和度值 (HSV) 颜色模型作为特征提取,opencv 进行图像处理的基础来对白天和黑夜进行分类.本教程的代码可在此处获得,https://gi ...
最新文章
- android—资源文件(res)的引用
- 我用 MySQL 干掉了一摞简历
- CSS3 calc() 函数,height: calc(100% - 70px);
- Mybatis系列(四):Mybatis缓存
- 【视频】TFLearn深度学习库,20行Python代码实现情感分类
- Kafka的消费语义
- python中argsparse_Python中的argparse模块
- 索尼Fn键-亮度调节快捷键驱动
- python 模拟自己的手写字体
- Halcon基础操作
- 中国当代社会阶层分析——看看你处在社会的哪个阶层?
- 最新vue实战视屏 vue2.x thinkPHP5.0后台 nodejs+mong0DB
- [易飞]录入信息传递无法选择标准字段解决方案
- maven环境配好了,执行mvn -v命令,提示mvn不是内部或外部命令
- 汇编入门(长文多图,流量慎入!!!)
- C语言用字符串sex储存,C语言必须要记住的经典程序
- ubuntu下载好了输入法怎么切换
- 2018上海交大计算机学院,2018年上海交大毕业生,都去哪里了?看这张图就知道![图]...
- 阿里云服务器IP地址大全(AS37963/AS45102/AS45096/AS45103/AS45104)
- 能不动手就不动手!数据处理时多用这些批处理
热门文章
- 2020.8.28丨转录组、全转录组产品概述和应用方向
- DA转换器芯片DP4361 PIN2PIN CS4361
- 直播如何适配医疗场景?有哪些靠谱的直播平台吗?
- 如何让你的网站排名靠前(转)
- Matlab中寻找矩阵A的一个元素
- python开发工具pycharm-community版安装教程
- 第1章 人工智能时代,人人都应该学会利用AI这个工具 / 1-3 人工智能介绍
- Cadence IMC(Integrate Metrics Cener) tools 覆盖率收集配置
- jquery制作html小游戏,JQuery手速测试小游戏实现思路详解
- 安装程序烧录器驱动之后电脑仍然无法检测