赛题数据

赛题来源自Google街景图像中的门牌号数据集（The Street View House Numbers Dataset, SVHN），并根据一定方式采样得到比赛数据集。

Field	Description
top	左上角坐标Y
height	字符高度
left	左上角坐标X
width	字符宽度
label	字符编码

评价标准为准确率，选手提交结果与实际图片的编码进行对比，以编码整体识别准确率为评价指标，结果越大越好，具体计算公式如下：
score=编码识别正确的数量测试集图片数量score = \frac{编码识别正确的数量}{测试集图片数量} score=测试集图片数量编码识别正确的数量

数据读取方式

pytorch中所有的数据集均继承自torch.utils.data.Dataset，它们都需要实现了 _getitem_ 和 _len_ 两个接口，因此，实现一个数据集的核心也就是实现这两个接口。

数据读取与扩增

首先看基于公开的CIFAR10数据集，我们有两种方式来读取，简单的一种是直接调用torchvision.datasets.CIFAR10，

from PIL import Image
import torch
import torchvision
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms         # 读取训练集
train_data = torchvision.datasets.CIFAR10('../../../dataset', train=True, transform=None,  target_transform=None, download=True)
"""
torchvision.datasets.CIFAR10(dataset_dir, train=True, transform=None, target_transform=None, download=False) dataset_dir：存放数据集的路径。
train（bool，可选）–如果为True，则构建训练集，否则构建测试集。
transform：定义数据预处理，数据增强方案都是在这里指定。
target_transform：标注的预处理，分类任务不常用。
download：是否下载，若为True则从互联网下载，如果已经在dataset_dir下存在，就不会再次下载
"""

但一般情况下，如果非官方数据集，还是会对样本进行一定的数据增强，我们用transforms.Compose对数据做有先后顺序的变换：

# 读取训练集
custom_transform=transforms.transforms.Compose([transforms.Resize((64, 64)),    # 缩放到指定大小 64*64transforms.ColorJitter(0.2, 0.2, 0.2),    # 随机颜色变换transforms.RandomRotation(5),    # 随机旋转transforms.Normalize([0.485,0.456,0.406],    # 对图像像素进行归一化[0.229,0.224,0.225])])
train_data=torchvision.datasets.CIFAR10('../../../dataset', train=True,                                       transform=custom_transforms,target_transform=None, download=False)

数据集定义完成后，我们还需要进行数据加载。Pytorch提供DataLoader来完成对于数据集的加载，并且支持多进程并行读取。

# 读取数据集
train_data=torchvision.datasets.CIFAR10('../../../dataset', train=True, transform=None,  target_transform=None, download=True)
# 实现数据批量读取
train_loader = torch.utils.data.DataLoader(train_data,batch_size=2,shuffle=True,num_workers=4)

这里batch_size设置了批量大小，shuffle设置为True在装载过程中为随机乱序，num_workers>=1表示多进程读取数据，在Win下num_workers只能设置为0，否则会报错。而dataloader的语法为：

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=default_collate, pin_memory=False, drop_last=False)

dataset：加载的数据集(Dataset对象)
batch_size：一个批量数目大小
shuffle:：是否打乱数据顺序
sampler：样本抽样方式
num_workers：使用多进程加载的进程数，0代表不使用多进程
collate_fn：将多个样本数据组成一个batch的方式，一般使用默认的拼接方式，可以通过自定义这个函数来完成一些特殊的读取逻辑。
pin_memory：是否将数据保存在pin memory区，pin memory中的数据转到GPU会快一些
drop_last：为True时，dataset中的数据个数不是batch_size整数倍时，将多出来不足一个batch的数据丢弃

自定义数据集及读取方法

想要读取我们自己数据集中的数据，就需要写一个Dataset的子类来定义我们的数据集，并必须对 _init_、_getitem_ 和 _len_ 方法进行重载。下面我们看一下构建Dataset类的基本结构：

from torch.utils.data.dataset import Datasetclass MyDataset(Dataset):  # 继承Dataset类def __init__(self):# 初始化图像文件路径或图像文件名列表等passdef __getitem__(self, index):# 1.根据索引index从文件中读取一个数据（例如，使用numpy.fromfile，PIL.Image.open，cv2.imread）# 2.预处理数据（例如torchvision.Transform）# 3.返回数据对（例如图像和标签）passdef __len__(self):return count  # 返回数据量"""
__init__() : 初始化模块，初始化该类的一些基本参数
__getitem__() : 接收一个index，这个index通常指的是一个list的index，这个list的每个元素就包含了图片数据的路径和标签信息,返回数据对（图像和标签）
__len__() : 返回所有数据的数量
"""

将其按照上面的思路补充完整，即能得到一个完整的读取图像的类，并通过该类读取特定图像数据。

import pandas as pd
import numpy as np
from PIL import Image
import torch
from torch.utils.data import Dataset
from torchvision import transformsclass MnistDataset(Dataset):def __init__(self, image_path, image_label, transform=None):super(MnistDataset, self).__init__()self.image_path = image_path  # 初始化图像路径列表self.image_label = image_label  # 初始化图像标签列表self.transform = transform  # 初始化数据增强方法def __getitem__(self, index):"""获取对应index的图像，并视情况进行数据增强"""image = Image.open(self.image_path[index])image = np.array(image)label = float(self.image_label[index])if self.transform is not None:image = self.transform(image)return image, torch.tensor(label)def __len__(self):return len(self.image_path)def get_path_label(img_root, label_file_path):"""获取数字图像的路径和标签并返回对应列表@para: img_root: 保存图像的根目录@para:label_file_path: 保存图像标签数据的文件路径 .csv 或 .txt 分隔符为','@return: 图像的路径列表和对应标签列表"""data = pd.read_csv(label_file_path, names=['img', 'label'])data['img'] = data['img'].apply(lambda x: img_root + x)return data['img'].tolist(), data['label'].tolist()# 获取训练集路径列表和标签列表
train_data_root = './dataset/MNIST/mnist_data/train/'
train_label = './dataset/MNIST/mnist_data/train.txt'
train_img_list, train_label_list = get_path_label(train_data_root, train_label)
# 训练集dataset
train_dataset = MnistDataset(train_img_list,train_label_list,transform=transforms.Compose([transforms.ToTensor()]))# 获取测试集路径列表和标签列表
test_data_root = './dataset/MNIST/mnist_data/test/'
test_label = './dataset/MNIST/mnist_data/test.txt'
test_img_list, test_label_list = get_path_label(test_data_root, test_label)
# 测试集sdataset
test_dataset = MnistDataset(test_img_list,test_label_list,transform=transforms.Compose([transforms.ToTensor()]))

街景字符识别baseline

首先安装一个新的虚拟环境针对当前场景，并安装所需要的包：

conda create -n py37_torch python=3.7
source activate py37_torch
conda install pytorch=1.3.1 torchvision cudatoolkit=10.0
# conda install pytorch-cpu
pip install tqdm pandas matplotlib opencv-python jupyter

定义读取数据集

class SVHNDataset(Dataset):def __init__(self, img_path, img_label, transform=None):self.img_path = img_pathself.img_label = img_labelif transform is not None:self.transform = transformelse:self.transform = Nonedef __getitem__(self, index):img = Image.open(self.img_path[index]).convert('RGB')if self.transform is not None:img = self.transform(img)lbl = np.array(self.img_label[index], dtype=np.int)lbl = list(lbl)  + (5 - len(lbl)) * [10]return img, torch.from_numpy(np.array(lbl[:5]))def __len__(self):return len(self.img_path)

定义读取数据dataloader

train_path = glob.glob('../../../dataset/tianchi_SVHN/train/*.png')
train_path.sort()
train_json = json.load(open('../../../dataset/tianchi_SVHN/train.json'))
train_label = [train_json[x]['label'] for x in train_json]
print(len(train_path), len(train_label))train_loader = torch.utils.data.DataLoader(SVHNDataset(train_path, train_label,transforms.Compose([transforms.Resize((64, 128)),transforms.RandomCrop((60, 120)),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])),batch_size=40,shuffle=True,num_workers=10,
)val_path = glob.glob('../../../dataset/tianchi_SVHN/val/*.png')
val_path.sort()
val_json = json.load(open('../../../dataset/tianchi_SVHN/val.json'))
val_label = [val_json[x]['label'] for x in val_json]
print(len(val_path), len(val_label))val_loader = torch.utils.data.DataLoader(SVHNDataset(val_path, val_label,transforms.Compose([transforms.Resize((60, 120)),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])),batch_size=40,shuffle=False,num_workers=10,
)

定义分类模型

class SVHN_Model1(nn.Module):def __init__(self):super(SVHN_Model1, self).__init__()model_conv = models.resnet18(pretrained=True)model_conv.avgpool = nn.AdaptiveAvgPool2d(1)model_conv = nn.Sequential(*list(model_conv.children())[:-1])self.cnn = model_convself.fc1 = nn.Linear(512, 11)self.fc2 = nn.Linear(512, 11)self.fc3 = nn.Linear(512, 11)self.fc4 = nn.Linear(512, 11)self.fc5 = nn.Linear(512, 11)def forward(self, img):feat = self.cnn(img)# print(feat.shape)feat = feat.view(feat.shape[0], -1)c1 = self.fc1(feat)c2 = self.fc2(feat)c3 = self.fc3(feat)c4 = self.fc4(feat)c5 = self.fc5(feat)return c1, c2, c3, c4, c5def train(train_loader, model, criterion, optimizer):# 切换模型为训练模式model.train()train_loss = []for i, (input, target) in enumerate(train_loader):if use_cuda:input = input.cuda()target = target.cuda()c0, c1, c2, c3, c4 = model(input)loss = criterion(c0, target[:, 0]) + \criterion(c1, target[:, 1]) + \criterion(c2, target[:, 2]) + \criterion(c3, target[:, 3]) + \criterion(c4, target[:, 4])optimizer.zero_grad()loss.backward()optimizer.step()train_loss.append(loss.item())return np.mean(train_loss)def validate(val_loader, model, criterion):# 切换模型为预测模型model.eval()val_loss = []# 不记录模型梯度信息with torch.no_grad():for i, (input, target) in enumerate(val_loader):if use_cuda:input = input.cuda()target = target.cuda()c0, c1, c2, c3, c4 = model(input)loss = criterion(c0, target[:, 0]) + \criterion(c1, target[:, 1]) + \criterion(c2, target[:, 2]) + \criterion(c3, target[:, 3]) + \criterion(c4, target[:, 4])val_loss.append(loss.item())return np.mean(val_loss)def predict(test_loader, model, tta=10):model.eval()test_pred_tta = None# TTA 次数for _ in range(tta):test_pred = []with torch.no_grad():for i, (input, target) in enumerate(test_loader):if use_cuda:input = input.cuda()c0, c1, c2, c3, c4 = model(input)if use_cuda:output = np.concatenate([c0.data.cpu().numpy(),c1.data.cpu().numpy(),c2.data.cpu().numpy(),c3.data.cpu().numpy(),c4.data.cpu().numpy()], axis=1)else:output = np.concatenate([c0.data.numpy(),c1.data.numpy(),c2.data.numpy(),c3.data.numpy(),c4.data.numpy()], axis=1)test_pred.append(output)test_pred = np.vstack(test_pred)if test_pred_tta is None:test_pred_tta = test_predelse:test_pred_tta += test_predreturn test_pred_tta

训练与验证

model = SVHN_Model1()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), 0.001)use_cuda = True
if use_cuda:model = model.cuda()best_loss = 1000.0
for epoch in range(3):train_loss = train(train_loader, model, criterion, optimizer)val_loss = validate(val_loader, model, criterion)val_label = [''.join(map(str, x)) for x in val_loader.dataset.img_label]val_predict_label = predict(val_loader, model, 1)val_predict_label = np.vstack([val_predict_label[:, :11].argmax(1),val_predict_label[:, 11:22].argmax(1),val_predict_label[:, 22:33].argmax(1),val_predict_label[:, 33:44].argmax(1),val_predict_label[:, 44:55].argmax(1),]).Tval_label_pred = []for x in val_predict_label:val_label_pred.append(''.join(map(str, x[x!=10])))val_char_acc = np.mean(np.array(val_label_pred) == np.array(val_label))print('Epoch: {0}, Train loss: {1} \t Val loss: {2} \t Val Acc: {3}'.format(epoch, train_loss, val_loss, val_char_acc))# 记录下验证集精度if val_loss < best_loss:best_loss = val_loss# print('Find better model in Epoch {0}, saving model.'.format(epoch))torch.save(model.state_dict(), './model.pt')

预测并生成提交文件

test_path = glob.glob('../../../dataset/tianchi_SVHN/test_a/*.png')
test_path.sort()
test_label = [[1]] * len(test_path)
print(len(test_path), len(test_label))test_loader = torch.utils.data.DataLoader(SVHNDataset(test_path, test_label,transforms.Compose([transforms.Resize((70, 140)),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])),batch_size=40,shuffle=False,num_workers=10,
)# 加载保存的最优模型生成提交文件
model.load_state_dict(torch.load('model.pt'))test_predict_label = predict(test_loader, model, 1)
print(test_predict_label.shape)test_label = [''.join(map(str, x)) for x in test_loader.dataset.img_label]
test_predict_label = np.vstack([test_predict_label[:, :11].argmax(1),test_predict_label[:, 11:22].argmax(1),test_predict_label[:, 22:33].argmax(1),test_predict_label[:, 33:44].argmax(1),test_predict_label[:, 44:55].argmax(1),
]).Ttest_label_pred = []
for x in test_predict_label:test_label_pred.append(''.join(map(str, x[x!=10])))import pandas as pd
df_submit = pd.read_csv('../../../dataset/tianchi_SVHN/test_A_sample_submit.csv')
df_submit['file_code'] = test_label_pred
df_submit.to_csv('submit.csv', index=None)

pytorch与街景识别学习笔记相关推荐

语音识别学习笔记（三）【动态时间归正的识别技术】
语音识别学习笔记(三)[动态时间归正的识别技术] 1.概述在语音识别中,简单的将输入模板和参考模板进行比较存在很大的缺陷,因为语音信号具有很大的随机性,即便是同一个人在不同时刻说同一句话,也不可能 ...
语音识别学习笔记（二）【基于矢量量化的识别技术】
语音识别学习笔记(二)[基于矢量量化的识别技术] 概述量化分为标量量化和矢量量化(Vector Quantization,VQ).标量量化是将采样后的信号值逐个进行量化,而适量量化是将若干个采样信 ...
语音识别学习笔记（一）【概述】
语音识别学习笔记(一)[概述] 概述: 1)语音识别是机器通过识别和理解过程把人类的语音信号转变成相应的文本或命令的技术. 2)集声学.语音学.计算机.信息处理.人工智能等于一身的综合技术. 难 ...
数字图像识别学习笔记（第二章-数字图像基础（1））
title: 数字图像识别学习笔记(第二章数字图像基础(1)) categories: 数字图像识别 tags: 数字图像识别 date: 2020/9/30 21:22 mathjax: true ...
C#.NET验证码智能识别学习笔记---05C#.Net图片预处理
C#.NET验证码智能识别学习笔记---05C#.Net图片预处理技术qq交流群:JavaDream:251572072 教程下载,在线交流:it.yunsit.cn 图片经过下面的预处理以后就可 ...
C#.NET验证码智能识别学习笔记---04C#.Net图片操作
C#.NET验证码智能识别学习笔记---04C#.Net图片操作技术qq交流群:JavaDream:251572072 教程下载,在线交流:it.yunsit.cn -------------- ...
C#.NET验证码智能识别学习笔记---03#.Net中@符号的意思
C#.NET验证码智能识别学习笔记---03#.Net中@符号的意思技术qq交流群:JavaDream:251572072 教程下载,在线交流:it.yunsit.cn @是取消字符串中的转意符 ...
C#.NET验证码智能识别学习笔记---02-C#.Net中Using关键字的用法
C#.NET验证码智能识别学习笔记---02-C#.Net中Using关键字的用法技术qq交流群:JavaDream:251572072 教程下载,在线交流:it.yunsit.cn ------ ...
pytorch深度学习入门笔记
Pytorch 深度学习入门笔记作者:梅如你学习来源: 公众号: 阿力阿哩哩.土堆碎念 B站视频:https://www.bilibili.com/video/BV1hE411t7RN? 中国大学 ...
刘二大人 PyTorch深度学习实践笔记 P6 逻辑斯蒂回归
刘二大人 PyTorch深度学习实践笔记 P6 逻辑斯蒂回归 P6 逻辑斯蒂回归 1.torchversion 提供的数据集 2.基本概念 3.代码实现 P6 逻辑斯蒂回归 1.torchversi ...

pytorch与街景识别学习笔记