Pytorch 数据增广(Data Augmentation)
Pytorch 数据增广(Data Augmentation)
0. 环境介绍
环境使用 Kaggle 里免费建立的 Notebook
教程使用李沐老师的 动手学深度学习 网站和 视频讲解
小技巧:当遇到函数看不懂的时候可以按 Shift+Tab
查看函数详解。
1. 简介
图像增广在对训练图像进行一系列的随机变化之后,生成相似但不同的训练样本,从而扩大了训练集的规模。 此外,应用图像增广的原因是,随机改变训练样本可以减少模型对某些属性的依赖,从而提高模型的泛化能力。 例如,我们可以以不同的方式裁剪图像,使感兴趣的对象出现在不同的位置,减少模型对于对象出现位置的依赖。 我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。 可以说,图像增广技术对于AlexNet的成功是必不可少的。在本节中,我们将讨论这项广泛应用于计算机视觉的技术。
增强一个已有数据集,使得有更多的多样性
- 在语言里面加入各种不同的背景噪音
- 改变图片的颜色和形状
- 翻转,切割等操作
2. 常用的图像增广方法
2.0 导入图片
老师的测试图片地址:
https://raw.githubusercontent.com/d2l-ai/d2l-zh/master/img/cat1.jpg
如果你和我一样用的 kaggle,可以在右侧添加数据集:
输入:https://www.kaggle.com/datasets/xenxiou/dive-into-deep-learning-image
(这个是我自己上传的,当然了,你也可以自己上传自己的数据集,可以点右上角的 Upload 自行上传)
点击 Add 即可:
导入图片:
!pip install -U d2l
%matplotlib inline
import torch
import torchvision
from torch import nn
from d2l import torch as d2ld2l.set_figsize()
img = d2l.Image.open('../input/dive-into-deep-learning-image/img/cat1.jpg')
d2l.plt.imshow(img)
定义 apply
函数,该函数在输入图像 img 上多次运行图像增广方法 aug 并显示所有结果。
def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):Y = [aug(img) for _ in range(num_rows * num_cols)]d2l.show_images(Y, num_rows, num_cols, scale=scale)
2.1 翻转和裁剪
随机(50%50\%50% 概率)水平翻转:
apply(img, torchvision.transforms.RandomHorizontalFlip())
随机(50%50\%50% 概率)上下翻转:
apply(img, torchvision.transforms.RandomVerticalFlip())
随机裁剪一个面积为原始面积 10%10\%10% 到 100%100\%100% 的区域,该区域的宽高比从 0.50.50.5 到 222 之间随机取值,区域的宽度和高度都被 resize
到 200×200200 \times 200200×200像素:
shape_aug = torchvision.transforms.RandomResizedCrop((200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)
2.2 改变颜色
我们可以改变图像颜色的四个方面:亮度(brightness)、对比度(contrast)、饱和度(saturation)和色调(hue)。
我们随机更改图像的亮度,随机值为原始图像的 50%50\%50%(1−0.51-0.51−0.5)到 150%150\%150%(1+0.51+0.51+0.5)之间。
apply(img, torchvision.transforms.ColorJitter(brightness=0.5, contrast=0, saturation=0, hue=0))
我们可以随机更改图像的色调:
apply(img, torchvision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0.5))
同时随机更改图像的亮度(brightness)、对比度(contrast)、饱和度(saturation)和色调(hue):
color_aug = torchvision.transforms.ColorJitter(brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)
2.3 结合多种图像增广方法
可以通过使用一个 Compose
实例来综合上面定义的不同的图像增广方法,并将它们应用到每个图像:
augs = torchvision.transforms.Compose([torchvision.transforms.RandomHorizontalFlip(), color_aug, shape_aug])
apply(img, augs)
3. 使用数据增广进行训练
3.1 加载 CIFAR-10 数据集
使用 CIFAR-10 数据集:
all_images = torchvision.datasets.CIFAR10(train=True, root="../data",download=True)
d2l.show_images([all_images[i][0] for i in range(32)], 4, 8, scale=0.8)
为了在预测过程中得到确切的结果,我们通常对训练样本只进行图像增广,且在预测过程中不使用随机操作的图像增广。 在这里,我们只使用最简单的随机左右翻转。 此外,我们使用 ToTensor
实例将一批图像转换为深度学习框架所要求的格式,即形状为(批量大小,通道数,高度,宽度)的 323232 位浮点数,取值范围为 000 到 111:
train_augs = torchvision.transforms.Compose([torchvision.transforms.RandomHorizontalFlip(),torchvision.transforms.ToTensor()])test_augs = torchvision.transforms.Compose([torchvision.transforms.ToTensor()])
定义一个辅助函数,以便于读取图像和应用图像增广,PyTorch 数据集提供的 transform 函数应用图像增广来转化图像:
def load_cifar10(is_train, augs, batch_size):dataset = torchvision.datasets.CIFAR10(root="../data", train=is_train,transform=augs, download=True)dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size,shuffle=is_train, num_workers=4)return dataloader
3.2 GPU 训练
李沐老师的环境是有多 GPU 的,我 kaggle 上只有一个 GPU,所以只用一个 GPU 训练了
Pytorch 数据增广(Data Augmentation)相关推荐
- pytorch数据增广albumentations
pytorch数据增广albumentations 图像增强库官方英文介绍 安装 pip install albumentations 支持的目标检测bbox格式 pascal_voc [x_min, ...
- pytorch数据增广
常用的数据增广方法 1. 对图片进行按比例缩放 2. 对图片进行随机位置的截取 3. 对图片进行随机的水平和竖直翻转 4. 对图片进行随机角度的旋转 5. 对图片进行亮度.对比度和颜色的随机变化 下面 ...
- python 批量增广数据_GitHub:数据增广最全资料集锦
作者:AgaMiko | 编辑:Amusi Date:2020-10-12 来源:CVer微信公众号 原文:GitHub:数据增广最全资料集锦 前言 CVer 陆续分享了GitHub上优质的AI/CV ...
- 讨论数据增强(data augmentation)的有效性
讨论数据增强(data augmentation)的有效性 FesianXu 20210216 at Baidu intern 前言 在知乎上遇到了一个问题并且进行了简单的回答,如何证明数据增强(Da ...
- 图数据增广(Graph Data Augmentation)近期进展
本文旨在简要总结近期在 graph 领域新提出的数据增广方法,带领读者了解图数据增广的基本定义和最新进展. 1 简介 近年来,以数据为驱动的推理在数据增广技术的引进后,泛化能力和模型性能方面得到了显着 ...
- 一文盘点图数据增广 (Graph Data Augmentation) 近期进展
©作者 | 刘纪玺 单位 | 北邮GAMMA Lab 来源 | 北邮GAMMA Lab 本文旨在简要总结近期在 graph 领域新提出的数据增广方法,带领读者了解图数据增广的基本定义和最新进展. 简介 ...
- 论文理解【IL - 数据增广】 —— Adversarial Imitation Learning with Trajectorial Augmentation and Correction
标题:Adversarial Imitation Learning with Trajectorial Augmentation and Correction 发表:ICRA 2021 文章链接:Ad ...
- PyTorch 使用torchvision进行图片数据增广
使用torchvision来进行图片的数据增广 数据增强就是增强一个已有数据集,使得有更多的多样性.对于图片数据来说,就是改变图片的颜色和形状等等.比如常见的: 左右翻转,对于大多数数据集都可以使用: ...
- 【深度学习】基于深度学习的数据增广技术一览
◎作者系极市原创作者计划特约作者Happy 周末在家无聊,偶然兴心想对CV领域常用的数据增广方法做个简单的调研与总结,重点是AI时代新兴的几种反响还不错的方法.各种第三方与官方实现代码等.那么今天由H ...
最新文章
- python3 PIL、opencv, 二进制、base64 四种图片格式转换
- spring-quartz
- MVVM模式于MVP模式
- KAFKA 最新版 Shell API单机生产与消费
- poj 1966 Cable TV Network 顶点连通度
- visio防火墙可以连接什么_画流程图,就是要用Visio软件!
- C# 从Object对象中读取属性的值
- 1433 mssql 安全_mssqlsql2008安全配置又一给力教程
- mysql闩_Oracle闩:Cache Buffers chains
- 自学python到什么程度可以找工作-Python学到什么程度才可以去找工作?掌握这4点足够了!...
- 数据库安全性概念与自主安全性机制
- Oracle数据库存储过程 ,去除给定字符串中重复的字符串
- 转载:关于Windows Boot Manager、Bootmgfw.efi、Bootx64.efi、bcdboot.exe 的详解..
- 杨诚 湖南科技职业技术学院计算机,2013年全国职业院校技能大赛高职组获奖名单...
- Python 发送短信
- 三相逆变器双pi控制器参数如何调节_光伏逆变器MPPT基本原理李星硕
- 《戴尔·卡耐基传记》--[美]戴尔·卡耐基
- MTK平台创建Vendor方法-v1.4
- 产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构
- java gmail 发送邮件_使用JavaMail对Gmail进行邮件收发
热门文章
- nvidia控制面板点了没反应win7_Win7系统打不开Nvidia控制面板提示“停止工作”怎么办...
- 如何快速查询大量货物的物流状态
- Windows Server:客户端脱机加域
- 45 周岁、IPIP 的七年之痒与最坏打算~
- 提高Spark姿势水平 No.73
- 移动魔百盒M301H,CW代工,通用强刷-卡刷固件
- 粒子群算法求解物流配送路线问题(python)
- 模仿苹果虚拟悬浮按钮(自动靠边、可浮现任何界面上)
- 免签支付是什么意思,个人和企业该如何使用免签支付?
- 可重构优化c语言,第八章 可重构计算处理器技术_魏少军.pdf