Imgaug之导入和增强图像

参考Imgaug之导入和增强图像 - 云+社区 - 腾讯云

在机器视觉领域，想将深度学习应用于实际工程项目，并最终落地，会遇到很多问题：光照、遮挡等。而采集到的数据通常难以满足各种现实环境，需要进行数据增强操作。 imgaug是一个基于OpenCV的更高级的API，包含很多集成好的图像增强的方法。

安装方式：

conda config --add channels conda-forgeconda install imgaug

导入和增强图像

输入的图像需要符合以下两种规格之一：

可以是4D的numpy数组，形状需要满足“NHWC”原则，即(N, height, width, channels)
也可以是一个由3D numpy数组组成的列表list，3D numpy数组的形状需要满足(height, width, channels) 对于灰度图像，其形状必须满足(height, width, 1)

并且所有的图像必须是numpy数组的uint8格式，数值需要是在0-255之间。

uint8是所有API测试最彻底的数据类型，其余的格式例如float32，需要查看imgaug API的文档是否支持。

图像导入函数

imgaug只是进行图像增强的库函数，其中并没有相关图像的读取和输出的函数。因此，需要使用其他的库进行图像的导入：

imageio

cv2.imread()

另外，值得注意的是，cv2.imread()函数返回的图像颜色空间是BGR，而不是RGB，因此，需要手动改变其通道组成： cv2.imread(path)[:, :, ::-1]

因此，提倡使用imageio进行图像的导入。

导入并增强一张图片

imagio.imread("/path/to/the/file.jpg")

windows: imagio.imread("C:\path\to\the\file.jpg") 返回的是一个uint8格式的numpy数组，形状为HWC--RGB空间。

import imageio
import imgaug as ia
%matplotlib inline    
image = imageio.imread("./pick1.jpg")   # Image格式
print("Original")
ia.imshow(image)

Augmented:

imgaug没有读图像的语句，但是有显示图像的语句。

# 增强
from imgaug import augmenters as iaa

ia.seed(4)
rotate = iaa.Affine(rotate=(-25, 25))  # 旋转
image_aug = rotate(image=image)   # 处理后是numpy数组格式

print("Augmented:")
ia.imshow(image_aug)

Augmented:

可以看出，图像发生了[-25, 25]之间角度的旋转。

在使用imgaug中包含的数据增强功能时，需要先通过传参生成某种数据增强的实例，再通过实例对图像进行处理。

尝试一下ia.seed(4),观察是否可以让旋转的角度相同。

ia.seed(4)
image_aug = rotate(image=image)

print("Re-Augmented:")
ia.imshow(image_aug)

Re-Augmented:

仿佛每次的结果都是一样的。

再试试更改一下数值。

ia.seed(5)
image_aug = rotate(image=image)

print("Augmented:")
ia.imshow(image_aug)

Augmented:

结果发生了随机性的变化。

增强一个batch数量的图像

实际使用中，我们通常需要处理更多份的图像数据，而不是一张。此时，可以将图形数据按照NHWC的形式或者由列表组成的HWC的形式对批量的图像进行处理。

如下述代码，将一份图像存储多次形成一个batch数量的图像。经过处理后，使用np.hstack()对处理后的图像进行显示。

import numpy as np

images = [image, image, image, image, image]
images_aug = rotate(images=images)

print("Augmented batch：")
ia.imshow(np.hstack(images_aug))

Augmented batch：

同时使用多种增强技术

之前使用的方法仅仅在一张图像或者多张图像上使用了一种Affine的增强技术，在实际深度学习模型训练中，往往需要同时使用多种图像增强技术，从而让模型适应变化的外界条件。

在使用多种图像增强技术时，可以使用imgaug中类似keras和Pytorch中Sequential方法，将多种增强技术拼接在一起。如下所示：

seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)), iaa.AdditiveGaussianNoise(scale=(10, 60)),iaa.Crop(percent=(0, 0.2))])
images_aug = seq(images=images)
print("Augmented:")
ia.imshow(np.hstack(images_aug))

Augmented:

Crop()默认会保持输入图像的尺寸，如果将keep_size=False,输入输出的尺寸将可能会发生变化。即该参数表示是否保持图像尺寸一致。

下述代码在Sequential中设置了random_order=True，并使用单张图片重复8次得到的结果。该参数表示是否启用随机顺序增强。

seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)),iaa.AdditiveGaussianNoise(scale=(30, 90)),iaa.Crop(percent=(0, 0.4))], random_order=True)
images_aug = [seq(image=image) for _ in range(8)]

print("Augmented:")
ia.imshow(ia.draw_grid(images_aug, cols=4, rows=2))

Augmented:

增强图像（不同尺寸）

在收集训练集时，训练集的尺寸往往难以做到统一尺寸。之前的示例中也总是使用的相同尺寸的图像。下述代码介绍了不同尺寸图像的处理和展示。

对于不同尺寸的图像，肯定不能使用numpy数组组成NHWC的形式，只能将不同尺寸的图像存储于列表中。

 seq = iaa.Sequential([iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge"),  # crop and pad imagesiaa.AddToHueAndSaturation((-60, 60)),  # change their coloriaa.ElasticTransformation(alpha=90, sigma=9),  # water-like effectiaa.Cutout()  # replace one squared area within the image by a constant intensity value], random_order=True)# load images with different sizesimages_different_sizes = [imageio.imread("./pick1.jpg"),imageio.imread("./flower.jpg"),imageio.imread("./samoye.jpg")]
# augment them as one batch
images_aug = seq(images=images_different_sizes)
# visualize the results
print("Image 0 (input shape: %s, output shape: %s)" % (images_different_sizes[0].shape, images_aug[0].shape))
ia.imshow(np.hstack([images_different_sizes[0], images_aug[0]]))
print("Image 1 (input shape: %s, output shape: %s)" % (images_different_sizes[1].shape, images_aug[1].shape))
ia.imshow(np.hstack([images_different_sizes[1], images_aug[1]]))
print("Image 2 (input shape: %s, output shape: %s)" % (images_different_sizes[2].shape, images_aug[2].shape))
ia.imshow(np.hstack([images_different_sizes[2], images_aug[2]]))

Image 0 (input shape: (313, 500, 3), output shape: (313, 500, 3))

Image 1 (input shape: (621, 500, 3), output shape: (621, 500, 3))

Image 2 (input shape: (406, 500, 3), output shape: (406, 500, 3))

整理总结

本节教程主要包含以下几个方面的内容：

在利用imgaug图像增强的方法中，如何读取和显示图像； imageio.imread() imgaug.imshow() 不推荐使用opencv，因为其读入图像默认为BGR模式；
单/多张图像如何利用一/多种图像增强方法；
如何将不同尺寸的图像组合在一起进行图像增强。

本节教程中包含的图像增强的方法：

iaa.Affine(rotate=(-25, 25))
- 实现仿射变换，本节仅利用了其中的旋转操作；
iaa.AdditiveGaussianNoise(scale=(10, 60))
- 添加高斯白噪声
iaa.Crop(percent=(0, 0.2))
- 实现裁剪，参数为裁剪比例
iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
- 实现裁剪和边缘补充
iaa.AddToHueAndSaturation((-60, 60))
- Hue空间调整饱和度
iaa.ElasticTransformation(alpha=90, sigma=9)
- 随机弹性变换（仿射变换的一种）
iaa.Cutout()
- 图像增强之 cutout 生成遮挡块

* CropAndPad使用效果：*

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
import numpy as np
%matplotlib inline

image = imageio.imread("./pick1.jpg")
crop = iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
img_aug = crop(image=image)
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)

Original

* AddToHueAndSaturation使用效果 *

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline    
image = imageio.imread("./pick1.jpg")

hue = iaa.AddToHueAndSaturation((-60, 60))
img_aug = hue(image=image)
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)

Original

* ElasticTransformation使用效果 *

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline    
image = imageio.imread("./pick1.jpg")

trans = iaa.ElasticTransformation(alpha=90, sigma=9)
img_aug = trans(image=image)

print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)

Original