本篇内容介绍了“Imgaug导入和增强图像的方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
在机器视觉领域,想将深度学习应用于实际工程项目,并最终落地,会遇到很多问题:光照、遮挡等。而采集到的数据通常难以满足各种现实环境,需要进行数据增强操作。 imgaug是一个基于OpenCV的更高级的API,包含很多集成好的图像增强的方法。
安装方式:
conda config --add channels conda-forge conda install imgaug
输入的图像需要符合以下两种规格之一:
可以是4D的numpy数组,形状需要满足“NHWC”原则,即(N, height, width, channels)
也可以是一个由3D numpy数组组成的列表list,3D numpy数组的形状需要满足(height, width, channels) 对于灰度图像,其形状必须满足(height, width, 1)
并且所有的图像必须是numpy数组的uint8格式,数值需要是在0-255之间。
uint8是所有API测试最彻底的数据类型,其余的格式例如float32,需要查看imgaug API的文档是否支持。
imgaug只是进行图像增强的库函数,其中并没有相关图像的读取和输出的函数。因此,需要使用其他的库进行图像的导入:
imageio
cv2.imread()
另外,值得注意的是,cv2.imread()函数返回的图像颜色空间是BGR,而不是RGB,因此,需要手动改变其通道组成: cv2.imread(path)[:, :, ::-1]
因此,提倡使用imageio进行图像的导入。
imagio.imread("/path/to/the/file.jpg")
windows: imagio.imread("C:\path\to\the\file.jpg") 返回的是一个uint8格式的numpy数组,形状为HWC--RGB空间。
import imageio import imgaug as ia %matplotlib inline image = imageio.imread("./pick1.jpg") # Image格式 print("Original") ia.imshow(image)
Augmented:
imgaug没有读图像的语句,但是有显示图像的语句。
# 增强 from imgaug import augmenters as iaa ia.seed(4) rotate = iaa.Affine(rotate=(-25, 25)) # 旋转 image_aug = rotate(image=image) # 处理后是numpy数组格式 print("Augmented:") ia.imshow(image_aug)
Augmented:
可以看出,图像发生了[-25, 25]之间角度的旋转。
在使用imgaug中包含的数据增强功能时,需要先通过传参生成某种数据增强的实例,再通过实例对图像进行处理。
尝试一下ia.seed(4),观察是否可以让旋转的角度相同。
ia.seed(4) image_aug = rotate(image=image) print("Re-Augmented:") ia.imshow(image_aug)
Re-Augmented:
仿佛每次的结果都是一样的。
再试试更改一下数值。
ia.seed(5) image_aug = rotate(image=image) print("Augmented:") ia.imshow(image_aug)
Augmented:
结果发生了随机性的变化。
实际使用中,我们通常需要处理更多份的图像数据,而不是一张。此时,可以将图形数据按照NHWC的形式或者由列表组成的HWC的形式对批量的图像进行处理。
如下述代码,将一份图像存储多次形成一个batch数量的图像。经过处理后,使用np.hstack()对处理后的图像进行显示。
import numpy as np images = [image, image, image, image, image] images_aug = rotate(images=images) print("Augmented batch:") ia.imshow(np.hstack(images_aug))
Augmented batch:
之前使用的方法仅仅在一张图像或者多张图像上使用了一种Affine的增强技术,在实际深度学习模型训练中,往往需要同时使用多种图像增强技术,从而让模型适应变化的外界条件。
在使用多种图像增强技术时,可以使用imgaug中类似keras和Pytorch中Sequential方法,将多种增强技术拼接在一起。如下所示:
seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)), iaa.AdditiveGaussianNoise(scale=(10, 60)), iaa.Crop(percent=(0, 0.2)) ]) images_aug = seq(images=images) print("Augmented:") ia.imshow(np.hstack(images_aug))
Augmented:
Crop()默认会保持输入图像的尺寸,如果将keep_size=False,输入输出的尺寸将可能会发生变化。即该参数表示是否保持图像尺寸一致。
下述代码在Sequential中设置了random_order=True,并使用单张图片重复8次得到的结果。该参数表示是否启用随机顺序增强。
seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)), iaa.AdditiveGaussianNoise(scale=(30, 90)), iaa.Crop(percent=(0, 0.4))], random_order=True) images_aug = [seq(image=image) for _ in range(8)] print("Augmented:") ia.imshow(ia.draw_grid(images_aug, cols=4, rows=2))
Augmented:
在收集训练集时,训练集的尺寸往往难以做到统一尺寸。之前的示例中也总是使用的相同尺寸的图像。下述代码介绍了不同尺寸图像的处理和展示。
对于不同尺寸的图像,肯定不能使用numpy数组组成NHWC的形式,只能将不同尺寸的图像存储于列表中。
seq = iaa.Sequential([ iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge"), # crop and pad images iaa.AddToHueAndSaturation((-60, 60)), # change their color iaa.ElasticTransformation(alpha=90, sigma=9), # water-like effect iaa.Cutout() # replace one squared area within the image by a constant intensity value ], random_order=True) # load images with different sizes images_different_sizes = [ imageio.imread("./pick1.jpg"), imageio.imread("./flower.jpg"), imageio.imread("./samoye.jpg") ] # augment them as one batch images_aug = seq(images=images_different_sizes) # visualize the results print("Image 0 (input shape: %s, output shape: %s)" % (images_different_sizes[0].shape, images_aug[0].shape)) ia.imshow(np.hstack([images_different_sizes[0], images_aug[0]])) print("Image 1 (input shape: %s, output shape: %s)" % (images_different_sizes[1].shape, images_aug[1].shape)) ia.imshow(np.hstack([images_different_sizes[1], images_aug[1]])) print("Image 2 (input shape: %s, output shape: %s)" % (images_different_sizes[2].shape, images_aug[2].shape)) ia.imshow(np.hstack([images_different_sizes[2], images_aug[2]]))
Image 0 (input shape: (313, 500, 3), output shape: (313, 500, 3))
Image 1 (input shape: (621, 500, 3), output shape: (621, 500, 3))
Image 2 (input shape: (406, 500, 3), output shape: (406, 500, 3))
本节教程主要包含以下几个方面的内容:
在利用imgaug图像增强的方法中,如何读取和显示图像; imageio.imread() imgaug.imshow() 不推荐使用opencv,因为其读入图像默认为BGR模式;
单/多张图像如何利用一/多种图像增强方法;
如何将不同尺寸的图像组合在一起进行图像增强。
本节教程中包含的图像增强的方法:
iaa.Affine(rotate=(-25, 25))
实现仿射变换,本节仅利用了其中的旋转操作;
iaa.AdditiveGaussianNoise(scale=(10, 60))
添加高斯白噪声
iaa.Crop(percent=(0, 0.2))
实现裁剪,参数为裁剪比例
iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
实现裁剪和边缘补充
iaa.AddToHueAndSaturation((-60, 60))
Hue空间调整饱和度
iaa.ElasticTransformation(alpha=90, sigma=9)
随机弹性变换(仿射变换的一种)
iaa.Cutout()
图像增强之 cutout 生成遮挡块
* CropAndPad使用效果:*
import imageio import imgaug as ia from imgaug import augmenters as iaa import numpy as np %matplotlib inline image = imageio.imread("./pick1.jpg") crop = iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge") img_aug = crop(image=image) print("Original") ia.imshow(np.hstack([image, img_aug])) #ia.imshow(image) #ia.imshow(img_aug)
Original
* AddToHueAndSaturation使用效果 *
import imageio import imgaug as ia from imgaug import augmenters as iaa %matplotlib inline image = imageio.imread("./pick1.jpg") hue = iaa.AddToHueAndSaturation((-60, 60)) img_aug = hue(image=image) print("Original") ia.imshow(np.hstack([image, img_aug])) #ia.imshow(image) #ia.imshow(img_aug)
Original
* ElasticTransformation使用效果 *
import imageio import imgaug as ia from imgaug import augmenters as iaa %matplotlib inline image = imageio.imread("./pick1.jpg") trans = iaa.ElasticTransformation(alpha=90, sigma=9) img_aug = trans(image=image) print("Original") ia.imshow(np.hstack([image, img_aug])) #ia.imshow(image) #ia.imshow(img_aug)
Original
“Imgaug导入和增强图像的方法是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。