温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Imgaug导入和增强图像的方法是什么

发布时间:2021-12-27 14:38:37 来源:亿速云 阅读:204 作者:iii 栏目:大数据

本篇内容介绍了“Imgaug导入和增强图像的方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

在机器视觉领域,想将深度学习应用于实际工程项目,并最终落地,会遇到很多问题:光照、遮挡等。而采集到的数据通常难以满足各种现实环境,需要进行数据增强操作。 imgaug是一个基于OpenCV的更高级的API,包含很多集成好的图像增强的方法。

安装方式:

conda config --add channels conda-forge

conda install imgaug

导入和增强图像

输入的图像需要符合以下两种规格之一:

  1. 可以是4D的numpy数组,形状需要满足“NHWC”原则,即(N, height, width, channels)

  2. 也可以是一个由3D numpy数组组成的列表list,3D numpy数组的形状需要满足(height, width, channels) 对于灰度图像,其形状必须满足(height, width, 1)

并且所有的图像必须是numpy数组的uint8格式,数值需要是在0-255之间。

uint8是所有API测试最彻底的数据类型,其余的格式例如float32,需要查看imgaug API的文档是否支持。

图像导入函数

imgaug只是进行图像增强的库函数,其中并没有相关图像的读取和输出的函数。因此,需要使用其他的库进行图像的导入:

imageio

cv2.imread()

另外,值得注意的是,cv2.imread()函数返回的图像颜色空间是BGR,而不是RGB,因此,需要手动改变其通道组成: cv2.imread(path)[:, :, ::-1]

因此,提倡使用imageio进行图像的导入。

导入并增强一张图片

imagio.imread("/path/to/the/file.jpg")

windows: imagio.imread("C:\path\to\the\file.jpg") 返回的是一个uint8格式的numpy数组,形状为HWC--RGB空间。

import imageio
import imgaug as ia
%matplotlib inline    
 
image = imageio.imread("./pick1.jpg")   # Image格式
 
print("Original")
ia.imshow(image)

Augmented:

Imgaug导入和增强图像的方法是什么                                                                                   

imgaug没有读图像的语句,但是有显示图像的语句。

# 增强
from imgaug import augmenters as iaa

ia.seed(4)
 
rotate = iaa.Affine(rotate=(-25, 25))  # 旋转
image_aug = rotate(image=image)   # 处理后是numpy数组格式

print("Augmented:")
ia.imshow(image_aug)

Augmented:

png

可以看出,图像发生了[-25, 25]之间角度的旋转。

在使用imgaug中包含的数据增强功能时,需要先通过传参生成某种数据增强的实例,再通过实例对图像进行处理。

尝试一下ia.seed(4),观察是否可以让旋转的角度相同。

ia.seed(4)
image_aug = rotate(image=image)

print("Re-Augmented:")
ia.imshow(image_aug)
Re-Augmented:

Imgaug导入和增强图像的方法是什么

仿佛每次的结果都是一样的。

  • 再试试更改一下数值。

ia.seed(5)
image_aug = rotate(image=image)

print("Augmented:")
ia.imshow(image_aug)
Augmented:

结果发生了随机性的变化。

增强一个batch数量的图像

实际使用中,我们通常需要处理更多份的图像数据,而不是一张。此时,可以将图形数据按照NHWC的形式或者由列表组成的HWC的形式对批量的图像进行处理。

如下述代码,将一份图像存储多次形成一个batch数量的图像。经过处理后,使用np.hstack()对处理后的图像进行显示。

import numpy as np

images = [image, image, image, image, image]
images_aug = rotate(images=images)

print("Augmented batch:")
ia.imshow(np.hstack(images_aug))
Augmented batch:

Imgaug导入和增强图像的方法是什么

同时使用多种增强技术

之前使用的方法仅仅在一张图像或者多张图像上使用了一种Affine的增强技术,在实际深度学习模型训练中,往往需要同时使用多种图像增强技术,从而让模型适应变化的外界条件。

在使用多种图像增强技术时,可以使用imgaug中类似keras和Pytorch中Sequential方法,将多种增强技术拼接在一起。如下所示:

seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)), 
                      iaa.AdditiveGaussianNoise(scale=(10, 60)),
                      iaa.Crop(percent=(0, 0.2))
                      ])
 
images_aug = seq(images=images)
 
print("Augmented:")
ia.imshow(np.hstack(images_aug))
Augmented:

png

Crop()默认会保持输入图像的尺寸,如果将keep_size=False,输入输出的尺寸将可能会发生变化。即该参数表示是否保持图像尺寸一致。

下述代码在Sequential中设置了random_order=True,并使用单张图片重复8次得到的结果。该参数表示是否启用随机顺序增强。

seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)),
                      iaa.AdditiveGaussianNoise(scale=(30, 90)),
                      iaa.Crop(percent=(0, 0.4))], random_order=True)
 
images_aug = [seq(image=image) for _ in range(8)]

print("Augmented:")
ia.imshow(ia.draw_grid(images_aug, cols=4, rows=2))
Augmented:

Imgaug导入和增强图像的方法是什么

增强图像(不同尺寸)

在收集训练集时,训练集的尺寸往往难以做到统一尺寸。之前的示例中也总是使用的相同尺寸的图像。下述代码介绍了不同尺寸图像的处理和展示。

对于不同尺寸的图像,肯定不能使用numpy数组组成NHWC的形式,只能将不同尺寸的图像存储于列表中。

 seq = iaa.Sequential([
      iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge"),  # crop and pad images
      iaa.AddToHueAndSaturation((-60, 60)),  # change their color
      iaa.ElasticTransformation(alpha=90, sigma=9),  # water-like effect
      iaa.Cutout()  # replace one squared area within the image by a constant intensity value
  ], random_order=True)
  
 # load images with different sizes
 images_different_sizes = [
     imageio.imread("./pick1.jpg"),
     imageio.imread("./flower.jpg"),
     imageio.imread("./samoye.jpg")
 ]
 
# augment them as one batch
images_aug = seq(images=images_different_sizes)
 
# visualize the results
print("Image 0 (input shape: %s, output shape: %s)" % (images_different_sizes[0].shape, images_aug[0].shape))
ia.imshow(np.hstack([images_different_sizes[0], images_aug[0]]))
 
print("Image 1 (input shape: %s, output shape: %s)" % (images_different_sizes[1].shape, images_aug[1].shape))
ia.imshow(np.hstack([images_different_sizes[1], images_aug[1]]))
 
print("Image 2 (input shape: %s, output shape: %s)" % (images_different_sizes[2].shape, images_aug[2].shape))
ia.imshow(np.hstack([images_different_sizes[2], images_aug[2]]))
Image 0 (input shape: (313, 500, 3), output shape: (313, 500, 3))

Imgaug导入和增强图像的方法是什么

Image 1 (input shape: (621, 500, 3), output shape: (621, 500, 3))

Imgaug导入和增强图像的方法是什么

Image 2 (input shape: (406, 500, 3), output shape: (406, 500, 3))

Imgaug导入和增强图像的方法是什么

整理总结

本节教程主要包含以下几个方面的内容:

  1. 在利用imgaug图像增强的方法中,如何读取和显示图像; imageio.imread() imgaug.imshow() 不推荐使用opencv,因为其读入图像默认为BGR模式;

  2. 单/多张图像如何利用一/多种图像增强方法;

  3. 如何将不同尺寸的图像组合在一起进行图像增强。

本节教程中包含的图像增强的方法:

  1. iaa.Affine(rotate=(-25, 25))

    • 实现仿射变换,本节仅利用了其中的旋转操作;

  2. iaa.AdditiveGaussianNoise(scale=(10, 60))

    • 添加高斯白噪声

  3. iaa.Crop(percent=(0, 0.2))

    • 实现裁剪,参数为裁剪比例

  4. iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")

    • 实现裁剪和边缘补充

  5. iaa.AddToHueAndSaturation((-60, 60))

    • Hue空间调整饱和度

  6. iaa.ElasticTransformation(alpha=90, sigma=9)

    • 随机弹性变换(仿射变换的一种)

  7. iaa.Cutout()

    • 图像增强之 cutout 生成遮挡块


* CropAndPad使用效果:*

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
import numpy as np
%matplotlib inline    

image = imageio.imread("./pick1.jpg")
 
crop = iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
img_aug = crop(image=image)
 
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image) 
#ia.imshow(img_aug)
Original

Imgaug导入和增强图像的方法是什么


* AddToHueAndSaturation使用效果 *

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline    
 
image = imageio.imread("./pick1.jpg")

hue = iaa.AddToHueAndSaturation((-60, 60))
img_aug = hue(image=image)
 
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image) 
#ia.imshow(img_aug)
Original

png


* ElasticTransformation使用效果 *

import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline    
 
image = imageio.imread("./pick1.jpg")

trans = iaa.ElasticTransformation(alpha=90, sigma=9)
img_aug = trans(image=image)

print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image) 
#ia.imshow(img_aug)
Original

Imgaug导入和增强图像的方法是什么

“Imgaug导入和增强图像的方法是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI