Serverless架构下怎么用Python搞定图像分类和预测

这篇文章主要讲解了“Serverless架构下怎么用Python搞定图像分类和预测”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Serverless架构下怎么用Python搞定图像分类和预测”吧！

本文将会通过一个有趣的 Python 库，快速将图像分类的功能搭建在云函数上，并且和 API 网关结合，对外提供 API 功能，实现一个  Serverless 架构的“图像分类 API”。

首先和大家介绍一下需要的依赖库：ImageAI。通过该依赖的官方文档我们可以看到这样的描述：

ImageAI 是一个 python 库，旨在使开发人员能够使用简单的几行代码构建具有包含深度学习和计算机视觉功能的应用程序和系统。

ImageAI 本着简洁的原则，支持最先进的机器学习算法，用于图像预测、自定义图像预测、物体检测、视频检测、视频对象跟踪和图像预测训练。ImageAI  目前支持使用在 ImageNet-1000 数据集上训练的 4 种不同机器学习算法进行图像预测和训练。ImageAI 还支持使用在 COCO 数据集上训练的  RetinaNet 进行对象检测、视频检测和对象跟踪。最终，ImageAI  将为计算机视觉提供更广泛和更专业化的支持，包括但不限于特殊环境和特殊领域的图像识别。

也就是说这个依赖库，可以帮助我们完成基本的图像识别和视频的目标提取，虽然他给了一些数据集和模型，但是我们也可以根据自身需要对其进行额外的训练，进行定制化拓展。通过官方给的代码，我们可以看到一个简单的  Demo：

# -*- coding: utf-8 -*- from imageai.Prediction import ImagePrediction  # 模型加载 prediction = ImagePrediction() prediction.setModelTypeAsResNet() prediction.setModelPath("resnet50_weights_tf_dim_ordering_tf_kernels.h6") prediction.loadModel()  predictions, probabilities = prediction.predictImage("./picture.jpg", result_count=5 ) for eachPrediction, eachProbability in zip(predictions, probabilities):     print(str(eachPrediction) + " : " + str(eachProbability))

(左右滑动查看)

当我们指定的 picture.jpg 图片为：

我们在执行之后的结果是：

laptop : 71.43893241882324 notebook : 16.265612840652466 modem : 4.899394512176514 hard_disc : 4.007557779550552 mouse : 1.2981942854821682

如果在使用过程中觉得模型

resnet50_weights_tf_dim_ordering_tf_kernels.h6 过大，耗时过长，可以按需求选择模型：

• SqueezeNet(文件大小：4.82 MB，预测时间最短，精准度适中)

• ResNet50 by Microsoft Research (文件大小：98 MB，预测时间较快，精准度高)

• InceptionV3 by Google Brain team (文件大小：91.6 MB，预测时间慢，精度更高)

• DenseNet121 by Facebook AI Research (文件大小：31.6 MB，预测时间较慢，精度最高)

模型下载地址可参考 Github 地址：https://github.com/OlafenwaMoses/ImageAI/releases/tag/1.0

或者参考 ImageAI 官方文档：https://imageai-cn.readthedocs.io/zh_CN/latest/ImageAI_Image_Prediction.html

项目 Serverless 化

将项目按照函数计算的需求，编写好入口方法，以及做好项目初始化，同时在当前项目下创建文件夹 model，并将模型文件拷贝到该文件夹：

项目整体流程：

实现代码：

# -*- coding: utf-8 -*-  from imageai.Prediction import ImagePrediction import json import uuid import base64 import random   # Response class Response:     def __init__(self, start_response, response, errorCode=None):         self.start = start_response         responseBody = {             'Error': {"Code": errorCode, "Message": response},         } if errorCode else {             'Response': response         }         # 默认增加uuid，便于后期定位         responseBody['ResponseId'] = str(uuid.uuid1())         print("Response: ", json.dumps(responseBody))         self.response = json.dumps(responseBody)      def __iter__(self):         status = '200'         response_headers = [('Content-type', 'application/json; charset=UTF-8')]         self.start(status, response_headers)         yield self.response.encode("utf-8")   # 随机字符串 randomStr = lambda num=5: "".join(random.sample('abcdefghijklmnopqrstuvwxyz', num))  # 模型加载 print("Init model") prediction = ImagePrediction() prediction.setModelTypeAsResNet() print("Load model") prediction.setModelPath("/mnt/auto/model/resnet50_weights_tf_dim_ordering_tf_kernels.h6") prediction.loadModel() print("Load complete")   def handler(environ, start_response):     try:         request_body_size = int(environ.get('CONTENT_LENGTH', 0))     except (ValueError):         request_body_size = 0     requestBody = json.loads(environ['wsgi.input'].read(request_body_size).decode("utf-8"))      # 图片获取     print("Get pucture")     imageName = randomStr(10)     imageData = base64.b64decode(requestBody["image"])     imagePath = "/tmp/" + imageName     with open(imagePath, 'wb') as f:         f.write(imageData)      # 内容预测     print("Predicting ... ")     result = {}     predictions, probabilities = prediction.predictImage(imagePath, result_count=5)     print(zip(predictions, probabilities))     for eachPrediction, eachProbability in zip(predictions, probabilities):         result[str(eachPrediction)] = str(eachProbability)      return Response(start_response, result)

所需要的依赖：

tensorflow==1.13.1 numpy==1.19.4 scipy==1.5.4 opencv-python==4.4.0.46 pillow==8.0.1 matplotlib==3.3.3 h6py==3.1.0 keras==2.4.3 imageai==2.1.5

编写部署所需要的配置文件：

ServerlessBookImageAIDemo:   Component: fc   Provider: alibaba   Access: release   Properties:     Region: cn-beijing     Service:       Name: ServerlessBook       Description: Serverless图书案例       Log: Auto       Nas: Auto     Function:       Name: serverless_imageAI       Description: 图片目标检测       CodeUri:         Src: ./src         Excludes:           - src/.fun           - src/model       Handler: index.handler       Environment:         - Key: PYTHONUSERBASE           Value: /mnt/auto/.fun/python       MemorySize: 3072       Runtime: python3       Timeout: 60       Triggers:         - Name: ImageAI           Type: HTTP           Parameters:             AuthType: ANONYMOUS             Methods:               - GET               - POST               - PUT             Domains:               - Domain: Auto

在代码与配置中，可以看到有目录：/mnt/auto/ 的存在，该部分实际上是 nas 挂载之后的地址，只需提前写入到代码中即可，下一个环节会进行 nas  的创建以及挂载点配置的具体操作。

项目部署与测试

在完成上述步骤之后，可以通过：

s deploy

进行项目部署，部署完成可以看到结果：

完成部署之后，可以通过：

s install docker

进行依赖的安装：

依赖安装完成可以看到在目录下生成了 .fun 的目录，该目录就是通过 docker 打包出来的依赖文件，这些依赖正是我们在  requirements.txt 文件中声明的依赖内容。

完成之后，我们通过：

s nas sync ./src/.fun

将依赖目录打包上传到 nas，成功之后再将 model 目录打包上传：

s nas sync ./src/model

完成之后可以通过：

s nas ls --all

查看目录详情：

完成之后，我们可以编写脚本进行测试，同样适用刚才的测试图片，通过代码：

import json import urllib.request import base64 import time  with open("picture.jpg", 'rb') as f:     data = base64.b64encode(f.read()).decode()  url = 'http://35685264-1295939377467795.test.functioncompute.com/'  timeStart = time.time() print(urllib.request.urlopen(urllib.request.Request(     url=url,     data=json.dumps({'image': data}).encode("utf-8") )).read().decode("utf-8")) print("Time: ", time.time() - timeStart)

可以看到结果：

{"Response": {"laptop": "71.43893837928772", "notebook": "16.265614330768585", "modem": "4.899385944008827", "hard_disc": "4.007565602660179", "mouse": "1.2981869280338287"}, "ResponseId": "1d74ae7e-298a-11eb-8374-024215000701"} Time:  29.16020894050598

可以看到，函数计算顺利地返回了预期结果，但是整体耗时却超乎想象，有近 30s，此时我们再次执行一下测试脚本：

{"Response": {"laptop": "71.43893837928772", "notebook": "16.265614330768585", "modem": "4.899385944008827", "hard_disc": "4.007565602660179", "mouse": "1.2981869280338287"}, "ResponseId": "4b8be48a-298a-11eb-ba97-024215000501"} Time:  1.1511380672454834

可以看到，再次执行的时间仅有 1.15 秒，比上次整整提升了 28 秒之多。

项目优化

在上一轮的测试中可以看到，项目首次启动和二次启动的耗时差距，其实这个时间差，主要是函数在加载模型的时候浪费了极长的时间。

即使在本地，我们也可以简单测试：

# -*- coding: utf-8 -*-  import time  timeStart = time.time()  # 模型加载 from imageai.Prediction import ImagePrediction  prediction = ImagePrediction() prediction.setModelTypeAsResNet() prediction.setModelPath("resnet50_weights_tf_dim_ordering_tf_kernels.h6") prediction.loadModel() print("Load Time: ", time.time() - timeStart) timeStart = time.time()  predictions, probabilities = prediction.predictImage("./picture.jpg", result_count=5) for eachPrediction, eachProbability in zip(predictions, probabilities):     print(str(eachPrediction) + " : " + str(eachProbability)) print("Predict Time: ", time.time() - timeStart)

执行结果：

Load Time:  5.549695014953613 laptop : 71.43893241882324 notebook : 16.265612840652466 modem : 4.899394512176514 hard_disc : 4.007557779550552 mouse : 1.2981942854821682 Predict Time:  0.8137111663818359

可以看到，在加载 imageAI 模块以及加载模型文件的过程中，一共耗时 5.5 秒，在预测部分仅有不到 1  秒钟的时间。而在函数计算中，机器性能本身就没有我本地的性能高，此时为了避免每次装载模型导致的响应时间过长，在部署的代码中，可以看到模型装载过程实际上是被放在了入口方法之外。这样做的一个好处是，项目每次执行的时候，不一定会有冷启动，也就是说在某些复用的前提下是可以复用一些对象的，即无需每次都重新加载模型、导入依赖等。

所以在实际项目中，为了避免频繁请求，实例重复装载、创建某些资源，我们可以将部分资源放在初始化的时候进行。这样可以大幅度提高项目的整体性能，同时配合厂商所提供的预留能力，可以基本上杜绝函数冷启动带来的负面影响。

感谢各位的阅读，以上就是“Serverless架构下怎么用Python搞定图像分类和预测”的内容了，经过本文的学习后，相信大家对Serverless架构下怎么用Python搞定图像分类和预测这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！