创建一个容器化的机器学习模型

作者: Sven Bösiger 2018-12-17 09:10:52

https://s1.51cto.com/oss/201812/17/36bbe53ebdfa1b1c0f60a3cc74cef798.jpg

数据科学家在创建机器学习模型后,必须将其部署到生产中。要在不同的基础架构上运行它,使用容器并通过 REST API 公开模型是部署机器学习模型的常用方法。本文演示了如何在 Podman 容器中使用 Connexion 推出使用 REST API 的 TensorFlow 机器学习模型。

准备

首先,使用以下命令安装 Podman:

  1. sudo dnf -y install podman

接下来,为容器创建一个新文件夹并切换到该目录。

  1. mkdir deployment_container && cd deployment_container

TensorFlow 模型的 REST API

下一步是为机器学习模型创建 REST API。这个 github 仓库包含一个预训练模型,以及能让 REST API 工作的设置。

使用以下命令在 deployment_container 目录中克隆它:

  1. git clone https://github.com/svenboesiger/titanic_tf_ml_model.git

prediction.py 和 ml_model/

prediction.py 能进行 Tensorflow 预测,而 20x20x20 神经网络的权重位于文件夹 ml_model/ 中。

swagger.yaml

swagger.yaml 使用 Swagger规范 定义 Connexion 库的 API。此文件包含让你的服务器提供输入参数验证、输出响应数据验证、URL 端点定义所需的所有信息。

额外地,Connexion 还将给你提供一个简单但有用的单页 Web 应用,它演示了如何使用 Javascript 调用 API 和更新 DOM。

  1. swagger: "2.0"
  2. info:
  3. description: This is the swagger file that goes with our server code
  4. version: "1.0.0"
  5. title: Tensorflow Podman Article
  6. consumes:
  7. - "application/json"
  8. produces:
  9. - "application/json"
  10.  
  11.  
  12. basePath: "/"
  13.  
  14. paths:
  15. /survival_probability:
  16. post:
  17. operationId: "prediction.post"
  18. tags:
  19. - "Prediction"
  20. summary: "The prediction data structure provided by the server application"
  21. description: "Retrieve the chance of surviving the titanic disaster"
  22. parameters:
  23. - in: body
  24. name: passenger
  25. required: true
  26. schema:
  27. $ref: '#/definitions/PredictionPost'
  28. responses:
  29. '201':
  30. description: 'Survival probability of an individual Titanic passenger'
  31.  
  32. definitions:
  33. PredictionPost:
  34. type: object

server.py 和 requirements.txt

server.py 定义了启动 Connexion 服务器的入口点。

  1. import connexion
  2.  
  3. app = connexion.App(__name__, specification_dir='./')
  4.  
  5. app.add_api('swagger.yaml')
  6.  
  7. if __name__ == '__main__':
  8. app.run(debug=True)

requirements.txt 定义了运行程序所需的 python 包。

  1. connexion
  2. tensorflow
  3. pandas

容器化!

为了让 Podman 构建映像,请在上面的准备步骤中创建的 deployment_container 目录中创建一个名为 Dockerfile 的新文件:

  1. FROM fedora:28
  2.  
  3. # File Author / Maintainer
  4. MAINTAINER Sven Boesiger <donotspam@ujelang.com>
  5.  
  6. # Update the sources
  7. RUN dnf -y update --refresh
  8.  
  9. # Install additional dependencies
  10. RUN dnf -y install libstdc++
  11.  
  12. RUN dnf -y autoremove
  13.  
  14. # Copy the application folder inside the container
  15. ADD /titanic_tf_ml_model /titanic_tf_ml_model
  16.  
  17. # Get pip to download and install requirements:
  18. RUN pip3 install -r /titanic_tf_ml_model/requirements.txt
  19.  
  20. # Expose ports
  21. EXPOSE 5000
  22.  
  23. # Set the default directory where CMD will execute
  24. WORKDIR /titanic_tf_ml_model
  25.  
  26. # Set the default command to execute
  27. # when creating a new container
  28. CMD python3 server.py

接下来,使用以下命令构建容器镜像:

  1. podman build -t ml_deployment .

运行容器

随着容器镜像的构建和准备就绪,你可以使用以下命令在本地运行它:

  1. podman run -p 5000:5000 ml_deployment

在 Web 浏览器中输入 https://0.0.0.0:5000/ui 访问 Swagger/Connexion UI 并测试模型:

当然,你现在也可以在应用中通过 REST API 访问模型。

机器学习 TensorFlow 容器
上一篇:AI技术年度报告 中国两个方面表现瞩目 下一篇:百度大脑行业创新论坛北京收官 解码AI语境下的智能政务
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器人过程自动化的10个秘密

RPA(机器人过程自动化)承诺简化工作流程,将遗留系统粘合在一起,并授权业务用户解决自己的问题。但是,在大赢家的潜伏之下,潜伏着值得解决的问题。

佚名 ·  1天前
人工智能也会中毒,那人脸支付还安全吗?

机器学习系统在训练阶段,建立起一套复杂的数学计算,将输入数据与结果联系起来,它们非常擅长特定的任务,在某些情况下,甚至可以超越人类。

佚名 ·  1天前
北大、字节跳动等利用增量学习提出超像素分割模型LNSNet

图像分割是计算机视觉的基本任务之一,在自动驾驶、安防安保、智能诊疗等任务中都有着重要应用。

朱磊、佘琪 ·  1天前
MIT博士毕业,「太极」作者胡渊鸣回国创业,专注图形编程

今年 3 月完成博士学业后,胡渊鸣选择回国创业,成立了太极图形 (Taichi Graphics)公司,自己担任联合创始人兼 CEO。

杜伟 ·  1天前
我们可以将最佳实践抽象为实际的设计模式吗?机器学习

人工智能专家老吕 ·  2天前
开闸蓄水,企业机器学习井喷

机器学习(ML)正在推动人工智能(AI)应用爆炸式增长,帮助软件理解不确定和不可预测的现实世界。那么在企业服务领域,当前的机器学习繁荣靠的是什么?未来又将在哪些方面发挥更多的作用?

赵满满 ·  2天前
机器学习的5个常见痛点及解决方法

机器学习对于人类来说是有益的技术。尽管机器学习仍有一些内容需要重新审视和研究,但不可否认,它使人们的工作和生活变得更好。虽然机器学习的概念很难理解,但随着时间的推移,专家可以用一种更简单的方式表达。

HERO ·  2天前
数据能否为当今的企业建立竞争优势?

对于世界各地的企业来说,数据是一个巨大的竞争优势和增长源泉。

Cassie ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载