创建一个容器化的机器学习模型

作者: Sven Bösiger 2018-12-17 09:10:52

https://s1.51cto.com/oss/201812/17/36bbe53ebdfa1b1c0f60a3cc74cef798.jpg

数据科学家在创建机器学习模型后,必须将其部署到生产中。要在不同的基础架构上运行它,使用容器并通过 REST API 公开模型是部署机器学习模型的常用方法。本文演示了如何在 Podman 容器中使用 Connexion 推出使用 REST API 的 TensorFlow 机器学习模型。

准备

首先,使用以下命令安装 Podman:

  1. sudo dnf -y install podman

接下来,为容器创建一个新文件夹并切换到该目录。

  1. mkdir deployment_container && cd deployment_container

TensorFlow 模型的 REST API

下一步是为机器学习模型创建 REST API。这个 github 仓库包含一个预训练模型,以及能让 REST API 工作的设置。

使用以下命令在 deployment_container 目录中克隆它:

  1. git clone https://github.com/svenboesiger/titanic_tf_ml_model.git

prediction.py 和 ml_model/

prediction.py 能进行 Tensorflow 预测,而 20x20x20 神经网络的权重位于文件夹 ml_model/ 中。

swagger.yaml

swagger.yaml 使用 Swagger规范 定义 Connexion 库的 API。此文件包含让你的服务器提供输入参数验证、输出响应数据验证、URL 端点定义所需的所有信息。

额外地,Connexion 还将给你提供一个简单但有用的单页 Web 应用,它演示了如何使用 Javascript 调用 API 和更新 DOM。

  1. swagger: "2.0"
  2. info:
  3. description: This is the swagger file that goes with our server code
  4. version: "1.0.0"
  5. title: Tensorflow Podman Article
  6. consumes:
  7. - "application/json"
  8. produces:
  9. - "application/json"
  10.  
  11.  
  12. basePath: "/"
  13.  
  14. paths:
  15. /survival_probability:
  16. post:
  17. operationId: "prediction.post"
  18. tags:
  19. - "Prediction"
  20. summary: "The prediction data structure provided by the server application"
  21. description: "Retrieve the chance of surviving the titanic disaster"
  22. parameters:
  23. - in: body
  24. name: passenger
  25. required: true
  26. schema:
  27. $ref: '#/definitions/PredictionPost'
  28. responses:
  29. '201':
  30. description: 'Survival probability of an individual Titanic passenger'
  31.  
  32. definitions:
  33. PredictionPost:
  34. type: object

server.py 和 requirements.txt

server.py 定义了启动 Connexion 服务器的入口点。

  1. import connexion
  2.  
  3. app = connexion.App(__name__, specification_dir='./')
  4.  
  5. app.add_api('swagger.yaml')
  6.  
  7. if __name__ == '__main__':
  8. app.run(debug=True)

requirements.txt 定义了运行程序所需的 python 包。

  1. connexion
  2. tensorflow
  3. pandas

容器化!

为了让 Podman 构建映像,请在上面的准备步骤中创建的 deployment_container 目录中创建一个名为 Dockerfile 的新文件:

  1. FROM fedora:28
  2.  
  3. # File Author / Maintainer
  4. MAINTAINER Sven Boesiger <donotspam@ujelang.com>
  5.  
  6. # Update the sources
  7. RUN dnf -y update --refresh
  8.  
  9. # Install additional dependencies
  10. RUN dnf -y install libstdc++
  11.  
  12. RUN dnf -y autoremove
  13.  
  14. # Copy the application folder inside the container
  15. ADD /titanic_tf_ml_model /titanic_tf_ml_model
  16.  
  17. # Get pip to download and install requirements:
  18. RUN pip3 install -r /titanic_tf_ml_model/requirements.txt
  19.  
  20. # Expose ports
  21. EXPOSE 5000
  22.  
  23. # Set the default directory where CMD will execute
  24. WORKDIR /titanic_tf_ml_model
  25.  
  26. # Set the default command to execute
  27. # when creating a new container
  28. CMD python3 server.py

接下来,使用以下命令构建容器镜像:

  1. podman build -t ml_deployment .

运行容器

随着容器镜像的构建和准备就绪,你可以使用以下命令在本地运行它:

  1. podman run -p 5000:5000 ml_deployment

在 Web 浏览器中输入 https://0.0.0.0:5000/ui 访问 Swagger/Connexion UI 并测试模型:

当然,你现在也可以在应用中通过 REST API 访问模型。

机器学习 TensorFlow 容器
上一篇:AI技术年度报告 中国两个方面表现瞩目 下一篇:百度大脑行业创新论坛北京收官 解码AI语境下的智能政务
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
打破“维度的诅咒”,机器学习降维方法好

机器学习算法因为能够从具有许多特征的数据集中找出相关信息而大火,这些数据集往往包括了几十行的表格或者数百万像素的图像。

水木番 ·  2021-05-31 09:41:17
工业界中的机器学习是什么样子的

本文结合作者十余年的工业界经历,从工业界的视角来尝试给些思考和总结,欢迎大家批评讨论。

龙星镖局 ·  2021-05-31 09:26:01
最喜欢随机森林?TensorFlow开源决策森林库TF-DF

近日,TensorFlow 开源了 TensorFlow 决策森林 (TF-DF)。TF-DF 是用于训练、服务和解释决策森林模型(包括随机森林和梯度增强树)生产方面的 SOTA 算法集合。

机器之心 ·  2021-05-28 17:18:44
人工智能、机器学习和物联网等技术改善健康的7种方式

尽管老生常谈,但我们还是要说:让我们不健康的不是技术,而是我们的生活习惯,事实上,技术可以让我们变得更健康。

佚名 ·  2021-05-28 11:42:58
利用AI识别城市建筑物特征,预测其面对地震等灾难时的风险

本文介绍了美国国家科学基金会开发的可自动识别城市建筑的特征、检测城市建筑在地震、飓风或海啸中可能面临风险的大规模人工智能建筑识别工具。

佚名 ·  2021-05-28 10:52:09
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载