创建一个容器化的机器学习模型
数据科学家在创建机器学习模型后,必须将其部署到生产中。要在不同的基础架构上运行它,使用容器并通过 REST API 公开模型是部署机器学习模型的常用方法。本文演示了如何在 Podman 容器中使用 Connexion 推出使用 REST API 的 TensorFlow 机器学习模型。
准备
首先,使用以下命令安装 Podman:
sudo dnf -y install podman
接下来,为容器创建一个新文件夹并切换到该目录。
mkdir deployment_container && cd deployment_container
TensorFlow 模型的 REST API
下一步是为机器学习模型创建 REST API。这个 github 仓库包含一个预训练模型,以及能让 REST API 工作的设置。
使用以下命令在 deployment_container
目录中克隆它:
git clone https://github.com/svenboesiger/titanic_tf_ml_model.git
prediction.py 和 ml_model/
prediction.py 能进行 Tensorflow 预测,而 20x20x20 神经网络的权重位于文件夹 ml_model/ 中。
swagger.yaml
swagger.yaml 使用 Swagger规范 定义 Connexion 库的 API。此文件包含让你的服务器提供输入参数验证、输出响应数据验证、URL 端点定义所需的所有信息。
额外地,Connexion 还将给你提供一个简单但有用的单页 Web 应用,它演示了如何使用 Javascript 调用 API 和更新 DOM。
swagger: "2.0"
info:
description: This is the swagger file that goes with our server code
version: "1.0.0"
title: Tensorflow Podman Article
consumes:
- "application/json"
produces:
- "application/json"
basePath: "/"
paths:
/survival_probability:
post:
operationId: "prediction.post"
tags:
- "Prediction"
summary: "The prediction data structure provided by the server application"
description: "Retrieve the chance of surviving the titanic disaster"
parameters:
- in: body
name: passenger
required: true
schema:
$ref: '#/definitions/PredictionPost'
responses:
'201':
description: 'Survival probability of an individual Titanic passenger'
definitions:
PredictionPost:
type: object
server.py 和 requirements.txt
server.py 定义了启动 Connexion 服务器的入口点。
import connexion
app = connexion.App(__name__, specification_dir='./')
app.add_api('swagger.yaml')
if __name__ == '__main__':
app.run(debug=True)
requirements.txt 定义了运行程序所需的 python 包。
connexion
tensorflow
pandas
容器化!
为了让 Podman 构建映像,请在上面的准备步骤中创建的 deployment_container
目录中创建一个名为 Dockerfile
的新文件:
FROM fedora:28
# File Author / Maintainer
MAINTAINER Sven Boesiger <donotspam@ujelang.com>
# Update the sources
RUN dnf -y update --refresh
# Install additional dependencies
RUN dnf -y install libstdc++
RUN dnf -y autoremove
# Copy the application folder inside the container
ADD /titanic_tf_ml_model /titanic_tf_ml_model
# Get pip to download and install requirements:
RUN pip3 install -r /titanic_tf_ml_model/requirements.txt
# Expose ports
EXPOSE 5000
# Set the default directory where CMD will execute
WORKDIR /titanic_tf_ml_model
# Set the default command to execute
# when creating a new container
CMD python3 server.py
接下来,使用以下命令构建容器镜像:
podman build -t ml_deployment .
运行容器
随着容器镜像的构建和准备就绪,你可以使用以下命令在本地运行它:
podman run -p 5000:5000 ml_deployment
在 Web 浏览器中输入 https://0.0.0.0:5000/ui 访问 Swagger/Connexion UI 并测试模型:
当然,你现在也可以在应用中通过 REST API 访问模型。


更多资讯推荐
- 机器人过程自动化的10个秘密
-
RPA(机器人过程自动化)承诺简化工作流程,将遗留系统粘合在一起,并授权业务用户解决自己的问题。但是,在大赢家的潜伏之下,潜伏着值得解决的问题。
佚名 · 1天前
- 人工智能也会中毒,那人脸支付还安全吗?
-
机器学习系统在训练阶段,建立起一套复杂的数学计算,将输入数据与结果联系起来,它们非常擅长特定的任务,在某些情况下,甚至可以超越人类。
佚名 · 1天前
- 北大、字节跳动等利用增量学习提出超像素分割模型LNSNet
-
图像分割是计算机视觉的基本任务之一,在自动驾驶、安防安保、智能诊疗等任务中都有着重要应用。
朱磊、佘琪 · 1天前
- MIT博士毕业,「太极」作者胡渊鸣回国创业,专注图形编程
-
今年 3 月完成博士学业后,胡渊鸣选择回国创业,成立了太极图形 (Taichi Graphics)公司,自己担任联合创始人兼 CEO。
杜伟 · 1天前
- 我们可以将最佳实践抽象为实际的设计模式吗?机器学习
-
人工智能专家老吕 · 2天前
- 开闸蓄水,企业机器学习井喷
-
机器学习(ML)正在推动人工智能(AI)应用爆炸式增长,帮助软件理解不确定和不可预测的现实世界。那么在企业服务领域,当前的机器学习繁荣靠的是什么?未来又将在哪些方面发挥更多的作用?
赵满满 · 2天前
- 机器学习的5个常见痛点及解决方法
-
机器学习对于人类来说是有益的技术。尽管机器学习仍有一些内容需要重新审视和研究,但不可否认,它使人们的工作和生活变得更好。虽然机器学习的概念很难理解,但随着时间的推移,专家可以用一种更简单的方式表达。
HERO · 2天前
- 数据能否为当今的企业建立竞争优势?
-
对于世界各地的企业来说,数据是一个巨大的竞争优势和增长源泉。
Cassie · 2天前