GitHub热门项目:生产级深度学习项目如何构建?

作者: Alireza 2019-12-05 09:50:54

 在生产中部署深度学习模型可能很有挑战性,因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统,还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南,用于构建将部署在实际应用程序中的生产级深度学习系统。

在这篇文章中,我们将详细介绍生产级深度学习系统的各个模块,并推荐适合每个组件的工具集和框架,以及实践者提供的最佳实践。

GitHub热门项目:生产级深度学习项目如何构建?

GitHub热门项目:生产级深度学习项目如何构建?

1. 数据管理

1.1. 数据源

开源数据 (好的开端,但并非优势)、数据增强以及合成数据

1.2. 标注

标注的劳动力来源:

  • 众包
  • 服务公司:FigureEight
  • 雇佣标注员

标注平台:

  • Prodigy:一种由主动学习(active learning)(由 Spacy 开发人员开发)、文本和图像支持的注释工具。
  • HIVE:用于计算机视觉的人工智能即服务平台。
  • Supervisely:完整的计算机视觉平台。
  • Labelbox:计算机视觉。
  • Scale 人工智能数据平台(计算机视觉和自然语言处理)。

1.3. 存储

数据存储选项:

(1) 对象存储:存储二进制数据(图像、声音文件、压缩文本)

  • Aamzon S3
  • Ceph 对象存储

(2) 数据库:存储元数据(文件路径、标签、用户活动等)。

  • Postgres 对于大多数应用程序来说都是正确的选择,它提供了同类最佳的 SQL 和对非结构化 JSON 的强大支持。

(3) 数据湖:用于聚合无法从数据库获得的特征(例如日志)。

  • Amazon Redshift

(4) 特征存储:机器学习特征的存储和访问。

  • FEAST(Google 云,开源)
  • Michelangelo(Uber)
  • 在训练期间:将数据复制到本地或集群文件系统中。

1.4. 版本控制

  • DVC:用于机器学习项目的开源版本控制系统
  • Pachyderm:用于数据的版本控制
  • Dolt:用于 SQL 数据库的版本控制

1.5. 处理

生产模型的训练数据可能来自不同的源,包括数据库和对象存储中的存储数据、日志处理和其他分类器的输出。

任务之间存在依赖关系,每个人物都需要在其依赖关系完成后才能启动。例如,对新的日志数据进行训练,需要在训练之前进行预处理。因此,工作流在这方面变得相当重要。

工作流:

  • Airflow (最常用的)

GitHub热门项目:生产级深度学习项目如何构建?

2. 开发、训练与评估

2.1. 软件工程

编辑器:

  • Vim
  • Emacs
  • VS Code(作者推荐):内置 Git 暂存和显示文件差异、Lint 代码扫描、通过 SSH 远程打开项目。
  • Jupyter Notebooks:作为项目的起点很好,但它难以实现规模化。
  • Streamlit:具有小程序的交互式数据科学工具。

建议:

对于个人或初创企业:

  • 开发:一台 4 核图灵架构的计算机。
  • 训练 / 评估:使用相同的 4 核 GPU 计算机。在运行许多实验时,可以购买共享服务器或使用云实例。

对于大型公司:

  • 开发:为每位机器学习科学家购买一台 4 核图灵架构计算机,或者让他们使用 V100 实例。
  • 训练 / 评估:在正确配置和处理故障的情况下使用云实例。

2.2. 资源管理

为程序分配免费资源:

资源管理选项:

  • 旧式集群作业调度程序(如,Slurm 工作负载管理器)
  • Docker + Kubernetes
  • Kubeflow
  • Polyaxon(付费功能)

2.3. 深度学习框架

除非有充分的理由不这样做,否则请使用 TensorFlow/Keras 或 PyTorch。下图显示了不同框架在开发和 生产方面的比较。

GitHub热门项目:生产级深度学习项目如何构建?

2.4. 实验管理

开发、训练和评估策略:永远从简单开始。在小批量上训练一个小型模型,只有在它能起作用的情况下,才扩展到更大的数据和模型,并进行超参数调优。

实验管理工具:

  • Tensorboard:提供了机器学习实验所需的可视化和工具。
  • Losswise(用于机器学习的监控)
  • Comet:让你可以跟踪机器学习项目上的代码、实验和结果。
  • Weights & Biases:通过简单的协作,记录并可视化研究的每个细节。
  • MLFlow Tracking:用于记录参数、代码版本、指标和输出文件,以及结果的可视化。

2.5. 超参数调优

Hyperas:用于 Keras 的 hyperopt 的简单包装器,使用简单的模板符号定义要调优的超参数范围。SIGOPT:可扩展的企业级优化平台。Ray-Tune:可扩展的分布式模型选择研究平台(专注于深度学习和深度强化学习)。Sweeps from Weights & Biases:参数并非由开发人员显式指定,而是由机器学习模型来近似和学习的。

2.6. 分布式训练

数据并行性:当迭代时间过长就使用它(TensorFlow 和 PyTorch 均支持)。

模型并行性:当模型不适合单 GPU 的情况下就是用它。

其他解决方案:

  • Ray
  • Horovod

3. 故障排除『有待完善』

4. 测试与部署

4.1. 测试与 CI/CD

与传统软件相比,机器学习生产软件需要更多样化的测试套件:

GitHub热门项目:生产级深度学习项目如何构建?

单元测试和集成测试

测试类型:

  • 训练系统测试:测试训练管道。
  • 验证测试:在验证集上测试预测系统。
  • 功能测试。
  • 持续集成:在将每个新代码更改推送到仓库后运行测试。

 用于持续集成的 SaaS:

  • CircleCI、Travis
  • Jenkins、Buildkite

4.2. 网络部署

(1)由 预测系统 和 服务系统 组成

  • 在考虑规模的情况下为预测服务。
  • 使用 REST API 为预测 HTTP 请求提供服务。
  • 调用预测系统进行响应
  • 预测系统:处理输入数据,进行预测。
  • 服务系统(Web 服务器):

(2)服务选项:

  • Docker
  • Kubernetes (现在最流行)
  • MESOS
  • Marathon
  • 通过 模型服务 解决方案部署。
  • 将代码部署为“无服务器函数”。

(3)模型服务:

  • Tensorflow 服务
  • MXNet Model 服务器
  • Clipper (Berkeley)
  • SaaS 解决方案 (Seldon,算法)
  • 专门针对机器学习模型的网络部署。
  • 用于 GPU 推理的批处理请求。
  • 框架:Tensorflow 服务、MXNet Model 服务器、Clipper、SaaS 解决方案 (Seldon,算法)

(4)决策:

  • TensorFlow 服务或 Clipper
  • 自适应批处理很有用。
  • 如果 CPU 推理满足要求,则更可取。
  • 通过添加更多的服务器或无服务器进行扩展。
  • CPU 推理:
  • GPU 推理:

4.3 Service Mesh 和 Traffic Routing

从单片应用程序过渡到分布式微服务体系结构可能具有挑战性。

服务网格(由微服务网络组成)降低了此类部署的复杂性,并减轻了开发团队的压力。

Istio:一种服务网格技术,简化已部署服务网络的创建,而服务中的代码更改很少或没有。

4.4. 监控

目的:

  • 针对停机时间、错误和分发变化的警报。
  • 抓取服务和数据回归。

此外,云提供商的解决方案也是相当不错。

GitHub热门项目:生产级深度学习项目如何构建?

4.5. 在嵌入式和移动设备上部署

主要挑战:内存占用和计算限制

解决方案:

  • DistillBERT (用于自然语言处理)
  • MobileNets
  • 量化
  • 缩小模型尺寸
  • 知识蒸馏

嵌入式和移动框架:

  • Tensorflow Lite
  • PyTorch Mobile
  • Core ML
  • ML Kit
  • FRITZ
  • OpenVINO

模型转换:

  • 开放神经网络交换(Open Neural Network Exchange,ONNX):用于深度学习模型的开源格式。

4.6. 一体化解决方案

  • Tensorflow Extended (TFX)
  • Michelangelo (Uber)
  • Google Cloud AI Platform
  • Amazon SageMaker
  • Neptune
  • FLOYD
  • Paperspace
  • Determined AI
  • Domino data lab

GitHub热门项目:生产级深度学习项目如何构建?

Tensorflow Extended (TFX)

GitHub热门项目:生产级深度学习项目如何构建?

Airflow and KubeFlow ML Pipelines

GitHub热门项目:生产级深度学习项目如何构建?

GitHub 技术 深度学习
上一篇:AI公司成人礼:自由撞上996,技术理想撞上落地战争 下一篇:你的孩子被“刷脸”了吗?人脸识别进入校园引争议
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

一个案例掌握深度学习

近期我们将连载一个深度学习专题,由百度深度学习技术平台部主任架构师毕然分享,让你快速入门深度学习,参与到人工智能浪潮中。

佚名 ·  2020-02-12 17:10:54
20条理由告诉你,为什么当前的深度学习成了人工智能的死胡同?

在深度学习刚刚进入视线时,大多数AI研究人员嗤之以鼻,但短短几年后,它的触角已经横跨医疗、教育、汽车等众多领域。

AI科技评论 ·  2020-02-10 13:36:30
2020,人工智能和深度学习未来的五大趋势

虽然近年来人工智能经常成为热门议题,但它还远未实现真正的成就。人工智能技术发展的主要障碍在于投资成本,投资成本影响短期内的回报。而当时机成熟时,投资AI的公司却可以获得巨大的回报。在最近的一份报告中,麦肯锡预测人工智能领头企业未来将会实现现金流翻倍。

CSDN App ·  2020-02-09 17:27:29
深度学习火了那么多年,到底怎么搞?使用Numpy快速入门

近期我们将连载一个深度学习专题,由百度深度学习技术平台部主任架构师毕然分享,让你快速入门深度学习,参与到人工智能浪潮中。

佚名 ·  2020-02-05 11:25:29
请别再把深度学习与机器学习混为一谈了!

虽说机器学习和深度学习都能发现数据中的模式与特征,但是它们所涉及到的技术和具体的应用场景却截然不同。

陈峻 ·  2020-02-05 09:00:00
OpenAI全面拥抱PyTorch,TensorFlow:我哪里比不上它?

TensorFlow 和 PyTorch 框架之争由来已久,近日的一则新闻让 PyTorch 阵营「更添一员大将」。

一鸣 ·  2020-02-03 09:20:43
构建生产机器学习系统的一些考虑

这篇文章介绍了为生产系统构建机器学习过程的很多方面的内容,都是从实践中总结出来的。

AI公园 ·  2020-02-03 09:09:23
联觉,一个鼓舞AI工作者的必要条件

著名作曲家史蒂芬·施瓦茨(Stephen Schwartz)在琴键上看到了色彩,传奇歌手多莉·艾莫丝(Tori Amos)说自己的歌曲是光怪陆离的图像,法国诗人阿瑟.里姆堡德(Arthur Rimbaud)将颜色与元音联系在一起。这些人都有联觉——一种感觉混合的状态。

读芯术 ·  2020-02-02 16:58:14
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载