华为发布Volcano开源项目,让AI算力像火山一样迸发

作者: 佚名 2019-07-04 08:50:04

  Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

  • 机器学习/深度学习
  • 生物信息学/基因组学
  • 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

  1、作业管理的扩展和改进,如:

  • Multi-pod 作业
  • 生命周期管理扩展,包括挂起、恢复和重启
  • 提升错误处理
  • 作业的索引
  • 任务依赖

2、调度扩展

  • 联合调度
  • 公平调度
  • 队列调度
  • 抢先和收回
  • 预订和回填
  • 基于拓扑逻辑的调度

3、运行时扩展

  • 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能

4、其他

  • 数据局部感知和智能调度
  • 优化数据吞吐量,往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的***创意和实践。

开源 技术 趋势
上一篇:百度地图80%数据采集环节实现AI化 出行产业智能化升级 下一篇:细数机器学习在金融领域的七大应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时

又一个AI框架迎来升级。这次,是纽约大学、亚马逊联手推出图神经网络框架DGL。

乾明 ·  22h前
将sklearn训练速度提升100多倍,美国「返利网」开源sk-dist框架

在本文中,Ibotta(美国版「返利网」)机器学习和数据科学经理 Evan Harris 介绍了他们的开源项目 sk-dist。

机器之心 ·  2019-09-26 14:16:21
DeepMind一次性开源3个新框架!深度强化学习应用落地即将迎来春天?

深度强化学习(Deep Reinforcement Learning,DRL)一直是近年来人工智能的一些重大突破的核心。然而,尽管 DRL 有了很大的进步,但由于缺乏工具和库,DRL 方法在主流解决方案中仍然难以应用。

杨鲤萍 ·  2019-09-20 09:38:18
五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

今日,谷歌 TensorFlow 宣布推出神经结构学习(NSL)开源框架,它使用神经图学习方法来训练带有图和结构化数据的神经网络。

一鸣、李亚洲 ·  2019-09-04 15:07:15
Uber 开源研究对话系统 Plato,用于开发和训练会话 AI

Uber AI(Uber 的人工智能研究部门)开发并且开源了柏拉图( Plato )研究对话系统。

xplanet ·  2019-07-17 16:30:35
视频PS神器!人物隐身、水印去除,这项登上CVPR的研究刚刚开源了

现在,一项CVPR 2019上的研究,背后的AI,是名叫光流引导 (Flow-Guided) 的视频修复算法。它主要来自商汤港中大联合实验室和商汤南洋理工联合实验室,有周博磊大神参与,中选了CVPR 2019。

鬼栗子 郭一璞 ·  2019-07-16 08:09:32
Facebook 开源深度学习推荐模型 DLRM

Facebook 宣布推出深度学习推荐模型(DLRM)的开源版本,这是一种最先进的个性化推荐 AI 模型,并且可用于生产环境中。

xplanet ·  2019-07-03 23:11:05
5 款不错的开源语音识别/语音文字转换系统

语音文字转换(speech-to-text)(STT)系统就像它名字所蕴含的意思那样,是一种将说出的单词转换为文本文件以供后续用途的方式。

LCTT ·  2019-06-24 09:30:00
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载