华为发布Volcano开源项目,让AI算力像火山一样迸发

作者: 佚名 2019-07-04 08:50:04

  Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

  • 机器学习/深度学习
  • 生物信息学/基因组学
  • 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

  1、作业管理的扩展和改进,如:

  • Multi-pod 作业
  • 生命周期管理扩展,包括挂起、恢复和重启
  • 提升错误处理
  • 作业的索引
  • 任务依赖

2、调度扩展

  • 联合调度
  • 公平调度
  • 队列调度
  • 抢先和收回
  • 预订和回填
  • 基于拓扑逻辑的调度

3、运行时扩展

  • 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能

4、其他

  • 数据局部感知和智能调度
  • 优化数据吞吐量,往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的***创意和实践。

开源 技术 趋势
上一篇:百度地图80%数据采集环节实现AI化 出行产业智能化升级 下一篇:细数机器学习在金融领域的七大应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

阿里开源MNNKit:基于MNN的移动端深度学习SDK,支持安卓和iOS

近日,阿里开源了基于 MNN 引擎的项目 MNNKit,面向安卓和 iOS,以 SDK 的方式提供 AI 端侧推理能力。开发者不需要了解算法细节就可以直接使用。

一鸣、Jamin ·  2020-01-23 15:08:02
Google 开源最新 NLP 模型,能处理整本《罪与罚》

Transformer 可谓是近年 NLP 领域关注度颇高的模型之一。近日,Google 又推出了 Transformer 的“升级版”——Reformer。

Rachel ·  2020-01-18 14:50:13
AI芯片2019年的六大关键词和2020年的四大趋势

AI芯片市场的竞争变得更加激烈,但大都面临落地难题。回顾2019年的AI芯片发展,6个关键词贯穿其中。展望2020年的AI芯片市场,4大趋势不容忽视。

包永刚 ·  2020-01-06 09:40:22
2020年最值得关注的四种企业AR趋势 精选

尽管 AR 技术在消费者领域的表现不尽如人意,但这并没有阻挡企业界对它的喜爱。在经历了几年的缓慢增长之后,企业增强现实(AR)似乎有望在 2020 年实现令人印象深刻的飞跃。

肖漫 ·  2019-12-29 23:55:57
微软年度研究大盘点:ML突破将到来,人机交互更真实,惜别沈向洋 精选

随着岁末钟声的临近,微软研究院回顾了这一年来在人工智能领域中的工作。

十三 ·  2019-12-26 09:52:47
有这5款开源软件,语音转文字很简单!

语音文字转换(STT)系统,一种能够将语音单词转换成文本的方法,用途十分广泛,比如我们经常在用的微信聊天中语音转文字功能。

猿妹 ·  2019-12-13 09:48:48
谷歌15个人工智能开源免费项目!开发者:懂了 精选

今天说的是来自科技“大厂”Google发布的一些涉及到机器学习、深度学习、神经网络等优质的人工智能开源项目,精心挑选了一部分推荐给大家学习。下面就来看一看。

钛灵Tiorb ·  2019-11-22 23:52:15
\"狗屁不通文章生成器\"登顶GitHub热榜,一键生成万字形式主义大作 精选

GitHub上,这个富有灵魂的项目名吸引了众人的目光。项目诞生一周,便冲上了趋势榜榜首。

栗子 鱼羊 ·  2019-11-13 14:15:00
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载