华为发布Volcano开源项目,让AI算力像火山一样迸发

作者: 佚名 2019-07-04 08:50:04

  Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

  • 机器学习/深度学习
  • 生物信息学/基因组学
  • 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

  1、作业管理的扩展和改进,如:

  • Multi-pod 作业
  • 生命周期管理扩展,包括挂起、恢复和重启
  • 提升错误处理
  • 作业的索引
  • 任务依赖

2、调度扩展

  • 联合调度
  • 公平调度
  • 队列调度
  • 抢先和收回
  • 预订和回填
  • 基于拓扑逻辑的调度

3、运行时扩展

  • 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能

4、其他

  • 数据局部感知和智能调度
  • 优化数据吞吐量,往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的***创意和实践。

开源 技术 趋势
上一篇:百度地图80%数据采集环节实现AI化 出行产业智能化升级 下一篇:细数机器学习在金融领域的七大应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

刷题太遭罪怎么办?这个算法基地专为小白量身打造,还带动画

学习算法可能并不只是拼智商,可以通过后天的学习进行掌握,这就需要讲究技巧。方法找对了,可以起到事半功倍的效果。

机器之心 ·  2021-03-25 16:32:24
多所名校联合Adobe,用这项开源算法「透视」了一封300多年前的信

最近,一项技术帮助历史学家们解决了这一难题——科学家们首次在不打开、不破坏信件的前提下“阅读”了封印的古老信件。

付静 ·  2021-03-09 09:57:33
她因重仓马斯克和比特币封神!现在分享了十大2021技术趋势

她,凯瑟琳·伍德(Catherine Wood),因为连续押中特斯拉、Zoom、比特币等被封为“牛市女皇”。

杨净 ·  2021-01-28 15:31:02
京东开源人脸识别工具包:覆盖最强模型,支持训练跑分

近年来,基于深度学习的人脸识别技术取得了重要进展。但是人脸识别模型的实际部署和深入研究都需要相应的公众支持。

泽南 ·  2021-01-25 21:01:42
如何通过开源协作推进人工智能的发展

人工智能如今成为行业组织炒作和宣传的术语之一,也有人提出一些问题:其潜力到底有多大?它会增强人类的地位还是使人类不再具有竞争力?真的具有革命性意义吗?

Rui Vasconcelos ·  2021-01-22 10:41:40
2020年十大趋势机器学习项目

我们处于2021年初,在过去的一年中,机器学习社区发生了很多事情。不用浪费时间,这里是最流行,趋势最明显的开源研究项目,演示和原型的导览。从照片编辑到NLP,再到带有"无代码"的训练模型,我希望它们能激发您开发出令人难以置信的AI驱动产品。

闻数起舞 ·  2021-01-17 23:03:15
15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的研究者推出了一个全新的模拟环境 iGibson,从而可以为大型真实场景中的交互任务开发机器人解决方案。

沈博魁、夏斐、李承澍、Roberto Martín-Martín ·  2020-12-11 08:54:40
美国开发全新开源AI算法:马赛克美女自动还原

看到模糊的照片,是不是有还原真实面目的冲动?以前的技术做不到,在AI时代一切皆有可能。美国杜克大学开发的AI算法就可以做到马赛克图片变高清。

宪瑞 ·  2020-12-02 15:07:23
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载