华为发布Volcano开源项目,让AI算力像火山一样迸发

作者: 佚名 2019-07-04 08:50:04

  Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

  • 机器学习/深度学习
  • 生物信息学/基因组学
  • 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

  1、作业管理的扩展和改进,如:

  • Multi-pod 作业
  • 生命周期管理扩展,包括挂起、恢复和重启
  • 提升错误处理
  • 作业的索引
  • 任务依赖

2、调度扩展

  • 联合调度
  • 公平调度
  • 队列调度
  • 抢先和收回
  • 预订和回填
  • 基于拓扑逻辑的调度

3、运行时扩展

  • 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能

4、其他

  • 数据局部感知和智能调度
  • 优化数据吞吐量,往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的***创意和实践。

开源 技术 趋势
上一篇:百度地图80%数据采集环节实现AI化 出行产业智能化升级 下一篇:细数机器学习在金融领域的七大应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

美国持续封锁,华为的技术自研,已经深入到了AI底层算法层面上,并开始将研究成果面向业界开源。

乾明 金磊 ·  2020-05-20 10:25:43
Facebook 开源聊天机器人 Blender,号称全球最强

Facebook AI 和机器学习部门 FAIR 发布博客宣布,经过多年研究,其已经构建和开源了一个新的聊天机器人 Blender。

白开水不加糖 ·  2020-05-06 08:46:53
100倍加速!深度学习训练神器Determined AI宣布开源!更快,更简单,更强大

作为一名深度学习科研人员,小编我可是深受模型训练的困扰:一个模型要跑几天几夜,结果最后发现有一步错了 ...从头再来

科雨、白峰 ·  2020-05-03 13:52:27
「英伟达呼吸机」开源:计算机架构大师打造,成本暴减98%,黄仁勋点赞

计算机先驱们也加入了抗击新冠的行列:英伟达首席科学家 Bill Dally 本周宣布了一款开源低成本机械呼吸机设计。

佚名 ·  2020-05-02 18:49:35
15亿语料训练的94亿参数大模型更懂我?Facebook开源全球超强聊天机器人Blender

尽管聊天机器人和虚拟助手已经取得了很大的进步,但市面上的聊天机器人大多数是以任务为导向的。从零售业到医疗保健到金融服务等各个领域都有专门的产品,在一些领域垂直的任务中表现尚可。

鹏飞,白峰 ·  2020-04-30 13:30:30
让梦露和龙妈学着你说话,只需一张静态图和一个视频

想让名人学着你说话,怎么办?很简单,只要一张名人的照片,配上你说话的视频,分分钟就能搞定。

十三 ·  2020-04-28 10:32:37
这家中国AI创业公司拿下顶会竞赛冠军,代码已经开源

人工智能顶会NeurIPS举办的AutoDL 2019-2020系列竞赛落幕,来自中国的AI创业公司,斩获冠亚军。

乾明 ·  2020-04-20 10:08:22
“我为什么反对AI论文强制开源代码”

NeurIPS 2020官方近日发布了一份开源指南。从2019开始,NeurIPS就“强烈建议”提交论文代码,不过仍非强制。

晓查 ·  2020-04-13 13:56:07
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载