开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时

作者: 乾明 2019-10-16 15:40:27

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

又一个AI框架迎来升级。

这次,是纽约大学、亚马逊联手推出图神经网络框架DGL

开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时

不仅全面上线了对异构图的支持,复现并开源了相关异构图神经网络的代码,在GCMC、RCGN等业内知名的模型实现上,取得更好效果。

还发布了训练知识图谱嵌入(Knowledge Graph Embedding)专用包DGL-KE,在许多经典的图嵌入模型上都获得了性能提升。

目前,这个在2018年NeurIPS大会上发布的框架,已经获得了3000+标星,已经是图神经网络和图机器学习领域较受关注的工具。

异构图:神经网络的新方向

异构图是一个与同构图相对应的新概念。

传统同构图(Homogeneous Graph)数据中只存在一种节点和边,因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。

而异构图(Heterogeneous Graph)中可以存在不只一种节点和边,因此允许不同类型的节点拥有不同维度的特征或属性。

这一特点使得异构图的应用十分广泛,如果用图来描述我们和周围事物的关系就会发现所产生的图都是天然异构的,比如这个例子:

我今天看了电影《流浪地球》,那“我”作为观众和电影《流浪地球》之间就建立了“看了”这一关系。

异构图可以用来描述这种交互关系的集合。这个图分“观众”和“电影”两类节点,以及“看了”这一类边。

“我”作为观众,和电影所具有的属性一定是不同的,需要用不同的模型或者不同的特征维度来表达。

所以说,这张图就天然具有了异构性。而且,基于异构图训练的神经网络与传统方法相比,在一些场景中,也能够获得更好的效果与表现。

现在已经被应用到了知识图谱、推荐系统以及恶意账户识别等领域以及任务中。

开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时

其中比较有代表性的两个模型分别是用于节点分类和链接预测等任务的RGCN和用于产品推荐的GCMC。

但如何设计“既快又好”的深度神经网络?

这正是纽约大学、亚马逊联手推出图神经网络框架DGL的出发点。

新版DGL:异构图神经网络利器

这次更新放出的,是DGL 0.4版本,让整个框架变得更加实用。

不仅全面上线对于异构图的支持,还复现并开源了相关异构图神经网络的代码:

开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时

DGL 0.4中基于异构图的RGCN层实现代码

官方表示,在这一新版本的DGL上实现业内比较突出的异构图神经网络,性能上也有更好的表现:

GCMC:DGL的实现相比原作者实现在MovieLens-100K上有5倍加速,在MovieLens-1M上有22倍加速。DGL的内存优化支持在一块GPU上对MovieLens-10M进行训练(原实现需要从CPU动态加载数据),从而将原本需要24小时的训练时间缩短到了1个多小时。

RGCN:使用全新的异构图接口重新实现了RGCN。新的实现大大减少了内存开销。原实现在AM数据集上(边数>5M)由于内存开销太大,只能在CPU上计算,而DGL能使用GPU进行加速并获得了291倍的速度提升。

HAN:提供了灵活的接口可以将一个异构图通过元路径(metapath)转变成同构图。

Metapath2vec:新的元路径采样实现比原作者的实现快两倍。

而且, DGL也发布了针对分子化学的模型库DGL-Chem,以及训练知识图谱嵌入(Knowledge Graph Embedding)专用包DGL-KE。DGL-Chem提供了包括分子性质预测和分子结构生成等预训练模型。

在单GPU上,DGL-KE能在7分钟内使用经典的TransE模型训练出FB15K的图嵌入。相比GraphVite(v0.1.0)在4块GPU上需要14分钟。

DGL-KE首个版本发布了TransE、ComplEx和Distmult模型,支持CPU训练、GPU训练、CPU和GPU混合训练以及单机多进程训练。

DGL团队表示,在未来也会发布更多模型和训练方式。

开源 技术 软件
上一篇:2019年深度学习自然语言处理十大发展趋势 下一篇:深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

\"狗屁不通文章生成器\"登顶GitHub热榜,一键生成万字形式主义大作

GitHub上,这个富有灵魂的项目名吸引了众人的目光。项目诞生一周,便冲上了趋势榜榜首。

栗子 鱼羊 ·  2天前
AI软件如何帮助教育领域发展?

人工智能在世界上的影响力十分深远。到2025年,AI软件预期总收益可达1200亿美元,当下云计算以及大数据分析技术为人们的生活与各种产业带来了极大的便利,未来几年AI软件如何帮助教育领域发展这一话题也备受关组。

读芯术 ·  2019-10-29 19:56:42
将sklearn训练速度提升100多倍,美国「返利网」开源sk-dist框架

在本文中,Ibotta(美国版「返利网」)机器学习和数据科学经理 Evan Harris 介绍了他们的开源项目 sk-dist。

机器之心 ·  2019-09-26 14:16:21
DeepMind一次性开源3个新框架!深度强化学习应用落地即将迎来春天?

深度强化学习(Deep Reinforcement Learning,DRL)一直是近年来人工智能的一些重大突破的核心。然而,尽管 DRL 有了很大的进步,但由于缺乏工具和库,DRL 方法在主流解决方案中仍然难以应用。

杨鲤萍 ·  2019-09-20 09:38:18
五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

今日,谷歌 TensorFlow 宣布推出神经结构学习(NSL)开源框架,它使用神经图学习方法来训练带有图和结构化数据的神经网络。

一鸣、李亚洲 ·  2019-09-04 15:07:15
Uber 开源研究对话系统 Plato,用于开发和训练会话 AI

Uber AI(Uber 的人工智能研究部门)开发并且开源了柏拉图( Plato )研究对话系统。

xplanet ·  2019-07-17 16:30:35
视频PS神器!人物隐身、水印去除,这项登上CVPR的研究刚刚开源了

现在,一项CVPR 2019上的研究,背后的AI,是名叫光流引导 (Flow-Guided) 的视频修复算法。它主要来自商汤港中大联合实验室和商汤南洋理工联合实验室,有周博磊大神参与,中选了CVPR 2019。

鬼栗子 郭一璞 ·  2019-07-16 08:09:32
华为发布Volcano开源项目,让AI算力像火山一样迸发

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

佚名 ·  2019-07-04 08:50:04
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载