Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展

作者: 乾明 2019-12-16 09:30:44

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

2020年,机器学习将会往何处去?

加拿大温哥华举办的NeurIPS期间,在接受外媒VB采访时,Jeff Dean交出了自己的展望。

他认为,在多任务学习和多模态学习将会有很大进展,以及会出现更加有趣的设备,让机器学习模型的作用更好地发挥出来。

此外,他还谈到了如何利用机器学习构建AI芯片、以及谷歌对BERT的看法等等。

作为谷歌AI的掌门人,他的思考对于从业者来说,有极大的参考价值。量子位编译如下:

Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展

谈BERT:大家有点过分强调SOTA了

问:对BERT来说,今年是重要的一年。到处都是 BERT,还有各种各样的 BERT。BERT有什么变化?接下来会有什么样的变化?

Jeff Dean:BERT很有趣,是因为它建立在其他研究成果的进展之上。他在某种程度上取决于一年前完成的Transformer工作。

Transformer的工作,实际上是在处理早期基于LSTM的序列模型看到的问题。我认为,整个研究线索在实际生产机器学习模型方面非常有成效。

现在让我们去处理更加复杂的NLP任务,我们能够做得更多。在一堆/任意文本上,对预训练的BERT进行微调,对于许多 NLP 问题来说,这是一个很好的范例,我们希望能解决这些问题。

因此在谷歌内部,我们也在自己的产品中看到了不同的应用场景,比如我们最近在搜索引擎中应用了BERT来提高搜索质量。

我认为,你也应该在更加广泛场景中看到了这一点。我们仍然希望看到,能做更多上下文的模型。

就像现在,BERT和其他模型在数百个单词文本上工作得很好,但在上万个单词上就很难处理好了。

这是一个有趣的方向。我认为多模态模型非常有趣。可以用有趣的方式将文本与图像、音频或视频结合起来。

Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展

我们已经在这方面做了一些工作,社区的其他成员也做了一些工作,但我认为这在未来会变得更加重要。我相信,人们会基于BERT进行改进。

因此,基础研究也将继续下去。

问:是的,我看到了很多MT-DNN、 RoBERTta之类的东西。

Jeff Dean:是的,它们每个都有一个可爱的名字。但我确实认为,大家有点过分强调在某些特定问题上取得前所未有的、稍微好一点的、最先进的结果。

以及对完全不同的解决问题的方法有点缺乏欣赏。因为很难,这些方法可能没有达到最先进的水平,但它们是一个非常值得探索的领域。

问:比如鲁棒性?

Jeff Dean:是的,或者“是认为用完全不同的方式来解决一个问题很重要,并看到了希望”。如果人们追求这些方向,那将会很有趣。

问:而不是试图登上GLUE排行榜的榜首?

Jeff Dean:是的。

Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展

谈AI芯片:后摩尔定律时代,专用芯片很有效

问:在后摩尔定律的世界里,需要记住哪些东西?

Jeff Dean:用专门的芯片而不是用CPU来做非通用的计算,已经被证明非常有效。

比如TPU或者GPU,虽然有很多限制,但它们是围绕着机器学习计算需要做什么而设计的,相对于通用GPU,这带来了很大的性能优势。

因此,我们很难看到过去那种算力的大幅度增长,但我们正在通过专业化,来获得更大的架构优势。

问:对机器学习在创建机器学习硬件方面的应用,你能详细说说吗?

Jeff Dean:在将机器学习用到ASIC芯片设计方面,我们已经做了一些早期工作,尤其是晶体管布局和它们如何连接的。

基本上,现在在设计过程中,已经有一些工具可以帮助布局,但也需要有人工布局和布线专家,来完成多次迭代。

从你想要的设计开始,到把它放在一个芯片上,并在面积、功率和导线长度方面有正确的限制,同时还要满足所有设计规划或制作工艺,这通常需要一个多星期的时间。

所以事实证明,在一些工作中,我们可以使用机器学习来做更多的自动布局和布线。

我们基本上可以有一个机器学习模型,去针对特定芯片玩ASIC放置的游戏。我们内部一直在试验的一些芯片上,这也取得了不错的结果。

Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展

谈2020年:多任务学习和多模态学习会有大进展

问:你认为在2020年人工智能领域会出现哪些趋势或里程碑?

Jeff Dean:我认为,在多任务学习和多模态学习方面会有很大进展,解决更多的问题。我觉得那会很有趣。

而且我认为,将会有越来越有效的设备(手机或其他类型的设备)出现,来让模型更有效地发挥作用。

此外,与人工智能原则相关的工作显然是重要的。但对于谷歌来说,我们是一个足够大的研究机构,我们有很多不同的推动力,很难说只有一个。

但总的来说,我们将进一步发展最先进的技术,进行基础的基础研究,以提高我们在许多重要领域的能力,比如NLP、语言模型或多模态的东西。

同时,我们也会与我们的同事和产品团队合作,为产品应用做一些研究,使他们能够构建有趣的功能和产品。

我们将做一些谷歌目前还没有,但用了机器学习会很有趣的应用,比如我们一直在做的芯片设计工作。

问:比如日常的机器人?

Jeff Dean:是的,我们在机器人研究方面做了大量的工作。我认为,让机器人在某种随意的环境中工作,真的是一个很难解决的问题。

但在过去的几年里,我们在这方面也取得了相当大的进展,我认为这也是一个有趣的研究方向。我们正在努力推进。

机器学习 人工智能 计算机
上一篇:人脸识别遍地开花?南都调查:四成民众不想用,七成担心人脸泄露 下一篇:Dota2冠军OG如何被AI碾压?OpenAI累积三年的完整论文终于放出
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

如何避免又一个AI寒冬?

尽管过去几年中,人工智能取得了长足的进步,但相信很多人都还记得20世纪90年代,由于开发者过分夸大承诺以及最终用户不切合实际的期望所导致的AI寒冬。

佚名 ·  14h前
研究型AI面试怎么过?Reddit网友谷歌面试经验分享

大多数学生在求职前,都会经历实习的过程,那么面试就必不可少。

十三 ·  19h前
算法攻破人脸识别「口罩」难题,两天落地千人小区准确率达97% | AI 战疫

日益成熟的人工智能,正成为抗击新冠肺炎疫情战线上一群特别的「逆行者」。

Synced ·  21h前
中美领军全球AI竞赛,人工智能被高估了么?

不久前,谷歌前CEO施密特在出席众议院科学、太空和技术委员会的听证会时表示,美国可能在五到十年后失去在AI方面的领先地位,中国正在努力超越美国。

读芯术 ·  21h前
当下,中国智能机器人发展到底如何?

《中国机器人产业发展报告(2019年)》报告指出,目前,中国机器人研发仍以突破机器人关键核心技术为首要目标,产学研用通力配合,初步实现控制器国产化。并将突破机器人关键核心技术作为科技发展重要战略,中国厂商攻克了减速机、伺服控制、伺服电机等关键核心零部件领域部分难题。因此,核心零部件国产化趋势逐渐显现。

珍珍 ·  22h前
人工智能的未来及对ERP系统的四个新要求

在未来五年内,人工智能将对企业及其商业模式产生重大影响。调研机构普华永道公司第22届全球首席执行官年度调查表明,85%的首席执行官对此深信不疑。但是,33%的首席执行官表示,他们有限地采用人工智能,而且不到十分之一的首席执行官表示正在广泛使用人工智能,人工智能的应用范围迄今仍然受到限制。

Andy Coussins ·  1天前
波士顿机器人火爆全网后,又一个类人机器人登场

十几年前,德黑兰大学的研究人员就介绍了一种名为Surena的基本人形机器人,不久后,又推出了一种改进的可行走模型Surena II,随后在2015年推出了性能更强大的 Surena III。

中国机器人网 ·  1天前
高效的机器学习研究者,应该具备这 6 个习惯

一名优秀的机器学习研究员有哪些特质?是码力超强?还是理论功底一骑绝尘?码力和理论固然重要,但是良好的习惯才应该是检验是否优秀的唯一标准。

AI科技评论 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载