ML社区八大「毒瘤」:盲目崇拜、相互攻讦、重SOTA轻实效……

作者: 机器之心 2020-07-01 14:35:48

俗话说,有人的地方就有江湖,就会充斥着各种立场和利益纠纷。科研领域亦如此,机器学习社区近来掀起来的一系列关于种族偏见的热议就是鲜活的例证。我们先回顾一下这件事情的来龙去脉:

大约一周前,杜克大学提出了一种将高糊人脸照片转换成清晰面部图像的 PULSE 方法,但意外的是,研究中的一张生成图像掀起了众议,人们纷纷指责该方法存在种族偏见。

输出后的奥巴马变成了「白人小伙」。

之后,图灵奖得主、Facebook 首席 AI 科学家 Yann Lecun 也因自己对此事的评价而遭到网友的口诛笔伐,最后不得不宣布退出推特。

那么问题来了,此次事件是否反映了机器学习社区对技术或数据持有明显的偏向性态度呢?除此之外,机器学习社区还存在着哪些痼疾以及新出现的坏现象呢?

今日,reddit 用户 yusuf-bengio 发帖总结了当前机器学习社区存在的 8 大「毒瘤」,内容涉及同行评审、盲目学术崇拜、 多样性、过度重视顶会论文发表以及学术攻讦等,引发了网友的热议。

我们先来看下这些问题的具体内容。

ML 社区的 8 大「毒瘤」

首先,同行评审的规则被打破。有四分之一的 NeurIPS 提交论文都被放到了 arXiv 上。DeepMind 的研究者公开质疑批评他们提交论文至 ICLR 的审稿人。最重要的是,尽管审稿人认为应该拒收论文,放在 arXiv 上的知名机构提交的论文还是被顶会接收了。相较之下,AC 却否决了一些评分很高的论文。

第二点,存在复现危机。在测试集上调整超参数似乎是目前的实践标准了。没有打破当前 SOTA 纪录的论文没有机会被较好的学术会议接收。因此很多研究只是对超参数进行调整以及提出一些细微的技巧,使其看起来存在性能增益,但实际上并没有。

第三点,存在盲目的学术崇拜。与斯坦福、DeepMind 这些顶级机构有关的论文都会得到高度赞誉,即使并没有什么重大突破。比如,BERT 被引用的次数是 ULMfit 的 7 倍。谷歌的从属关系为论文提供了如此多的信誉和曝光度。每次 ICML 会议,无论研究内容是什么,DeepMind 的 poster 都会吸引很多人。同样的事情还发生在 ICLR 2020 在 Zoom 上举办的虚拟会议上。

此外,即使都是机器学习顶会,但 NeurIPS 2020 的论文提交量却是 ICML 的两倍。为什么会如此?为什么 “neural” 这个词如此受欢迎?还有,Bengio、Hinton 和 LeCun 确实是深度学习的先驱,但是称呼他们为 AI“教父”就太疯狂了。这实在是种过度崇拜。

第四点,虽然 Yann LeCun 谈论偏见和公平性的方式显得有点事不关己,但他遭受的口诛笔伐也超出了合理的范畴。让 LeCun 或者其他人闭嘴解决不了任何问题。

第五点,机器学习和计算机科学社区普遍存在着严重的「多样性」问题,其中最明显的就是教授和学生中的男女比例问题。女性在博士或博士后期间休育婴假常常意味着其学术生涯的结束。并且,这种「多样性」的缺乏又经常被滥用,成为某些人免受任何批评的借口。将学术探讨中的每个负面评论归咎于种族和性别会营造不良的学术氛围。人们越来越害怕被他人看作「种族主义者」或「性别歧视者」,这反过来又加剧了这种「多样性」问题。

第六点,为其他人随意扣上道德伦理丧失的帽子。近期以来,美国国内的政治和种族抗议活动主导了一切学术讨论。

第七点,社区存在着一种残酷的「不发表,就发臭」的心态。如果你每年不能发表 NeurIPS 或 ICML 等学术会议论文,就会被称为「失败者」。此外,研究团队的规模变得越来越大,有时 PI 甚至叫不全手底下博士生的名字。有的研究者痴迷于投顶会论文,每年甚至提交数十篇论文。这太可怕了。写论文的唯一目标变成了在简历上添加一笔顶会接收论文的经历,所有的一切都变得很功利。在提交论文时,质量是次要的,想法设法通过同行评审成为了主要目的。

第八点,学术探讨变得粗暴无礼。举例来说,Schmidhuber 称 Hinton 为「小偷」,Gebru 称 LeCun 为「白人至上主义者」,Anandkumar 称 Marcus 为「性别歧视者」。大佬之间尚且相互攻讦,这终归不利于构建健康和谐的机器学习环境。

所以,我们是否可以停止妖魔化持有不同观点的人,允许不同观点的存在,不要吹毛求疵。如果我们仅仅因为观点不同而强迫他们闭嘴,那恐怕也宣告了科学和社会进步的终结吧!

不止 ML 社区,其他领域亦是如此

上文提到的这些「毒瘤」的确存在,也不可避免地对机器学习社区的学术氛围产生了负面的影响。网友对这些问题持什么态度呢?点赞最多的便是第三点的学术盲目崇拜现象。

网友表示,一些不知名学者的有趣研究虽能引起注意,但评论的人却少之又少;与之相比,机器学习名人的一篇推特却能有数百条评论。这种现象恐怕不利于新研究或技术的推广和持续发展。

还有网友提到了其他社区,如物理社区,称这类社区或许不像机器学习社区那样充斥着攻讦和分裂。他表示,机器学习固然存在着广泛的社会影响,但人们将他们的政治理念强加在自身的研究上是多么的荒谬。

但这位网友的观点遭到了其他人的反驳,表示物理、数学、逻辑和哲学等其他领域恐怕亦是如此。

对此,你有什么看法?

参考链接:

https://www.reddit.com/r/MachineLearning/comments/hiv3vf/d_the_machine_learning_community_has_a_toxicity/

【本文是51CTO专栏机构“机器之心”的原创译文,微信公众号“机器之心( id: almosthuman2014)”】

戳这里,看该作者更多好文

机器学习 ML
上一篇:人工智能技术在网络安全中的作用 下一篇:自动化能否“杀死”安全分析师?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

传统健身房也要被人工智能淘汰了吗?

和人们的传统健身观念不同,机器学习和人工智能早已成为现代健身项目的重要组成部分。

周舟 ·  1天前
机器学习带你横扫乐坛,你就是下一个方文山

我太爱北极猴子乐队了,但他们已经很久没有发行新单曲了。久久欠缺精神食粮的我某天晚上突然灵机一动,我可以自给自足呀!于是我写了个简单的代码,用Keras和TensorFlow训练了一个文本生成模型,写出一首全新的北极猴子的歌。

读芯术 ·  2天前
令人着迷的无梯度神经网络优化方法

梯度下降是机器学习中最重要的思想之一:给定一些代价函数以使其最小化,该算法迭代地采取最大下降斜率的步骤,理论上在经过足够的迭代次数后才达到最小值。柯西(Cauchy)于1847年首次发现,在1944年针对非线性优化问题在Haskell Curry上得到扩展,梯度下降已用于从线性回归到深度神经网络的各种算法。

AI火箭营 ·  3天前
机器学习项目必备:端到端机器学习项目开发过程的任务表

任务列表能指导开发人员完成下一步,促使你检查每个任务是否已成功执行。有时候,我们很难找到出发点,任务表也可帮助开发人员从正确的来源中获取正确的信息(数据),以便建立关系并揭示相关的见解。

读芯术 ·  3天前
在理解通用逼近定理之前,你都不会理解神经网络

从字面上看,通用近似定理是神经网络起作用的理论基础。然而,最重要的是,该定理令人惊讶地解释了为什么神经网络似乎表现得如此聪明。 理解它是发展对神经网络的深刻理解的关键一步。

闻数起舞 ·  3天前
机器学习工程师正在失业,但学习依旧是唯一的出路

人工智能(AI),机器学习(ML)和数据科学(DS)几个领域最先出现收缩是合情合理的,因为对大多数企业来说这些都是奢侈品。

大数据文摘 ·  3天前
MIT开发出造梦机器,「美梦孵化器」为你定制真人版盗梦空间

美国麻省理工(MIT)的一组天才研制出了一种实验装置,能让佩戴者在睡觉时触发特定的梦境体验。

佚名 ·  2020-07-31 14:59:20
为什么说机器学习是预防欺诈的优秀工具?

随着现代技术的发展和完善,生活变得越来越舒适。虽然以前人们认为同时进行复杂的操作是不可能的,而如今计算机使这一任务变得很容易了。

Giorgi ·  2020-07-29 08:34:30
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载