面部识别系统存在哪些「偏见」困境?这名年轻人的发言让 Jeff Dean 忍不住点赞

作者: 黄善清 2019-01-29 11:10:32

 AI 算法偏见(性别、人种……)如今在海外早已不是新鲜议题,不久前,互联网上的一条视频就引发了大众对此大规模的探讨。一名年轻的微软研究人员就此话题在个人网络留言上展开了对面部识别系统模型所存在偏见的探讨,引发了包括 Jeff Dean 等大牛在内的共鸣。她究竟说了些什么?

事情起源于互联网上的一个视频,在视频中,社会党众议员 Alexandria Ocasio-Cortez 声称由数学驱动的算法本质上都是拥有种族主义倾向的。这条帖子很快获得了大众的响应,其中就包括一位名叫 Anna S. Roth 的研究人员。

原帖转发量截止目前为止已经达到了 2.8k,拥有超过 7.2k 的留言。

直通车:https://twitter.com/RealSaavedra/status/1087627739861897216

据个人主页介绍, Anna S. Roth 是微软技术与研究部门的一名研究人员,专职于微软的 Project Oxford 项目——这是一个混合了 APIs 与 SDKs,使开发人员能够轻松利用 Microsoft Research 和 Bing 的计算机视觉、语音检测和语言理解前沿工作进行再创造的项目。此外,她还曾经入选 Business Insider 杂志「30 位 30 岁以下具有影响力的科技女性」榜单。

她在个人留言上接连发表多达 29 条的短评,简单概括了面部识别系统模型产生偏见的原因,以及相应的解决方案和现存困境。由于内容浅显易懂且直中要害,谷歌大脑领导人 Jeff Dean 也忍不住进行推荐。

接下来一起看看 Anna S. Roth 分别说了些什么吧。

关于数据偏差问题

Alexandria Ocasio-Cortez 说的完全在理。我曾经从事面部识别的商业开发工作(当时的方向有点偏,开发的是存在偏见的模型),我认为人们最终会找到一些具体可信的例子搞清 AI 系统是如何产生偏见的。网络上的专家们解释了,面部识别系统之所以产生偏见,是因为数据有所偏差。

所以我准备和大家谈谈:

(1)那些(有偏差的)数据来自哪里。

(2)偏差测量标准的选择同样事关紧要。

(需要强调一点是,我只是针对行业所发生的一些事情进行泛泛而谈,并非专指本人雇主的某个具体事例。简单来说,这些都只是我的个人意见,不代表雇主的立场。)

最前沿的面部识别系统都需要在「非常庞大」的数据集上进行训练。为达到训练效果,你需要获取同一个人的多张相片。比如当下发布数据集之一——来自 UW 的 MF2,就拥有 672K 的人员信息和 4.7M 的相片。

相关论文链接:

https://homes.cs.washington.edu/~kemelmi/ms.pdf

这些数据主要来源于网络,比如 MF2 数据集的数据就出自 Flickr;另一个数据集 MS-Celeb-1M(https://www.msceleb.org)的 1000 万张图像则是从网上「爬」下来的。需要强调的是,「在公共互联网上流传的照片」并不能够完全代表「世界上的所有人类」。

然而全球的互联网访问量并非均匀分布的。连研究人员也一样。你可能抓取的还是那些以英语作为媒介语的网络资源/视频(记住,您需要获取同一个人的多张照片。)那么我想请问的是,使用 Flickr 的都是哪一些人?在微软名人数据集 MS Celeb 的论文中,说明了数据集中的 100 万个名人有超过 3/4 是女性——所以在判断哪个性别的人群在网上更有名气时,是否就会陷入 Alexandria Ocasio-Cortez 所谓的「自动化假设」陷阱?对此,负责构建数据集的人员一般会通过多种手段进行调整。

一个非常「烧钱」的选择是走进「现实世界」中,通过付费的方式进行数据收集。然而想把这件事情做得「正确」(比如收集数据的地点)、做得「符合伦理道德」(比如是否获得对方同意、公平补偿等),可一点都不简单。然而这些细节却会导致结果存在「巨大」差异。

当然我们还可以拥有其他的数据来源。比如有些人就想到使用嫌疑人照片(呀!又是一个根深蒂固的社会偏见影响数据集+注释的例子)。据我所知,一个处在非美国监控州的国内公司可以访问那些大型政府数据集。(很显然如果你是 FB,还可以访问那些具有更好分布的数据。)

数据集不仅仅是你保存数据 + 进行标注的地方。很多数据集需要人类进一步手动进行注释,一般会通过众包的形式(即通过在线平台零碎地给众包人员支付费用,而且往往金额较小)。众包形式存在太多来自人类的干扰因素。比如众包人员的文化背景?他们是不是被问到实际上属于主观的问题?(年龄、情绪等)

关于数据偏差测量

如今我们达成的一个共识是,有偏差的数据输入将导致有偏见的模型。实际上,我们已经拥有许多很酷的技术方法可以解决训练数据的分布问题。

一般要想评估模型的偏差情况和表现性能,你需要找到方法来进行测量。否则你无法得知模型的偏差原因和偏差程度。打个比方,您也许需要创建一个包含具有各种特征的人员的标签数据集,以便你在组与子组上测试模型的运行情况。

偏差测量需要综合这些人的角度和观点——在哪些问题是重要的以及社会科学层面上可能受到模型影响的人群。打个比方,「如果你戴眼镜,将导致模型表现变得不够准确」要比「如果你是有色人种,将导致模型表现变得糟糕」的危害更小,这是有一定社会原因的。

决定哪些内容需要进行测量、构建测量数据集、发布相关标准,是你构建相关系统时的「明智」选择。因此,当 Alexandria Ocasio-Cortez 说「种族不公被模型传递出来,是因为算法仍由人类掌控」时,她是完全正确的。

从过去到现在,对于这么做可能导致的严重后果,人们已经一次又一次进行记录。详见:https://gendershades.org/。它为致力于解决这些问题的不同人群提供了强而有力的论据。(注:这也意味着国际化与多样性。比如计算机视觉领域的大部分工作都是在中国完成创建和消费。因此这些主题都具有国际化视角。)

相关解决方案

回到 Alexandria Ocasio-Cortez 引发的议论。她给到我们的一点启发是,AI 伦理学并非单纯的「减少偏见的技术方法」或者「应用伦理学」。而是偏见渗入到模型当中、或者模型以不适合的方式被使用、或者循环反馈机制加强偏见,因为这些原因交织而成的新问题。

我经常回想《大西洋》杂志一篇关于德国执法部门调查庇护申请的报道中所出现的这句话。当最终采用这些概率系统的用户将系统的性能归结为「天赐」的,而非人类,将会发生什么事情?

文章链接:

https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/

「BAMF 的面部识别软件以及由它所绘制的庞大数据库,现在看来像是「天赐的」,一位职员带有敬意地表示道。「我从来从来没见它出过错。」

我试图给出一些实际例子,说明涉及面部的识别能力可能导致什么样的严重后果,以帮助大家理解这个视频的大背景。然而,这些想法实际上都来自学界和公众的倡导。「当下」这个领域正在产生「如此之多」的学术研究,这些都是那些有见识的想法的来源。我们很幸运能够向 @timnitGebru、 @jovialjoy,、@hannawallach,、@mathbabedotorg,、@jennwvaughan 这样的专家们学习。

还有许多来自学术界和社会活动界正在就如何记录、理解和减少偏见对人工智能的影响,进而减少人工智能对社会的负面影响,纷纷提出自己的想法。我们可以从这些地方找到这些想法 https://gendershades.org/(对行业实践和公众意识有着巨大的影响),以及这里 https://fatconference.org/index.html

我就以这些话作为本次意见发表的收尾吧。作为一名过去经常投入在面部识别相关研究工作的人,我非常感谢这个领域的专家们,他们的功劳包括发现了我当时所研究系统的严重问题(以及创造性的修复方法)。

面部识别 人工智能 数据
上一篇:当人工智能走进生活:AI有多接近你 你又有多害怕AI 下一篇:AI 圣经 PRML《模式识别与机器学习》被微软官方开源了!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

超过Google,微信AI在NLP领域又获一项世界第一

微信AI,NLP领域又获一项世界第一,这次是在机器阅读理解方面。

乾明 ·  1天前
AI如何改善采矿行业现状?

人工智能的引入,有望将采矿业转化成一个更安全、利润空间更大且更为环保的行业。

佚名 ·  1天前
大小仅1MB!超轻量级的人脸识别模型火爆Github

近日,用户Linzaer在Github上开源了一款适用于边缘计算设备、移动端设备以及 PC 的超轻量级通用人脸检测模型,该模型文件大小仅1MB,一经开源就霸榜Github Trending榜单。

佚名 ·  1天前
大数据和人工智能如何协同工作

人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注,但这并不意味着大数据技术没有得到发展。如果说有什么不同的话,那就是大数据的规模正在变得越来越大。

Kevin Casey ·  3天前
麻省理工学院开发出组装机器人:未来可建造太空殖民地

麻省理工学院博士生本杰明·杰内特(Benjamin Jenett)和原子中心的尼尔·格申费尔德教授(Neil Gershenfeld)在《电气电子工程师学会机器人与自动化快报》科学期刊上发表报告称,开发出一种组装机器人原型,它可以用很小的零件制成大型结构。

技术力量 ·  3天前
刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  3天前
深度学习/计算机视觉常见的8个错误总结及避坑指南

人类并不是完美的,我们经常在编写软件的时候犯错误。有时这些错误很容易找到:你的代码根本不工作,你的应用程序会崩溃。但有些 bug 是隐藏的,很难发现,这使它们更加危险。

skura ·  3天前
AI艺术日渐繁荣,未来何去何从? 精选

利用人工智能创作而成的画作近年来越来越受瞩目,有的作品甚至能在知名拍卖行拍得高价。但这类作品仍有不少问题需要解答,比如它的作者是开发出算法的程序员还是计算机呢?AI艺术的市场未来将走向何方呢?

网易智能 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载