面部识别系统存在哪些「偏见」困境?这名年轻人的发言让 Jeff Dean 忍不住点赞

作者: 黄善清 2019-01-29 11:10:32

 AI 算法偏见(性别、人种……)如今在海外早已不是新鲜议题,不久前,互联网上的一条视频就引发了大众对此大规模的探讨。一名年轻的微软研究人员就此话题在个人网络留言上展开了对面部识别系统模型所存在偏见的探讨,引发了包括 Jeff Dean 等大牛在内的共鸣。她究竟说了些什么?

事情起源于互联网上的一个视频,在视频中,社会党众议员 Alexandria Ocasio-Cortez 声称由数学驱动的算法本质上都是拥有种族主义倾向的。这条帖子很快获得了大众的响应,其中就包括一位名叫 Anna S. Roth 的研究人员。

原帖转发量截止目前为止已经达到了 2.8k,拥有超过 7.2k 的留言。

直通车:https://twitter.com/RealSaavedra/status/1087627739861897216

据个人主页介绍, Anna S. Roth 是微软技术与研究部门的一名研究人员,专职于微软的 Project Oxford 项目——这是一个混合了 APIs 与 SDKs,使开发人员能够轻松利用 Microsoft Research 和 Bing 的计算机视觉、语音检测和语言理解前沿工作进行再创造的项目。此外,她还曾经入选 Business Insider 杂志「30 位 30 岁以下具有影响力的科技女性」榜单。

她在个人留言上接连发表多达 29 条的短评,简单概括了面部识别系统模型产生偏见的原因,以及相应的解决方案和现存困境。由于内容浅显易懂且直中要害,谷歌大脑领导人 Jeff Dean 也忍不住进行推荐。

接下来一起看看 Anna S. Roth 分别说了些什么吧。

关于数据偏差问题

Alexandria Ocasio-Cortez 说的完全在理。我曾经从事面部识别的商业开发工作(当时的方向有点偏,开发的是存在偏见的模型),我认为人们最终会找到一些具体可信的例子搞清 AI 系统是如何产生偏见的。网络上的专家们解释了,面部识别系统之所以产生偏见,是因为数据有所偏差。

所以我准备和大家谈谈:

(1)那些(有偏差的)数据来自哪里。

(2)偏差测量标准的选择同样事关紧要。

(需要强调一点是,我只是针对行业所发生的一些事情进行泛泛而谈,并非专指本人雇主的某个具体事例。简单来说,这些都只是我的个人意见,不代表雇主的立场。)

最前沿的面部识别系统都需要在「非常庞大」的数据集上进行训练。为达到训练效果,你需要获取同一个人的多张相片。比如当下发布数据集之一——来自 UW 的 MF2,就拥有 672K 的人员信息和 4.7M 的相片。

相关论文链接:

https://homes.cs.washington.edu/~kemelmi/ms.pdf

这些数据主要来源于网络,比如 MF2 数据集的数据就出自 Flickr;另一个数据集 MS-Celeb-1M(https://www.msceleb.org)的 1000 万张图像则是从网上「爬」下来的。需要强调的是,「在公共互联网上流传的照片」并不能够完全代表「世界上的所有人类」。

然而全球的互联网访问量并非均匀分布的。连研究人员也一样。你可能抓取的还是那些以英语作为媒介语的网络资源/视频(记住,您需要获取同一个人的多张照片。)那么我想请问的是,使用 Flickr 的都是哪一些人?在微软名人数据集 MS Celeb 的论文中,说明了数据集中的 100 万个名人有超过 3/4 是女性——所以在判断哪个性别的人群在网上更有名气时,是否就会陷入 Alexandria Ocasio-Cortez 所谓的「自动化假设」陷阱?对此,负责构建数据集的人员一般会通过多种手段进行调整。

一个非常「烧钱」的选择是走进「现实世界」中,通过付费的方式进行数据收集。然而想把这件事情做得「正确」(比如收集数据的地点)、做得「符合伦理道德」(比如是否获得对方同意、公平补偿等),可一点都不简单。然而这些细节却会导致结果存在「巨大」差异。

当然我们还可以拥有其他的数据来源。比如有些人就想到使用嫌疑人照片(呀!又是一个根深蒂固的社会偏见影响数据集+注释的例子)。据我所知,一个处在非美国监控州的国内公司可以访问那些大型政府数据集。(很显然如果你是 FB,还可以访问那些具有更好分布的数据。)

数据集不仅仅是你保存数据 + 进行标注的地方。很多数据集需要人类进一步手动进行注释,一般会通过众包的形式(即通过在线平台零碎地给众包人员支付费用,而且往往金额较小)。众包形式存在太多来自人类的干扰因素。比如众包人员的文化背景?他们是不是被问到实际上属于主观的问题?(年龄、情绪等)

关于数据偏差测量

如今我们达成的一个共识是,有偏差的数据输入将导致有偏见的模型。实际上,我们已经拥有许多很酷的技术方法可以解决训练数据的分布问题。

一般要想评估模型的偏差情况和表现性能,你需要找到方法来进行测量。否则你无法得知模型的偏差原因和偏差程度。打个比方,您也许需要创建一个包含具有各种特征的人员的标签数据集,以便你在组与子组上测试模型的运行情况。

偏差测量需要综合这些人的角度和观点——在哪些问题是重要的以及社会科学层面上可能受到模型影响的人群。打个比方,「如果你戴眼镜,将导致模型表现变得不够准确」要比「如果你是有色人种,将导致模型表现变得糟糕」的危害更小,这是有一定社会原因的。

决定哪些内容需要进行测量、构建测量数据集、发布相关标准,是你构建相关系统时的「明智」选择。因此,当 Alexandria Ocasio-Cortez 说「种族不公被模型传递出来,是因为算法仍由人类掌控」时,她是完全正确的。

从过去到现在,对于这么做可能导致的严重后果,人们已经一次又一次进行记录。详见:https://gendershades.org/。它为致力于解决这些问题的不同人群提供了强而有力的论据。(注:这也意味着国际化与多样性。比如计算机视觉领域的大部分工作都是在中国完成创建和消费。因此这些主题都具有国际化视角。)

相关解决方案

回到 Alexandria Ocasio-Cortez 引发的议论。她给到我们的一点启发是,AI 伦理学并非单纯的「减少偏见的技术方法」或者「应用伦理学」。而是偏见渗入到模型当中、或者模型以不适合的方式被使用、或者循环反馈机制加强偏见,因为这些原因交织而成的新问题。

我经常回想《大西洋》杂志一篇关于德国执法部门调查庇护申请的报道中所出现的这句话。当最终采用这些概率系统的用户将系统的性能归结为「天赐」的,而非人类,将会发生什么事情?

文章链接:

https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/

「BAMF 的面部识别软件以及由它所绘制的庞大数据库,现在看来像是「天赐的」,一位职员带有敬意地表示道。「我从来从来没见它出过错。」

我试图给出一些实际例子,说明涉及面部的识别能力可能导致什么样的严重后果,以帮助大家理解这个视频的大背景。然而,这些想法实际上都来自学界和公众的倡导。「当下」这个领域正在产生「如此之多」的学术研究,这些都是那些有见识的想法的来源。我们很幸运能够向 @timnitGebru、 @jovialjoy,、@hannawallach,、@mathbabedotorg,、@jennwvaughan 这样的专家们学习。

还有许多来自学术界和社会活动界正在就如何记录、理解和减少偏见对人工智能的影响,进而减少人工智能对社会的负面影响,纷纷提出自己的想法。我们可以从这些地方找到这些想法 https://gendershades.org/(对行业实践和公众意识有着巨大的影响),以及这里 https://fatconference.org/index.html

我就以这些话作为本次意见发表的收尾吧。作为一名过去经常投入在面部识别相关研究工作的人,我非常感谢这个领域的专家们,他们的功劳包括发现了我当时所研究系统的严重问题(以及创造性的修复方法)。

面部识别 人工智能 数据
上一篇:当人工智能走进生活:AI有多接近你 你又有多害怕AI 下一篇:AI 圣经 PRML《模式识别与机器学习》被微软官方开源了!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI人工智能正在悄悄的操控着我们的所见所想

在日常生活中大家现在已经越来越依赖手机上各种形形色色的app了,无论我们是出门吃饭时寻找餐厅,还是在视频语音聊天,刷视频,或是网上购物shopping,无时无刻我们都离不开手机APP。

软件说明 ·  1天前
AI 崛起的第九个年头,还有哪些大有可为的地方?

2020年还剩下10个月的时间,让我们去预期,人工智能会有哪些重要的趋势呢? CB insights曾就此问题做了一个判断,并给出人工智能的九个重要研究和应用趋势。AI 科技评论在一定程度上认同这些判断,针对这 9 个趋势,我们将做以下分析。

蒋宝尚 ·  1天前
AI芯片为啥至今都没有出现“爆款”?

“AI芯片”这个新鲜的概念在过去一年间逐渐走过了普及的阶段,越来越被大众所熟知。在行业走过野蛮生长,开始加速落地、加速整合的过程中,也有更多的AI芯片公司也开始走出属于自己的差异化路线。

佚名 ·  1天前
拥有30亿张照片库的人脸识别初创公司遭黑客攻击!600多家执法机构和银行信息被盗

Clearview AI是美国纽约的一家AI面部识别创业公司Clearview设计的一款突破性的面部识别应用工具,通过拍摄陌生人的照片,然后将其上传,就可以轻松查看该人的公开照片,以及指向这些照片出现位置的链接和具体内容。

张佳、王汐 ·  1天前
数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
人工智能如何改造旅游业

旅游业正在慢慢地将人工智能融入到行业当中,并为游客提供个性化定制体验。在人工智能的帮助下,旅游业的业务流程和客户服务都发生了改变。

佚名 ·  1天前
人工智能技术如何将人们从深度伪造的世界中拯救出来

如今,采用深度伪造(Deepfake)生成的视频和音频,人工智能生成的文本、诗歌和歌词,假网站和假新闻进入人们的世界。人们的生活还会真实吗?

Mike Elgan ·  1天前
四种使用物联网和人工智能加速获取价值的有效方法

最近,话题转向企业如何才能更快,更有效地获取和利用物联网计划的见解。物联网和人工智能的结合为企业实现这一预期成果提供了途径。实际上,这两种技术是相辅相成的,应该紧密相连。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载