包括谷歌、微软和亚马逊在内的科技公司的物体识别算法,在识别低收入国家的物品时,错误率更高,算法表现得也更差。

这是Facebook人工智能实验室的一项新研究。同时,该研究还表明,人工智能偏见不仅存在于国家内部,还歧视不同国家。


在低收入家庭中,算法的准确率最低可达20%

在这项研究中,研究人员测试了五种已有的流行的物体识别算法 - Microsoft Azure,Clarifai,Google Cloud Vision,Amazon Rekognition和IBM Watson--以了解每个算法程序识别从全球数据集中收集的家庭日用品的效果。

该家庭日用品的数据集包括117个类别,从鞋子到肥皂到沙发几乎所有物品以及不同层次的家庭收入和地理位置,从布隆迪的一个每月收入27美元的家庭到乌克兰的一个每月收入10,090美元的家庭。

研究人员发现,物体识别算法在被要求识别月收入50美元的家庭物品时比物品价值超过3,500美元的家庭误差大约增加10%。准确度的绝对差异甚至更大:与索马里和布基纳法索的物品相比,算法在识别美国家庭物品时的效果提高了15%至20%。

这些发现被认为“在一系列用于图像识别的商业云服务中是一致的”。

人工智能“歧视”穷人,AI竟然如此“拜金”?!


这种偏见的产生有许多根本原因,也是AI中众所周知的问题。其中最常见的原因是用于创建算法的训练数据通常反映了负责这一算法的工程师的生活和背景。由于这些人通常是来自高收入国家的白人,他们开发的程序也是在这样的环境下训练出来的。

人工智能偏见的最着名的例子之一是面部识别算法,在识别女性面部特别是“有色人种”女性时,这些算法通常表现更差。这种偏见可以进入各种系统,从用于计算假释刑期的算法到在求职面试之前的简历评估。

在物体识别算法的情况下,研究者认为,有一些可能导致错误的原因:首先,用于创建系统的训练数据在地理上受到限制,其次,他们无法识别文化差异。

写视觉算法训练的数据主要来自欧洲和北美,并且“在人口众多的地理区域中严重欠采样视觉场景,特别是在非洲,印度,中国和东南亚。”


偏差可能由多个因素引起,包括不完整的训练数据

同样,大多数图像数据集使用英语名词作为初始语言并相应地收集数据。这意味着物品的类别可能不够完整,或者同一个物品在不同的国家或地区看起来并不相同。例如,洗碗皂。在一些国家这些香皂就是肥皂,而在另一个国家是盛在容器里的液体。同样的,婚礼,在美国和印度看起来也大不相同。

为什么弄清楚这点很重要? 郑州×××医院:http://yyk.familydoctor.com.cn/yiyuanzaixian/zztjyy//

首先,这意味着使用这些算法创建的任何系统对来自低收入和非西方国家的人来说都会表现更差。由于美国科技公司是人工智能的全球领导者,这可能会影响从照片存储服务和图像搜索功能到更重要的系统,比如自动安全摄像头和自动驾驶汽车。

但这可能只是冰山一角。视觉算法相对容易评估这些偏差,但是创建这些程序的管道也为整个行业提供了充分的算法,而这些算法永远不会受到同样的审查。

“审计AI系统并不一定容易,因为没有执行此类审计的标准基准,”帮助开展此项研究的Facebook AI的研究科学家Laurens van der Maaten告诉The Verge。 “在打击这种偏见方面,最重要的一步是在设置用于训练系统的训练数据的收集过程时更加谨慎。”

硅谷经常推广其产品,特别是近年来它的人工智能产品。作为平等主义者,所有人都可以使用。 这样的研究表明,科技公司继续以它们自己的形象和理解去评估,定义和塑造世界。