重建隐私保障,需要让AI模型快速“忘记你”

作者: 佚名 2020-01-27 16:52:55

隐私,在这个时代早已是伪命题。

为了在一定程度上重建隐私保障,近期一系列立法举措(包括欧洲的〈通用数据保护条例〉以及美国的〈加利福尼亚州消费者隐私法〉)对于清除个人信息做出了相关规定。但是,要想让经过训练的AI模型“忘记你”,传统的方法,只能是从零开始利用新数据进行重新训练——整个过程可能耗时数周,且成本相当高昂。

重建隐私保障,需要让AI模型快速“忘记你”

最近新发表的两篇论文,带来了高效从AI模型中删除记录的方法,有望节约巨量能源并真正为合规性带来保障,一篇来自斯坦福大学,另一篇(预印本)来自多伦多大学。斯坦福大学计算机科学家、第一篇论文的联合作者Melody Guan表示,“我们似乎需要一些新的算法,来简化企业之间的实际合作,确保实现难度不会成为他们违反隐私规定的借口。”

由于关于高效数据删除的文献非常有限,因此斯坦福大学的作者们首先对问题做出明确定义,并提出有助于缓解问题的四项设计原则:

  • 第一项原则为“线性度”:简单的AI模型只需要对数字进行加法与乘法运算,这就避免了所谓非线性数学函数的介入,保证步骤分解更加简单易行;

  • 第二项则是“惰性”原则,尽可能推迟计算操作,除非确实需要做出预测;

  • 第三项为“模块化”:如果可能,尽量以可拆分的形式进行模型训练,而后组合结果;

  • 第四项是“量化”,即只要平均值能够锁定在特定的离散区间之内,则删除其中对于平均值结果影响不大的数值。

斯坦福大学的研究人员们将其中两项原则应用到一种名为k均值聚类的机器学习算法当中。此算法用于将数据点分类为自然聚类,例如用于分析密切相关的种群之间的遗传性差异。(在UK Biobank医学数据库中,该聚类算法已经得到实际应用。而且有部分患者已经向数据库作者提出通告,要求将自己的记录从数据库中删除。)研究人员利用量化技术开发出一种Qk均值算法,并立足六套数据集进行了测试,分别对单元格类型、手写数字、手势、森林覆盖率以及联网设备黑客入侵情况进行分类。他们在每组数据集内各删除1000个数据点,每次1个。结果证明,Q-k均值算法的速度达到常规k均值算法的2倍到584倍,且准确性几乎没有任何损失。

利用模块化方法,他们又开发出DC-k均值(用于实现分法)。数据中的各个点被随机划分为多个子集,且各个子集将独立进行聚类。接下来,再将这些子集构成新的集群,依此类推。事实证明,从单一子集内删除一个点,并不会影响到其他子集的结果。新算法的加速水平在16倍到71倍之间,且准确性同样几乎不受影响。该项研究被发表在上个月的加拿大温哥华神经信息处理系统(NerulPS)大会上。

多伦多大学以及Vector研究院计算机科学家Nicolas Papernot指出,“这篇论文中的亮点,在于利用算法中的某些基本面(k均值聚类)完成了以往无法实现的目标。”但是,其中某些方法在其他算法类型中无法确切起效,例如在深度学习中使用的人工神经网络。上个月,Paernot以及其他联合作者在网站arXiv上发表一篇论文,提到一种适用于神经网络的训练方法,名为SISA(分片、隔离、切片以及聚合)训练。

这种新方法采取两种不同的模块化实现方式。首先,在分片部分中将数据集划分成多个子集,并立足每套模型建立独立的训练模型副本。当需要进行预测时,各模型的预测结果将被汇总为统一的整体。利用这种方式,删除数据点时,我们只需要重新训练其中一套模型。第二种方法则是切片,即对各个子集做出进一步细分。该子集的模型会首先在切片1上训练,而后同时在切片1与切片2上训练,接下来在切片1、切片2以及切片3上训练,依此类推。最后,在完成各个步骤后对训练完成的模型进行归档。如此一来,如果删除切片3中的数据点,则可快速返回至训练的第三步中,并以此为起点继续训练。Papernot表示,分片与切片方法“相当于为我们的模型训练流程提供了两个调整旋钮。”Guan也称赞称,这种方法“非常直观”,只是“使用的记录删除标准还不够严格。”

来自多伦多的研究人员们通过两套大型数据集训练神经网络,希望测试这种方法。其中一套数据集包含超过60万张与家庭住址编码相关的图像,另一套则包含30多万条购买历史记录。他们从各个数据集中删除0.001%的数据量,而后重新训练,并发现分片技术(20个分片)使得地址相关任务的重新训练速度提高 了3.75倍,购买记录相关任务的重新训练速度提高 8.31倍(与标准模型重新训练方法比较),而且几乎不会对准确度造成影响。在配合切片方法之后,地址相关任务的速度进一步提高 了18%,购买记录相关任务的速度提高 43%,准确度同样没有降低。

公开发布的数据显示,仅删除0.001%的数据似乎太过温和,但Papernot表示谷歌搜索等服务的重新训练规模要比这个数字还低出几个量级。另外,18%的速度提升看似有限,但对于大型机使用场景来讲,已经能够节约海量时间与金钱。另外,在某些情况下,我们也许能够发现某些更有必要忽略的数据点——例如来自少数族裔或者患有特定疾病的人群,确保他们免受隐私侵犯的影响。将这些数据点集中起来,将进一步提高删除效果。Papernot表示,他们也在积极整理数据集知识,希望进一步提高SISA方法的定制化水平。

Guan解释道,某些AI方法虽然在设计上就考虑到隐私性要求,但有时候使用者仍然需要删除其中的某些特定数据点。举例来说,有些人可能不想把自己的数据交给某家声名狼藉的企业,科学家们有时候也可能需要删除引发问题的数据点(例如黑客用来「毒化」数据集的伪造记录)。无论是哪一种情况,对AI模型中的数据进行删除都将成为一种必要的手段。

Guan总结道,“很明显,我们还没有构建起完整的解决方案。但我们认为对问题做出明确定义,是解决问题的重要前提。希望人们能够在算法设计之初,就充分考虑到数据保护方面的需求。”

隐私 人工智能 AI
上一篇:一系列关键性技术趋势,将在2020年重塑慈善事业 下一篇:盘点2019年占主导地位的10种人工智能技术
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

2020年全球工业机器人行业市场现状及竞争格局分析

目前,全球工业机器人市场处于长期稳健增长阶段,但2019年全球经济下行和贸易摩擦给机器人行业带来了一定影响。

中国工业电器网 ·  14h前
外媒:科学家设计出一款类鱼软体机器人 可入深海探索

3月4日消息,据外媒报道称,近日发表在《自然》杂志上的一项研究显示,中国的一个工程师团队揭示了一种以锂电池为动力的软体机器人,它可以在深海进行探索,而这放在以前只有坚固的潜水器才能做到。

环球网 ·  14h前
自动驾驶优势显现 政协委员李彦宏:规模化商用需政策创新

无人驾驶快递车、无人驾驶消毒车……新冠疫情期间无人驾驶的优势已经开始凸显,客观上加速了自动驾驶产业化的进程。在“新基建”的浪潮中,如何及早实现自动驾驶的商业化和大规模应用,并成为智慧城市、智能交通的重要组成部分,成为本届两会关注的焦点之一。

华夏时报 ·  15h前
“天眼”破解停车难 人工智能赋能城市治理

作为解决路侧停车乃至整个智慧交通的抓手,人工智能赋能的高位视频到底有何神秘之处?新华网对此采访了技术解决方案企业和权威专家。

新华网客户端 ·  15h前
GPT-3:被捧上天的流量巨星,却有重大缺陷,很危险...

去年当红的流量明星非GPT-3莫属,能答题、写文章,做翻译,还能生成代码,做数学推理,不断被人们吹捧。不过,过誉的背后也有人开始质疑,GPT-3真的达到了无所不能的地步了吗?

佚名 ·  17h前
快20倍!谷歌AI推TensorFlow 3D,智能汽车好用

Google AI发布了TensorFlow 3D,将3D深度学习能力引入TensorFlow,加入3D稀疏卷积网络,在Waymo Open数据集上的实验表明,这种实现比预先设计好的TensorFlow操作提速「20倍」。

佚名 ·  17h前
AI脑回路竟和人类如此相似,OpenAI最新研究引热议

两个月前轰动网络的AI设计大师CLIP,刚刚被OpenAI“扒开”了脑子。没想到,这个性能强大的AI竟和人类思维方式如此相像。

浩楠 晓查 ·  17h前
AI时代,有人在悄悄模仿你的脸

当前,网络赌博、网络诈骗等违法犯罪分子为逃避警方打击,会通过支付平台进行多次资金转移。在此过程中,很多账号会被平台识别、限制支付,甚至封号。

昌吉网警巡查执法 ·  18h前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载