让自动驾驶撞墙,刷别人的脸付账:最新的AI漏洞让我们开眼界

作者: 泽南 2020-10-28 15:12:38

 那些专家们曾经担心过的 AI 算法漏洞是可以实现的,没想到过的也可以实现。

刚刚过去的 1024,极棒大赛上演了全新形式的人机攻防对决。

劫持正在飞行的无人机、干扰自动驾驶汽车 「致盲」、戴上口罩刷别人的脸结账,在上周六的 GeekPwn 2020 国际安全极客大赛上,全球顶级白帽黑客们向我们揭开了 AI 模型、物联网、5G 等领域的不少未知漏洞。

本次大赛,有超过 600 支来自不同科技公司、大学的极客队伍报名参赛,最终有近 50 支在 10 月 24 日共同面向 500 万元奖金池发起了冲击。

决赛开始之前,今年的 GeekPwn 大赛早在 3 月即开放了各赛题的报名,4 月份各项比赛公布规则,在 8 月底 CAAD 线上比赛宣告结束。10 月 24 日来到现场的团队,各个身怀绝技。

他们面临的挑战也不同以往——主办方为选手们准备了全新的挑战。今年的八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下还分为多个单项比赛,关注不同的方向。

让自动驾驶撞墙,刷别人的脸付账:最新的AI漏洞让我们开眼界

其中,腾讯安全联合 GeekPwn 举办的国内首个新基建安全大赛涵盖了 5G、物联网和人工智能,其中各个挑战者们针对车联网、无人机、安检设备、智能电表等目标的破解,让人们对这些产业的安全有了新的认识。

戴上口罩,刷别人的脸

刷脸门禁、手机解锁、机场安检…… 使用人工智能算法的人脸识别,最近已经成为人们每天都在使用的技术。因为 2020 年初的新冠疫情,越来越多佩戴口罩的情形为人脸识别带来了新的挑战。有一些科技公司已经推出了即使戴上口罩也能识别出人脸的新技术,据称准确率可以达到 99%。但另一方面,人们佩戴的口罩覆盖了人脸的很大一部分面积,也为加入对抗样本进行人脸识别破解留下了「后门」。

这场挑战模拟了人脸识别自动售货机和 ATM 取货场景,选手们可以利用 AI 算法自制印上攻击样本的口罩遮挡自己的面部,需要在 150 秒内让售货机与取款机人脸识别算法识别成主办方指定的目标,包括蒋昌建、「美国队长」克里斯 · 埃文斯、伊隆 · 马斯克等人。

在这其中,挑战的目标还包括白盒算法(ArcFace 算法)与黑盒算法两个赛道。顾名思义,黑盒算法是指攻击者事先并不知晓人脸识别算法的构成,破解难度更大。

让自动驾驶撞墙,刷别人的脸付账:最新的AI漏洞让我们开眼界

GeekPwn 创始人王琦(大牛蛙)戴上了假冒主持人蒋昌建的口罩:AI 对抗样本的攻击,并不是把目标人脸的一部

比赛对于两台机器各设置了三个难度递增的关卡,每一关口罩的有效攻击区域依次递减,对抗样本图案在口罩上的面积从 75%,降低至 67%,再降低至 50%,难度逐渐增大,前一关挑战失败则意味着失去后一关的挑战资格。

入围决赛的团队包括 AFMask 团队,海棠初白团队,来自清华大学和北京大学的动动动动弦团队,以及来自清华大学计算机系和 RealAI 的 TSAIL 队。

戴上口罩,我就能变脸取钱吗?我们时常会听到各家厂商谈起「金融级别安全」的支付技术,要想破解跟钱有关的人脸识别系统,并不是说说那么简单的,事实上比赛的进程也验证了人们的预料。

第一个出场的动动动动弦团队,在第一轮两个挑战均告失败;第二组 AFMask 团队两项第一轮均破解成功,但在第二轮两项均挑战失败。TSAIL 和海棠初白两队也都倒在了第一轮。

刷脸支付难以破解,或许也是因为挑战的规则略显严格:每次尝试仅有 45 秒时间,只有一组队伍闯过了第一关。另外由于比赛只要求「置信度」达到 50% 即告闯关成功,在现实世界中支付环境的要求显然更高,对于我们来说,刷脸支付被「盗号」的可能性仍然很低。

让 Autopilot「自动撞墙」

自动驾驶虽然距离大规模应用还有一段时间,但是在量产车上已经有不少可以让司机解放双手的辅助驾驶功能了。对于不少人来说,有没有 L2 级自动驾驶已经成为了最近买车时着重考虑的因素。在本届极棒大赛中对自动驾驶的干扰挑战,向我们展示了这种技术的一些隐患。

进行本次挑战的白帽黑客吴潍浠表示,要对汽车自动驾驶系统中的毫米波雷达进行干扰,采用的设备体积很小,价格也不贵。目前毫米波雷达是各类传感器中公认稳定性较高的方式。

我们知道,目前的一些辅助驾驶技术,如特斯拉上的 Autopilot,是通过摄像头和雷达来收集路面信息的,不同汽车选择的传感器不太一样(如特斯拉就没有用到激光雷达),但算法会收集所有的输入信息进行综合判断。技术人员制作的攻击用白色小盒子,看起来很不起眼,但它可以造成的扰乱效果却可以「致命」。

让自动驾驶撞墙,刷别人的脸付账:最新的AI漏洞让我们开眼界

首先是没有干扰的测试,汽车的自动驾驶会在遇到纸箱堆成的「墙」面前停下来。

把干扰器放到「墙脚下」,令人疑惑的现象出现了:汽车在进入自动驾驶模式后,看到眼前由纸箱堆成的墙之后似乎犹豫了一下,有一个减速过程,但无法识别前面的物体又加速撞了上去。最终「事故」发生,在实际环境下的黑客攻击宣告成功。

在很多带有自动驾驶功能的汽车中,只要有一种传感器给出危险讯号,则系统就会指示车辆刹停。但在实验中汽车仍然撞向障碍物,这次挑战的成功,让人们意识到在自动驾驶汽车进入实用化之前,还有很多工作要做。

据主办方 GeekPwn 介绍,毫米波雷达攻击的测试结果已提交给特斯拉方面,黑客们也将帮助车企对自动驾驶安全进行持续改进。

在 10 月 24 日的比赛现场,还有很多挑战成功的项目:来自 TQL(清华 - 奇安信联合研究中心)的安全研究人员利用位未知安全漏洞以云端接入的方式,对正在作业的植保无人机发起攻击,成功获取了植保无人机的最高使用权限,使其偏离原定航道。来自凤凰解码(Phoenix Decoder,PhD)的白帽黑客也成功利用视频协议中的未知安全漏洞,以网络接入云端的方式,对智能摄像头实施了远程攻击。

这些闻所未闻的漏洞,为什么都出现在 GeekPwn 上?

最近一两年里,我们见证了人工智能技术的大量落地。在每天都面临各种变化的安全领域,新的形势与挑战正在出现。实际上,AI 安全有两层含义:即用 AI 方法解决安全问题,以及 AI 技术的安全防护问题。

「GeekPwn 曾经举办过的『数据追踪挑战赛』,鼓励人们用 AI 的方法从大量的数据中快速、准确的定位恶意网站或恶意应用,」极棒大赛负责人杨泉说道。「在 AI 技术大量进入实践阶段时,其自身的安全问题,又成了人们需要重点关注的领域。GeekPwn 连续多年举办的 CAAD(对抗样本攻防赛)比赛对人工智能可能存在的安全问题进行赛题设置,通过比赛的方式暴露 AI 算法的缺陷,进而促进人工智能更健康的发展。」

让自动驾驶撞墙,刷别人的脸付账:最新的AI漏洞让我们开眼界

站在攻击者的视角将威胁预演,提前暴露风险,并警告被破解厂商,是提升数字安全防御体系长久以来一直通行的方式,这也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已经是第七届了,在这些年的极棒大赛里,我们见证了 AI 技术的大规模应用,以及「对抗样本攻击」等破解技术的兴起,极客们在赛场上已经披露了数百个高危漏洞。

今天,每个人都在使用各种各样的电子设备,这说明安全漏洞在我们的生活中普遍存在。然而我们一直在享受新技术带来的便利,却忽略了技术背后存在的隐患,极棒通过挑战比赛的方法将未知漏洞展示出来,让人们对于新技术有了更多的认识,同时也唤起了对于技术安全防范的重视。

除了发现漏洞,还有培养新人。本届 GeekPwn 还举办了首届「少年黑客马拉松大赛」,吸引了很多十到十六岁的黑客前来参赛。相比热度越来越高的机器学习,信息安全有时会被人们认为门槛过高,不过杨泉对此有着不同的看法。

「各个行业都有自己的入行『门槛』,我不认为行业不同,门槛就有高下,」杨泉表示。「AI 现在正被人热捧,可是人工智能已经经历了六七十年默默无闻的发展历史。目前看网络安全的人才有很大缺口,是因为近些年网络安全越来越受到重视,行业需求越来越大。至于门槛高低,从个体来谈,更多的是对网络安全行业的热情和投入,只要具备一定的基础知识,加上必须的努力和研究,就会取得不错的成绩。」

极客们还将继续挑战自我,为构建安全的应用作出更多贡献。而极棒大赛的组织者们表示,明年的 GeekPwn 还会有更多新比赛出现。但是,始终不变的是发现、鼓励、培养安全人才。GeekPwn 希望能让更多人了解、理解安全,让人们生活的更加安全。

AI 自动驾驶 漏洞
上一篇:加快中风的诊断和治疗——AI来了 下一篇:万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

家里没有王位继承?没关系,有人用AI打造了一个童话魔法世界

「童话魔法」是一项基于生成式算法的视频特效技术,可以让用户在手机端实时预览自己变身公主、王子的神奇效果。生成的图像不仅有着浓浓的童话风格,而且还保留了用户自身的容貌特点,带给用户新奇的拍摄体验。

机器之心 ·  2天前
老外大学生发明AI模型:可快速生成中国山水画 人眼难辨真假

近日,普林斯顿大学本科生Alice Xue的毕业论文,获得了普林斯顿2020优秀毕业论文奖。

拾柒 ·  2天前
重磅!AI解决生物学50年大挑战,破解蛋白质分子折叠问题

11 月 30 日,一条重磅消息引发了科技界所有人的关注:谷歌旗下人工智能技术公司 DeepMind 提出的深度学习算法「Alphafold」破解了出现五十年之久的蛋白质分子折叠问题。

机器之心 ·  3天前
2020年AI状况调查:25%的公司因采用AI收入显著增长

近期,麦肯锡发布了有关AI状况的全球调查报告,这是该报告连续第三年发布。

包永刚 ·  3天前
这个AI能帮女朋友自拍:照片生成3D视频

爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度。现在可以把选最美角度这件事交给AI了,让妹子不再苦恼。只要几张照片,它能从中生成各种角度的自拍。

晓查 ·  2020-11-29 18:58:44
国外公司制造无需人参与的AI训狗机器

据外媒,在旧金山动物保护组织 SPCA 的合作下,一家名为 Companion Labs 推出了无需人参与的 AI 训狗机器 CompanionPro。

王嘉陆 ·  2020-11-29 18:42:21
就算戴上口罩,AI也知道你在说啥

现在,检测面部肌肉变化的AI来了,只要你动了嘴,哪怕没出声,它也能知道你在说什么。

萧箫 ·  2020-11-27 19:08:51
AI生成肖像画,精细到毛发!北大校友最新研究收割2.8k星标

这款AI工具叫U∧2-Net(U Square Net),最近火到不行!不仅登上了GitHub热榜,收割了2.8k星标,还被顶会ICPR 2020 选中。

贝爽 ·  2020-11-27 17:57:08
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载