微软开放 AI 系统工具 Counterfit 源代码

作者: 王德清 2021-05-06 09:58:08

 近日,微软开源了 AI 安全风险评估工具 Counterfit,该工具旨在帮助开发人员测试 AI 和机器学习系统的安全性。该公司表示,Counterfit 可以使组织进行评估,以确保其业务中使用的算法是可靠和可信赖的。

当前,人工智能技术正越来越多地应用在医疗,金融和国防等受监管的行业中。但是,组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现,部分企业用户表示,他们没有合适的资源,以确保他们的 AI 系统的稳定性和安全性。

微软表示,Counterfit 诞生于该公司评估 AI 系统是否存在漏洞的需求,目的是主动保护 AI 服务。该工具起初是专门为目标 AI 模型编写的攻击脚本集,然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层,Counterfit 是一个命令行实用程序,为对抗性框架提供了一层,并预先加载了可用于逃避和窃取模型的算法。Counterfit 寻求使安全社区可以访问已发布的攻击,同时提供一个界面,通过该界面可以构建,管理和发起模型攻击。

当使用 Counterfit 在 AI 系统上进行渗透测试时,安全团队可以选择默认设置,设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用 Counterfit 的内置自动化功能进行扫描,并可以选择多次扫描,以创建操作基准。

Counterfit 还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样,遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部,微软将 Counterfit 用作其 AI 红色团队运营的一部分,并在 AI 开发阶段中使用,以在漏洞投入生产之前发现漏洞。该公司还表示,它已经与多家客户进行了 Counterfit 的测试,其中包括航空航天巨头空客公司(Airbus),该公司正在开发基于 Azure AI 服务的 AI 平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员 Matilda Rhode 在一份声明中说:“确保这种技术的安全至关重要,特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上,企业希望人们相信 AI 是不受操纵,是安全的。1 月发布的 Gartner 的“管理 AI 风险的 5 大优先事项”框架中的一项建议是,组织“ 针对攻击性攻击采取特定的 AI 安全措施,以确保抵抗和复原力。”这家研究公司估计,到 2024 年,实施专门的 AI 风险管理控制的组织将避免负面的 AI 结果的发生频率是未消除负面结果的两倍。”

根据 Gartner 的 一份报告,到 2022 年,所有 AI 网络攻击中有 30%将利用训练数据中毒,模型盗窃或对抗性样本攻击以机器学习为动力的系统

微软 AI 系统工具 Counterfit 源代码
上一篇:AI模型新革命来了?大脑记忆是旋转的?过去未来竟是「正交」空间 下一篇:企业如何布局人工智能并从中获取价值
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

为什么说微软收购Nuance公司是一件大事

这是微软公司自从以260亿美元收购LinkedIn公司以来最大的一笔收购交易,它充分说明了微软公司在人工智能方面的发展战略。

Ben Dickson ·  2021-04-20 10:06:57
值得思考:197亿美金,微软2021年的AI转型之路

4月12日,微软宣布将以每股56美元的价格收购语音识别巨头Nuance,出价达到了197亿美元。

东方林语 ·  2021-04-15 08:12:45
微软人工智能语音技术支持 “多情感程度”调节,细腻演绎 “人声”

IT之家4月12日消息 近期,微软发布最新语音技术,支持 “情感程度”轻松调节,令智能语音的情感表现力更加细腻可控。

玄隐 ·  2021-04-13 06:13:33
微软自定义神经语音技术已允许用户创建高度逼真、类似于人类的声音

3月4日消息 据微软官方发布,近期,Azure 认知服务中的语音服务的一部分——自定义神经语音 (Custom Neural Voice)——文本到语音功能已普遍推出。

骑士 ·  2021-03-04 10:18:28
微软工程师用PyTorch实现图注意力网络,可视化效果惊艳

近日,一个关于图注意力网络可视化的项目吸引了大批研究人员的兴趣,上线仅仅一天,收获 200+ 星。

佚名 ·  2021-02-02 14:47:58
微软的自动驾驶战略:不造车 要为企业提供技术支持与云服务

微软将利用这些初创公司的专业知识和经验增强自身自动驾驶专用型云及AI服务,再借此吸引更多非合作伙伴客户。

佚名 ·  2021-01-26 21:07:07
AI无界,因你声动:微软携手公益和行业伙伴,以科技助力爱心绽放

12月2日,微软与周迅AI语音红丹丹公益项目发起人——鹿音苑文化传播公司、以及来自微软及各界的150名余志愿者,将创作的首批人工智能有声内容,包括鲁迅、老舍、萧红、朱自清等作家的一系列经典作品、红丹丹文化期刊,正式捐赠给北京市红丹丹视障文化服务中心(下文简称“红丹丹”)“心目图书馆”。红丹丹为微软、鹿音苑文化传播公司及志愿者代表授予志愿者证书。

佚名 ·  2020-12-02 17:45:39
微软和谷歌分别开源分布式深度学习框架,各自厉害在哪?

原则上看,他们都遵循了类似的原则来训练深度学习模型。这两个项目已在各自的研究论文(PipeDream,GPipe)中进行了详细介绍,这篇文章将对此进行总结。

佚名 ·  2020-11-09 10:50:19
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载