这些专家竞相保护 AI 免受黑客攻击。 时间不多了

Bruce Draper 最近买了一辆新车。 这辆车拥有所有最新技术，但那些花里胡哨的东西带来了好处——更令人担忧的是，也带来了一些风险。

“它里面有各种各样的人工智能：车道辅助、标志识别，以及所有其他的，”德雷珀说，然后补充道：“你可以想象所有这些东西都被黑客攻击了——人工智能被攻击了。”

许多人越来越担心——用于管理从无人驾驶汽车到关键基础设施、医疗保健等一切事物的神秘人工智能算法是否会被破坏、愚弄或操纵？

如果无人驾驶汽车可能被骗过停车标志，或者人工智能医疗扫描仪被骗做出错误诊断怎么办？ 如果一个自动安全系统被操纵让错误的人进入，或者甚至可能根本不认识那里曾经有人怎么办？

由于我们都依赖自动化系统来做出具有巨大潜在后果的决策，因此我们需要确保人工智能系统不会被愚弄而做出错误甚至危险的决策。 全市范围的僵局或基本服务中断可能只是人工智能系统故障可能导致的一些最明显的问题。 其他更难发现的人工智能系统故障可能会产生更多问题。

在过去的几年里，我们越来越信任人工智能做出的决定，即使我们无法理解所做出的决定。 而现在令人担忧的是，我们越来越依赖的人工智能技术可能会成为几乎看不见的攻击的目标——在现实世界中产生非常明显的后果。 虽然这些攻击现在很少见，但专家预计随着 AI 变得越来越普遍，还会发生更多此类攻击。

“我们正在涉足诸如智能城市和智能电网之类的领域，它们将以人工智能为基础，并且拥有大量人们可能想要访问的数据——或者他们试图破坏人工智能系统，”德雷珀说。

“好处是真实的，但我们必须睁大眼睛去做——存在风险，我们必须捍卫我们的人工智能系统。”

德雷珀是美国国防部下属研发机构国防高级研究计划局 (DARPA) 的项目经理，他比大多数人更能认识到这种风险。

他带头领导 DARPA 的保证 AI 鲁棒性反欺骗 (GARD) 项目，该项目旨在确保 AI 和算法的开发方式能够保护它们免受操纵、篡改、欺骗或任何其他形式的攻击。

“随着 AI 变得司空见惯，它被用于各种行业和环境；这些都成为攻击面的潜在部分。因此，我们希望让每个人都有机会保护自己，”他说。

即使你不能愚弄人类，也要愚弄 AI
对人工智能攻击的担忧远非新鲜事，但现在人们越来越了解深度学习算法是如何通过轻微但不易察觉的变化来欺骗的，从而导致对算法正在检查的内容进行错误分类。

爱丁堡大学数学学院数值分析教授 Desmond Higham 说：“将 AI 系统想象成一个盒子，它可以进行输入，然后输出一些决定或一些信息。” “攻击的目的是对输入进行微小的更改，从而导致输出发生重大变化。”

例如，您可能会拍摄一张人类会识别为猫的图像，对构成图像的像素进行更改，然后将 AI 图像分类工具误认为是狗。

这不仅仅是随机扰动； 这种难以察觉的变化不是随机选择的。
德斯蒙德·海厄姆
这个识别过程不是错误； 发生这种情况是因为人类专门篡改了图像以欺骗算法——一种被称为对抗性攻击的策略。

Higham 警告说：“这不仅仅是随机扰动；这种难以察觉的变化不是随机选择的。它的选择非常谨慎，可能会导致最坏的结果。” “那里有很多像素你可以玩弄。所以，如果你这样想，这些系统不能在每个可能的方向上都稳定就不足为奇了。”

诱使 AI 认为猫是狗，或者如研究人员所证明的那样，熊猫是长臂猿是一个相对较小的问题——但不需要太多的想象力就能想出小的混淆可能导致危险后果的情况 ，例如汽车将行人误认为是车辆。

如果仍然有人参与，那么错误就会被发现——但随着自动化开始获得更多控制，可能没有人仔细检查 AI 的工作以确保熊猫确实是熊猫。

“你可以进行对抗性攻击，人类会立即将其识别为变化。但如果循环中没有人，那么重要的是自动化系统是否被愚弄了，”Higham 解释道。

更糟糕的是，这些不仅仅是理论上的例子：几年前，一些研究人员展示了他们如何创造 3D 对抗性物体，这些物体可以让神经网络误以为乌龟是步枪。

加州大学伯克利分校的 Dawn Song 教授还展示了停车标志上某些位置的贴纸如何诱使 AI 将其解读为限速标志。 研究表明，控制自动驾驶汽车的图像分类算法可能会被愚弄。

这里有一些注意事项——贴纸的设计方式会被图像分类算法误解，因此必须将它们放在正确的位置。 但是，如果有可能以这种方式愚弄 AI，即使精心策划了测试，研究仍然表明存在非常真实的风险，即算法可能被欺骗以可能对他们仍然有意义的方式做出响应，但对我们来说却不是。

我们如何阻止对人工智能的攻击？
那么，如何应对这些令人不安的挑战呢？ DARPA 耗资数百万美元的 GARD 项目可能会提供帮助，该项目具有三个主要目标。 首先是开发算法，以保护机器学习免受漏洞和中断的影响。 第二是围绕如何确保 AI 算法在技术变得更先进和更免费可用时仍能抵御攻击发展理论。

第三，GARD 的目标是开发能够抵御 AI 系统攻击的工具，并评估 AI 是否得到了很好的防御，然后广泛共享这些工具，而不是在该机构内部储存它们。

已经有一个令人沮丧的先例——互联网本身的发展就是一个很好的例子，说明当安全被抛在脑后时会发生什么，因为我们仍在努力对付利用新旧系统漏洞和漏洞的网络罪犯和恶意黑客。 技术。

有了 AI，风险就更高了。 GARD 的目标是在为时已晚之前防止对人工智能的滥用和攻击。

“我们中的许多人现在都在使用人工智能，但我们经常以非安全关键的方式使用它。Netflix 推荐我接下来应该看的东西——如果它被黑了，它不会毁了我的生活。但如果我们考虑事情 就像自动驾驶汽车一样，我们的 AI 系统是否安全并且没有受到攻击变得更加重要，”Draper 解释道。

他说，目前，实践中的对抗性 AI 数量非常少，但我们认为未来不会。 “我们认为，随着 AI 变得更有价值、更普遍，它将会增长——这就是为什么我们现在正试图在 GARD 上做这项工作，”他警告说。

DARPA 正在与包括 IBM 和谷歌在内的多家科技公司合作，为 DARPA GARD 计划提供、库、数据集和培训材料，以评估 AI 模型的稳健性及其对对抗性攻击的防御能力，这两者都是他们的 今天所面对的，以及将来所要面对的。

GARD 的一个关键组件是 Armory，这是一个虚拟，可在 GitHub 上获得，它可以作为研究人员的试验台，供需要对他人创建的对抗性防御进行可重复、可扩展和稳健评估的研究人员使用。

另一个是 Adversarial Robustness Toolbox (ART)，这是一套供开发人员和研究人员保护其机器学习模型和应用程序免受对抗性威胁的工具，也可以从 GitHub 下载。

ART 由 IBM 在 GARD 计划之前开发，但它已成为该计划的主要部分。

“IBM 长期以来一直对可信 AI 感兴趣。要拥有任何机器学习模型，你都需要数据——但如果你没有可信数据，那么它就会变得棘手，”领导 AI 的 Nathalie Baracaldo 说 IBM 阿尔马登研究中心的安全和隐私解决方案团队。 “我们看到了 DARPA GARD 项目，我们看到它与我们正在做的事情非常一致，”她补充道。

“它分为两部分；ART Blue Team 是你试图捍卫的地方，但你还需要评估那里的风险是什么，以及你的模型有多好。ART 为蓝队和红队提供了工具 ”巴拉卡尔多解释道。

构建和工具来评估和保护 AI 系统免受当今威胁已经足够困难了。 试图弄清楚明天黑客将向这些系统投掷什么更难。

“稳健性研究的主要挑战之一是，你可以尽你所能做好一切，认为你是对的，发表你的论文——然后其他人提出更好的攻击，然后你的主张可能是错误的， ”谷歌深度学习 AI 研究团队 Google Brain 专门研究机器学习和计算机安全交叉领域的研究科学家 Nicholas Carlini 解释道。

“有可能同时尽可能努力地尝试正确和错误——而且这种情况一直在发生，”他补充道。

Carlini 在 GARD 项目中的职责之一是确保有关 AI 鲁棒性的研究是最新的，并且确保从事防御性解决方案的团队不会开发在完成之前就会过时的东西——同时还为其他人提供指导 参与帮助进行自己的研究。

“这里的希望是，通过向人们展示已知会被破坏的事物列表以及如何破坏它们的解决方案，人们可以研究这个，”他解释道。

“因为一旦他们擅长破坏我们知道如何攻击的东西，希望他们可以将其扩展到知道如何破坏他们自己创造的东西。然后通过这样做，他们将能够产生更多的东西 很可能是正确的。”

为什么数据中毒会毁了人工智能
虽然 DARPA 和其他机构所做的大部分工作都是为了防范未来的威胁，但已经有 AI 算法被操纵的例子，无论是研究人员试图保护事物还是试图利用它们的攻击者。

“学术文献中最常见的威胁是对图像或视频的直接修改。熊猫看起来像熊猫，但它被归类为校车——诸如此类，”高级首席研究员大卫·斯莱特 (David Slater) 说。 Two Six Technologies 的科学家，这是一家与国家安全机构合作并参与 GARD 项目的网络安全和技术公司。

但这种直接修改只是一个风险。 也许更大的威胁来自数据中毒，即用于创建 AI 的训练数据被攻击者更改以改变 AI 做出的决定。

“数据中毒可能是最强大的威胁之一，也是我们应该更加关注的事情。目前，它不需要一个老练的对手来实现。如果你能毒死这些模型，那么它们就会 在下游广泛使用，你会成倍增加影响——一旦中毒进入模型，就很难检测和处理，”Slater 说。

如果该算法是在封闭环境中训练的，那么在理论上，除非黑客可以闯入，否则它应该得到相当好的保护，免受毒害。

但是，当人工智能在从公共领域提取的数据集上接受训练时，就会出现一个更大的问题，尤其是当人们知道这种情况时。 因为有些人——要么是想造成破坏，要么只是为了制造麻烦——会试图毒化算法。

“现在我们生活在一个我们从各处收集数据的世界——模型是从整个互联网的数据中训练出来的，现在你不得不担心中毒，”Carlini 说。

“因为当你要爬网并根据人们给你的任何东西进行训练时，互联网上的一部分人只想看着世界燃烧，他们会做恶意的事情，”他补充道。

这种趋势的一个臭名昭著的例子是微软的人工智能机器人 Tay。 微软将 Tay 发送到 Twitter 上与人类互动并向人类学习，这样它就可以学会如何使用自然语言并像人一样说话。 但在短短几个小时内，人们将 Tay 腐蚀为说出冒犯性的话，微软将其撤下。

这是在考虑如何保护 AI 系统免受数据中毒时需要考虑的问题——这也是 GARD 的目标之一。

“我们正在考虑的一件事是，我们如何评估中毒情况下的防御措施——这非常具有挑战性，”Carlini 说。

因为虽然训练聊天机器人具有攻击性是不好的，但如果算法正在学习重要信息，例如医疗数据，并且这种洞察力被破坏，那么对患者的影响可能是灾难性的。

“有人可以看看文献，看看攻击这些东西是多么微不足道，所以也许我们不应该根据这条信息来预测癌症——也许我们仍然应该让人类参与进来，”卡里尼建议道，他希望 GARD 的工作将有助于使系统更加安全，即使这意味着推迟这些技术的更广泛使用，因为从长远来看，这将带来更大的利益。

当今世界的人工智能
我们已经可以看到一些与人工智能安全相关的问题在现实世界中显而易见。

例如，人们突然对 AI 艺术生成器产生了兴趣。 你可以给他们一些你的自拍，他们会创建一系列艺术头像，然后你可以在社交媒体上使用这些照片。 这些 AI 系统接受了互联网上数百万张图像的训练，可以根据多种类型生成新图像。 问题是人工智能也倾向于包含在原始艺术中发现的偏见，创造女性的性感形象，并将西方风格置于其他风格之上。 人工智能正在复制——并强化——在用于训练它的数据中发现的偏见。

ChatGPT 是另一个关于 AI 未来挑战的有趣案例研究。 聊天机器人引起了轰动，并展示了人工智能如何颠覆从编程到撰写论文的一切。 但它的兴起也向我们展示了人工智能远非完美，即使我们希望它如此。 例如，ChatGPT 支持的 Bing Chat 的早期用户发现，使用所谓的“提示注入”攻击来让聊天机器人揭示管理其行为的规则及其代号（悉尼）相对容易。

随着早期用户继续他们的测试，他们发现自己与机器人就事实发生争执，或者他们卷入了越来越奇怪和令人不安的对话。 因此，毫不奇怪，微软现在已经对机器人进行了调整，以阻止它发出一些更奇怪的话语。

所有这些威胁都意味着要尽早保护 AI 免受攻击，而不是稍后，所以我们不是在追赶——就像我们在网络安全和互联网上必须做的那样。

“如果我现在是一个坏演员，网络攻击会更容易——这是我已经知道的事情，而且很多公司还没有充分防御。我可以用网络攻击造成很多破坏。但是作为 网络防御变得更好，我们开始看到更多的人工智能攻击，”DARPA 的 Draper 说。

GARD 项目的主要目标之一是将工具交到开发人员和部署基于 AI 工具的公司手中——在此基础上，该计划已被证明是成功的。

“我们知道 ART 的使用正在迅速增加，”Draper 解释说。 “如果没有人开始讨论它，我们就不会有这些工具的受众。但我认为现在是时候了——有兴趣，就有受众，”他补充道。

我们最不想要的是在我们都在使用自动驾驶汽车并且有人想出如何打败它们的道路上出现噩梦场景； 它可以让一个城市停下来。
布鲁斯·德雷珀
DARPA GARD 项目的主要目标之一是展望未来并创造遗产以保护 AI 向前发展。 这就是行业协作发挥如此关键作用的原因。

“我们正在努力做的就是把所有这些都拿出来。因为如果政府使用它就很好，但我们都从商业部门买我们的系统。我们最不想要的是未来的噩梦场景 我们都在使用自动驾驶汽车，有人想出了如何打败它们；它可以让一个城市停下来，”德雷珀说。

“这将是一场永恒的猫捉老鼠游戏；有人会尝试提出更好的攻击，所以这还没有结束。但这是试图建立一个开源社区的一部分，希望社区成为 致力于这个存储库，它可以成为一个积极的学习资源，”他补充道。

IBM 的 Baracaldo 认为这种社区意识对整个项目至关重要。

“当很多人做出贡献时，工具会变得更好。因为当一个人或一个实体拥有某样东西并将其发布时，他们并不确切知道其他用例是什么——但其他人 可能，”她说。

“如果某件事对你有用并让你的研究变得更好，你就会更倾向于让自己变得更好并帮助社区。因为你希望社区在你的研究中使用你正在做的事情。所以，我认为它有帮助 很多，”Baracaldo 补充道。

坏演员不会消失。
大卫斯莱特
对于 Two Six’s Slater 来说，GARD 的开源元素对于长期成功也至关重要——确保系统在 DARPA 奠定的基础上保持稳健和安全也是如此。

“如果我们对实际最终用户产生影响，我认为这很重要。我们是否已经足够大声地敲响警钟，让人们觉得‘好吧，是的，这是个问题’，我们需要解决这个问题，所以 我们将对其进行投资。”

持续投资至关重要，因为在 GARD 的计划结束后，恶意攻击者不会突然消失。 “这很重要，因为两年后 DARPA 计划就会消失。但我们仍然需要社区为此努力，因为不幸的是，不良行为者不会消失，”他说。

“随着人工智能对我们的生活变得越来越重要，它对我们的生活也变得越来越有价值。我们真的需要学习如何保护它。”