在今年年末即将开始的人工智能网络挑战赛(AIxCC)“公开赛道”(Open Track)注册期之前,本期“DARPA之声”(Voices from DARPA)节目邀请到了DARPA负责该比赛的项目经理佩莉·亚当斯(Perri Adams)。在未来两年中,AIxCC挑战参赛团队将开发人工智能驱动的系统,以自动发现并正确修复支撑日常生活的关键代码。亚当斯分享了AIxCC的背景故事,讨论了她希望谁参加比赛(和做什么),以及网络安全的利害关系。
来自 Linux 基金会旗下开源安全基金会(OpenSSF)和OpenAI的AIxCC合作者也参与了亚当斯的讨论。OpenSSF的总经理奥姆卡·阿拉斯拉特南(Omkhar Arasratnam)和OpenAI的安全主管马特·耐特(Matt Knight)讨论了他们在挑战赛中的角色,并给未来可能的参赛选手们提出了一些参考建议。
有关如何报名参加AIxCC赛事的信息,请登录AICyberChallenge.com网站查阅。
音频全文文本如下:
加入DARPA就像抓住火箭的机头,您会毫不退缩,勇往直前。DARPA是一个你不发明互联网,就会发明其他东西的地方。DARPA项目经理的确能够创造明天。每天到DARPA上班,您都会感到催人奋进。DARPA不是一个人或一个地方。DARPA是一群致力于推动技术进步并为此狂热的科研工作者家园。
大家好,欢迎来到DARPA之声。我是你们的主持人,汤姆·肖特里奇(Tom Shortridge)。如果你参加了2023年的黑客大会,你可能会听到该活动的创始人杰夫·莫斯(Jeff Moss)这样说过“我经常说,我们的社区可以提供很多东西。人工智能的问题是全球性的问题。”因此,我们要告诉你们一个令人激动的好消息,从发明互联网、催生DARPA的这群科研工作者中,我邀请到了佩里·亚当斯。DARPA正在寻求下一代人工智能防御技术,发起挑战,推动创新,汇集各地英才来解决这项关键挑战。这就是为什么我今天很兴奋地在这里宣布这项挑战,我希望挑战成功。DARPA的人工智能网络挑战赛要求人工智能和网络安全领域最优秀和最聪明的人才来捍卫美国人所依赖的所有软件。让我们回味一下,这意味着什么,我们该如何实现这一步?在这一集的《来自DARPA的声音》中,我们将深入探讨DARPA发起的这项最新挑战比赛——人工智能网络挑战赛,听听主要组织参与者讲讲,为什么现在是利用人工智能和机器学习领域最新成果的良机。我们整个社会运行依靠各种各样的软件,这为恶意网络攻击犯罪行对各行各业发起攻击提供了条件。尽管安全软件开发实践已经取得了重大进展,但是直到今天,最先进的安全工具也无法全面应对这些风险。来,有请佩里·亚当斯。她是人工智能网络挑战赛的项目经理,请她给我们讲述她当初是如何涉足人工智能网络挑战这一领域的。
Perri Adams:当我在大学主修计算机科学时,有人邀请我参加“夺旗赛”(CTF)俱乐部开展网络安全技术竞技,后来,我完全迷上了。因此,我也了解了软件中的各种漏洞,黑客们会如何利用这些漏洞对软件开展恶意攻击,以及我们应该如何防范。从各种竞技比赛中,我学到了一系列技能,从逆向工程到二进制开发,再到应用程序安全和密码学。毕业后,在加入波音防务公司后,我还继续参加了这类比赛,并且在波音公司从事关键任务系统的安全工作。后来,我去了26科技公司(Two Six Technologies)。在该公司,我参与了许多DARPA项目。实际上,当时是我第一次接触DARPA,我参与了DARPA的一个名为“人机探索网络安全”(CHESS)项目(注:2018年5月美国DARPA公布“人机探索网络安全”(CHESS)项目,旨在融合人工和计算机网络防御系统,发挥各自优势、规避现有局限性,进而发挥“1+1>2”的联合效应。),但是,这次参与经历令我从此着迷。本质上,我是靠参加CTF来赚钱的。我们团队由一些专家黑客组成,负责与CHESS项目中计算机人类团队特别设计的软件系统进行攻击对抗,以发现这些软件的各种漏洞。因此,我不仅要专注于培训一个团队,让他们真正与软件安全工具的前沿技术对抗,还要参与许多其他项目,这些项目重点类似我们称之为程序分析领域,即开发各种方法来自动化理解各部分代码。因此,需要了解漏洞可能在哪里,找到它并修复它。此后,作为承包商,我加入了DARPA,为DARPA项目提供建议。并且,后来我成了项目经理PM。
对抗赛虽然它与后院游戏《夺旗》或《CTF》同名,但是略有不同。我们不是跑来跑去从别人那里抢夺旗帜。之所以称之为“夺旗”,是因为我们不是入侵他人电脑,而是要入侵比赛设定的电脑。证明成功入侵的方式是您能拿到该电脑上存储的标志文件。一旦成功入侵,打开文件,文件里会有一串字符,有一些单词,本质上,它们是一些您不能随机猜测到的东西。您需要提交这份标志性文件,我们称之为旗帜,这面旗帜它告诉比赛的人,嘿,你成功地侵入了那台电脑。还有另外一些方式,可能需要您做一些逆向工程。就像我们所说的,标志文件可能会是混淆或隐藏在二进制文件中,或者在编译的计算机程序中,你必须对它进行逆向工程。这是另一种对抗比赛方式。但是,最终,这是大家在安全、有趣的环境中探索黑客的一种方式。它确实推动了计算机安全领域的许多创新。这得回顾一下2016年的DARPA网络大挑战赛CGC(Cyber Grand Challenge),在DEF CON 24举行的总决赛。大家参加了有史以来第一次自动网络攻防竞赛,这是有史以来最复杂的自动寻虫系统之间的第一次正面对抗。这些机器在一个特别创建的计算机测试环境中开展了经典的网络安全演习,在定制的、从未分析过一系列错误的软件中,夺取完全隐藏的“旗帜”。要求在几秒钟内,而不是通常的几个月内,找到并修补容易被黑客攻击的有缺陷代码,并抢先对手找出对方的弱点。CGC创造了第一代人工智能来解决这一问题,代表了自动漏洞发现和补救方面的一次重大飞跃。因此,它开创了新的程序分析方法,对专家推理和逻辑进行人工智能编码,它们涉及到自动理解代码和理解漏洞,识别它们并将实现这些推理系统的自我修复,以自动发现软件中的错误并提出修复建议。现在,当我说第一代人工智能时,那是因为在网络大挑战的决赛中实际上没有使用太多或任何机器学习。然而,自从七年前举办网络大挑战以来,我们已经看到了机器学习的巨大进步。现在,AIxCC它不是另一场网络大挑战赛,但它确实会利用网络大挑战赛的重大成果。
近年来,由于无数恶意网络攻击行为的出现,社会面临着巨大的网络威胁,更加突显了网络防御者负责保护社会免受攻击的重要性。人工智能,包括大型语言模型,可以用于公共利益。这就是为什么DARPA聚集顶尖人工智能研究人员,利用这项技术来防止软件入侵,保护并捍卫为我们关键基础设施提供动力的各种软件。虽然AIxCC具体的赛事结构和比赛方式尚未公布,但该赛事将举办资格赛、半决赛、决赛三场比赛。资格赛,半决赛将于2024年在DEF CON举行,决赛将于2025年在DEF CON举行。每场比赛都会由主题专家团队设计并评估,他们会基于真实世界、关键、开源和关键基础设施软件设计一系列挑战。团队将设计人工智能驱动的系统,以发现并修复这些挑战中的漏洞。竞争的核心是希望应用这项新技术来解决我们社会仍然面临的重大实际问题。因此,保护这些关键基础设施上大规模运行的各种软件是核心主题。因此,我们可能会重点针对水处理厂或电网上应用的各种软件。我们需要实时保护这类软件。我们希望挑战赛中的这类软件和设计的技术挑战,能够真正代表当今现实世界遇到的攻防问题。我们希望开展的这些挑战赛能够推动现实世界问题各种实用系统的开发。所以我们会在开源软件的基础上模拟开展攻防挑战,因为开源软件实际上是整个社会的主体软件,它们占到了关键基础设施领域软件总数的近80%。从商业到政府系统,再到家用路由器或家用电脑上,这些方面运行的各种软件都非常重要。它们在软件供应链以及我们的关键基础设施中无处不在,至关重要。因此,这对我们来说是一个机遇,我们需要让真正的开源安全专家参与,请他们就当前发现的各种问题和漏洞给我们提出防御应对措施,并帮助我们设计出一些有用的工具,真正有助于解决现实世界中这些问题。这些专家,其中来自开放源码安全基金会,或OpenSSF——Linux基金会的一个项目。来,让我们采访一下OpenSSF的总经理Omkar Arasaratnam。
Omkar Arasaratnam:开源软件无处不在,从你拍摄视频用的各种手机软件,发电厂用到的软件,甚至到你家附近供水和污水处理厂用的控制系统软件,这些都可能是开源软件。开源安全的责任并不是仅靠一个维护者、一家科技公司、一家关键基础设施的运营商、公共部门或私营部门,这是每个人的责任。因此,2020年夏天,创建了开源安全基金会(OpenSSF),旨在为聚集所有的利益相关者,提升广大公共利益服务的开源软件的安全性。事实上,任何开发软件都会存在漏洞问题,无论是开源还是闭源。开源软件是开放的,每个人都可以查看,因此,这也是保护开源软件更容易一点的原因之一。以前有这样的假设,哦,源代码开放了,它是不安全的。我认为我们已经很大程度上证明了这是不正确的。源代码开放并不意味着任何东西不安全。事实上,如果您依靠的是封闭作为安全属性,您可能需要重新考虑安全架构。当然,我们也可能会走到极端,可能会说,都是开源的,有成千上万只眼睛盯着,因此,这些漏洞bug都很粗浅。我们发现事实上也并不完全是这样。因此,我们认为,无论是开源还是闭源,都并不能说明源代码的可用性或许可协议,而重点是开发人员如何确保软件安全的策略问题。最重要的是,因为我们都是人,当发现漏洞时,我们会如何快速有效地解决该漏洞。
主持:正如你之前听到的,人工智能网络挑战赛结合了现实问题,这比赛成功的关键。通过Omkar的解释说明,我们知道了,OpenSSF是一种有效途径,目的是帮助我们从挑战环境平稳过渡到现实世界。我们给DARPA提供的主要建议是,至少在挑战赛的最初阶段,要确保挑战赛的构建方式、对成功的期待、对提交材料的评估方式,这些都是开源社区能够接受的。其一,我们并不希望挑战最终创新的所有新技术它们与开源软件的开发方式不一致。其二,随着挑战赛的召开,我们希望更多的社区成员能够参与进来,提交他们各种创新提案,当然,我们需要在保持挑战赛的机密性的同时,以适当的开源方式征求广泛社区的创新提案,让人感觉到这是社区参与的工作,而不是针对他们所做的事情。最后我们还希望确保能够为所有这些即将开发出来的优秀软件提供一个良好、顺畅的社会应用的渠道,这样它们就不会随着挑战赛事的结束而结束,而是成为一种为后来者保护开源软件的可持续方式。我们经常说DARPA是创新生态系统的一部分,DARPA不会单打独斗。人工智能网络挑战赛当然也应该如此。除了OpenSSF,DARPA还与Anthropic、谷歌、微软和OpenAI合作,帮助参赛者开发最先进的网络安全系统。说到DARPA的挑战赛,OpenAI的安全主管马特-奈特(Matt Knight)大家可能并不陌生。他曾参加过DARPA的“频谱协同挑战赛”(Spectrum Collaboration Challenge,简称SC2)的公开赛道(OpenTrack)比赛。我们与他聊聊他的经历,希望大家能从他的经历中获得一些启发,了解未来的参赛者对人工智能网络挑战赛的一些期待。
Matt Knight:我第一次正式接触DARPA是在几年前的频谱协同挑战赛上。频谱协同挑战赛SC2是一项公开竞争性挑战,旨在开发新型无线电算法,以解决频谱稀缺和拥堵问题。电信运营商和无线系统建设者需要面对的一个问题是,无线电用于通信的频谱是一种稀缺资源。它是静态分配的,当今,它并没有得到有效利用,因此,无线电网络的效率并不尽如人意。它们还容易受到某些类型的攻击,如干扰等。DARPA有一个很酷的方法来解决这个问题。他们希望推动认知无线电领域的创新,即在多代理系统中应用人工智能和创新,使无线电能够自我组织,从而更高效,更有弹性。
这项挑战实际上是我当时的一些技能和兴趣的完美融合。这是算法和人工智能、信号处理、多智能体系统、系统工程、高性能软件开发的融合,这真的很有趣。这种形式也非常独特,方便了像我这样的非传统参赛者的参与。我和密友、前同事马克·纽兰(Mark Newland)一起参加了这次挑战,他本人也是DARPA挑战赛事的狂热爱好者。几年前,他参加了一些图像识别挑战赛,后来他参加了第一届频谱挑战赛。最主要的是因为DARPA举办这类活动对个人开放,也对那些能够接受政府合同之类的公司开放,因此,我们两个人就在晚上和周末参与这个非常酷的项目,否则,我们两个人显然参与不了。我想说的是,非传统参赛者不要被吓倒。是的,DARPA的项目是一个政府项目。DARPA设立这类项目,独行侠们可以参赛,就像我和我的同事Mark,一样都可以参加频谱协同挑战赛,一些更传统的竞争对手也可以参赛。除非你是一个非传统的,通常并不接触这方面的技术而不适合参加,所以,无论如何,你都应该争取参赛。事实上,DARPA会给参赛选手们提供人工智能平台,如OpenAI API,其他类似服务,这就意味着参赛者们并不需要成为人工智能专家。因为你可以通过API与强大的人工智能系统进行交互,所以,安全研究人员即便是可能并不具备构建、训练或部署自己的人工智能系统技能,他们仍然可以利用这些人工智能工具来参与这项挑战。因此,我很乐观,也期待这类赛事会推动许多创新公司和工具的诞生,他们可以超越这项赛事,帮助开发人员修复他们正在编写的代码中的漏洞,并编写更安全的软件。Matt他的团队虽然并没有赢得SC2奖项,但是通过这项比赛,他获得如何成为一名成功竞争对手的宝贵经验,并了解了他的竞争对手一些创新思路。
主持:我们应该考虑参加挑战赛的几方面原因。一是我们会有机会开发对关键安全领域产生影响的一些工具和技术,为社会上所有关键软件基础设施能动力各种开源软件提供安全性保障。这点非常重要。我认为,只要实现这个目标就已经足够了。当然,除此之外,肯定还会获得一笔奖金。我们还会获得OpenAI的技术、模型和工具,如GPT-4和ChatGPT。作为技术合作伙伴,DARPA会为参赛者提供丰富的API许可协议,以访问利用这些工具开展创新和探索,而不受其约束。我想告诉参赛者们的一件事是,懂得游戏规则真的很重要,尤其是想获奖胜出的话。如何构建和设计频谱协同挑战技术,其中一个关键因素就是明确游戏规则。AIxCC挑战赛的评分规则目前还没有公布。我想今年秋天晚些时候会推出来,大家敬请关注。在阅读AIxCC赛事规则要求时,另外需要重点关注寻找并修复内存损坏漏洞。早期研究表明,安全社区使用的语言模型,像GPT-4这类语言模型,这类bug没怎么凸显,相比其他类型的bug和安全应用程序,或者至少说这方面的能力较弱。我认为这也是为什么要重点促进这一领域的研究。我想我要对参赛选手们说的是,你要知道,DARPA会告诉你他们希望你努力和关注的问题类型,所以听他们的就是了。他们会把你引向正确的方向。我们也请Omkar来谈谈他的看法。
Omkar Arasaratnam:我坚信,是某种思维方式让我们陷入了现在的安全问题。而这种思维方式往往是非常单一的,而且往往非常注重我们在学校是如何学习计算机科学的。这就是一切的根源,对不?因此,我很希望各种各样的人才参加:也许你在软件工程方面是自学成才的。也许你没有本科学位。我就没有。也许你不是从常春藤联盟获得博士学位的。我很乐意看到这些人提出真正新颖的方法来解决我们所面临的这些普遍存在的安全问题。您问我有什么建议?各位,这是DARPA发起的挑战。现在是你们“九天揽月”大显身手的时候了。把你们所有伟大的、酷毙了的想法都拿出来吧,我们拭目以待。我们一直尝试的方法并没有彻底解决这些问题,因此,我们可以用一种全新的方式来思考,我们迎来了机遇。所以,我鼓励那些正准备参赛的挑战者们,把你们最奇妙的想法带来。带上你们认为最难成功的奇思妙想,让我们见证奇迹。
主持:佩里还要谈到她希望谁能来参赛,来迎接这个时代机遇,颠覆我们熟知网络安全模式。
Perri Adams:比赛是公开的,只要符合AICyberchallenge.com网站上列出的一些资格要求,任何注册的人都可以参加比赛。公告发布后,我们看到了参赛者踊跃,我非常兴奋。我希望各方面的人来参与这场挑战,从学术研究人员到今天在工业中从事计算机安全工作的人,再到那些传统DARPA研究基地的人——他们一直在不同的DARPA项目中研究类似的程序分析问题。我们看到了这种广泛的参与。我还听一些大型软件公司的人说,他们有人准备辞职,要成立自己的小企业来参赛。这点让我非常兴奋,我们鼓励不同研究领域的参与,从学术界到工业界,以及不同规模的企业。谈到人工智能和机器学习,我们正处于一个令人难以置信的创新时代。我们见证了相当了不起的进步,这些成就在计算机安全问题应用方面有具有巨大的潜力。竞争一直是巨大的驱动力,特别是将来自不同科学领域、不同研究背景的人们聚集在一起,将他们聚集在一起,可以有力推动一个先前并没深入探索过的领域的创新发展。我认为DARPA是这些领域探索研究的惊人驱动力,我想说特别是在计算机安全领域。我偏爱这个领域,美国政府也确实认为这是国家安全的一个关键领域,软件安全就是国家安全。在过去的20年里,DARPA在软件安全领域真正开创了许多进步。这就是为什么我对加入DARPA感到非常兴奋,这也是为什么我认为其他人应该对与DARPA一起工作而自豪。
主持:AIxCC公开赛道注册将于2023年晚些时候开始。别忘了访问AICyberChallenge.com,获取完整和最新的比赛信息。如果你打算参加AIxCC赛事,别忘了在社交媒体上告诉我们一声。这一集的DARPA之声到此结束。感谢您的聆听。特别感谢希瑟·迪斯(Heather Dees)在这一集的协助制作。如果您对播客有任何疑问,或者想为我们推荐一个DARPA主题,您可以发电子邮件至DARPA.mil podcast。更多详情信息,请访问darpa.org网站。