背景
英国科学、创新和技术部委托,Grant Thornton UK LLP与曼彻斯特都会大学合作完成《Cyber Security to AI》,旨在全面评估人工智能(AI)在网络安全方面的风险。报告通过文献综述、跨行业客户和专家访谈,识别了AI生命周期各阶段特有的网络安全漏洞,并评估了这些漏洞的潜在利用方式和影响。
该评估的目的在于识别人工智能(AI)在其生命周期中可能存在的安全漏洞,并评估这些漏洞被利用后可能带来的影响。评估将区分两类漏洞:一类是普遍存在于软件中的漏洞,另一类是AI技术特有的漏洞。这种区分有助于我们更好地理解这些漏洞,并在具体情境中对发现的问题进行准确的定位和应对。
该评估包括两个文献综述,评估两个不同但互补的研究流:学术文献和政府及行业报告。研究结果还结合了跨行业客户和专家的反馈。研究出版物经过交叉验证,截止日期为2024年2月10日,以确保报告基于最新分析。
文献综述发现了人工智能(AI)生命周期的各个阶段——设计、开发、部署和维护——所固有的一系列安全漏洞。这些漏洞已经被彻底地识别和分析,并且对它们可能被利用的方式及其带来的影响进行了评估(详见报告的第五部分)。为了更全面地展示这些潜在风险,我们还精选了23个案例研究,涵盖现实世界中的AI漏洞相关网络攻击事件以及理论上的验证性概念(更多细节请参见报告的第五部分)。
本文给大家展现精选案例以及各AI生命周期的漏洞完整列表
AI网络安全经典案例
接下来的案例研究突出了对运行中的AI系统的影响,揭示了多样化的攻击手段、参与者、机器学习策略以及受影响的应用场景。这些攻击采用了多种策略,包括规避技术、数据投毒、模型复制,以及传统软件漏洞的利用。涉及的恶意行为者范围广泛,从一般用户到技术高超的红队,他们都专注于攻击部署在云平台、本地或边缘环境中的机器学习模型。这些案例研究涵盖了安全性敏感和非敏感的应用,为我们提供了对AI系统在现实世界中可能遇到的漏洞的深入理解。
ChatGPT 插件隐私泄露
事件日期:2023年5月。
行为者:Embrace The Red。
目标:OpenAI ChatGPT。
来源:Gupta等人,2023年
ChatGPT中已知的“间接提示注入”漏洞允许攻击者通过使用ChatGPT插件向恶意网站提供数据,控制聊天会话并窃取会话历史。由于这种攻击,用户可能会因为检索到的聊天会话而暴露个人可识别信息(PII)。
间接提示注入威胁:Bing Chat数据海盗
事件日期:2023年。
行为者:Kai Greshake,萨尔大学。
目标:Microsoft Bing Chat。
来源:Greshake等人,2023年
用户可能会授予Bing Chat权限,在聊天对话期间浏览并访问当前打开的网页,使用Microsoft的新Bing Chat LLM Chatbot。研究人员展示了攻击者如何可能将恶意脚本插入用户的浏览器中,悄悄地将Bing Chat变成一个社会工程工具,搜索并窃取个人数据。这种攻击可能在用户无需询问有关网站的问题或做任何事情,只需在浏览器中打开页面并与Bing Chat交互时进行。
PoisonGPT
事件日期:2023年7月
行为者:Mithril Security研究人员
目标:HuggingFace用户
来源:Huang等人,2023年
由Mithril Security研究人员操控的开源预训练大型语言模型(LLM),制造出了一个虚构的现实场景。为了突出LLM供应链的弱点,他们成功地将中毒模型重新上传到HuggingFace。用户可能已经下载了被污染的模型,这可能导致他们获取和传播了被污染的信息和数据,从而可能引发一系列不良后果。
使用Google Colab的任意代码执行
事件日期:2022年7月
行为者:Tony Piazza
目标:Google Colab
来源:Valizadeh和Berger,2023年
Google Colab 是一个基于虚拟机的 Jupyter Notebook 服务。Jupyter Notebook 通常用于机器学习和数据科学的学习和实验,它包含了 Unix 命令行功能和可执行的 Python 代码片段。这种代码执行功能不仅让用户能够修改和可视化数据,还允许他们从互联网下载文件、操作文件,以及在虚拟机环境中进行工作。
此外,用户可以使用URL与他人共享Jupyter Notebook。使用了含有恶意代码的笔记本的用户可能在不知情的情况下运行了恶意软件,这种恶意软件可能被巧妙隐藏或混淆,比如嵌入在下载的脚本中。当用户在Colab中打开一个共享的Jupyter Notebook时,系统可能会请求授予该笔记本访问用户的Google Drive的权限。虽然出于合法目的,比如允许用户用自己存储的文件替换Notebook中的文件,提供这样的访问权限是合理的,但也可能存在不良意图,例如导致数据泄露或者在用户的Google Drive上留下后门。这个情况凸显了在Colab中执行任意代码以及与Google Drive的连接可能带来的风险。
绕过ID.me身份验证
事件日期:2020年10月
报告者:ID.me内部调查
行为者:一名个人
目标:加利福尼亚州就业发展部
来源:Laborde等人,2020年
一名个人使用ID.me的自动身份验证系统,在2020年10月至2021年12月期间,至少提交了180份欺诈性失业申请。在数十份虚假申请被接受后,该人至少收到了340万美元的付款。
该名男子利用被盗的个人信息以及自己佩戴假发的照片,制造了多个伪造身份和虚假驾照。随后,他注册了ID.me账户,并通过了平台的身份验证过程。该过程通过比对用户上传的自拍照与身份证上的照片来核实个人信息,确保用户是其自称的那个人。由于在自拍照中使用了相同的假发,该男子成功地让被盗用的身份通过了验证。
之后,该名男子使用ID.me验证的身份提交了虚假的失业申请给加利福尼亚州就业发展部(EDD)。由于ID.me当时的身份验证程序存在缺陷,这些伪造的驾驶执照被系统批准。在申请被接受后,该名男子将付款发送到他可以访问的多个地点,并使用自动取款机提取资金。该名男子总共骗取了至少340万美元的失业救济金。最终,EDD和ID.me发现了欺诈行为,并通知了联邦当局。关于此和另一起欺诈案件,该名男子在2023年5月因电信欺诈和严重身份盗窃被判有罪,并被判处6年9个月监禁。
通过提示注入在MathGPT中实现代码执行
事件日期:2023年1月28日
行为者:Ludwig-Ferdinand Stumpp
目标:MathGPT (https://mathgpt.streamlit.app/)
来源:Ding, Cen和Wei,2023年
GPT-3 是一款大型语言模型(LLM),它被一个公开可访问的 Streamlit 应用程序 MathGPT 用来处理用户提出的各种算术问题。
像GPT-3这样的大型语言模型(LLM)在直接执行精确数学运算方面表现不佳,这是最新研究和实验的结果。然而,当要求它们开发可执行代码以回答特定查询时,这些模型可能会提供更精确的结果。在MathGPT应用程序中,用户的自然语言查询被GPT-3转换成Python代码并执行。用户不仅能看到计算结果,还能查看执行的代码。
提示注入攻击,即恶意用户输入导致模型出现意外行为,可能影响某些LLM。在此次事件中,行为者探索了多条提示覆盖路径,生成的代码使得行为者能够执行拒绝服务攻击,并获取了应用程序主机系统的环境变量以及应用程序的GPT-3 API密钥。这可能导致程序崩溃或耗尽所有的API查询额度。
MathGPT和Streamlit团队已被告知攻击路径及其结果,他们迅速采取行动,通过过滤某些提示和更改API密钥来解决漏洞。
PyTorch-nightly依赖链被破坏
事件日期:2022年12月25日
报告者:PyTorch
行为者:未知
目标:PyTorch
来源:Ladisa等人,2023年
从2022年12月25日至12月30日,一个恶意软件被提交到了Python Package Index(PyPI)代码库,该软件破坏了PyTorch的预发布版本Linux软件包,即Pytorch-nightly。由于恶意软件包的名称与PyTorch的一个依赖项相同,它被pip(PyPI的包管理器)错误地安装了,而不是真正的依赖包。
这次事件是由于一种被称为“依赖混淆”的供应链攻击,导致在受影响的pip版本上运行PyTorch-nightly的Linux计算机上的敏感数据被泄露。PyTorch在2022年12月30日公布了这一问题,并采取了初步的缓解措施,包括重命名和移除了torchtriton依赖项来应对这一安全问题。
混淆反恶意软件神经网络
事件日期:2021年6月23日
行为者:卡巴斯基机器学习研究团队
目标:卡巴斯基的反恶意软件机器学习模型
来源:Djenna等人,2023年
机器学习(ML)恶意软件探测器正日益广泛应用于云计算和存储系统。在这些系统中,用户系统的使用情况被用来构建模型的特征,随后这些特征被上传至网络安全公司的服务器。卡巴斯基的ML研究团队对这种灰色盒子环境进行了研究,他们证明了仅凭特征信息就足以对ML模型发起敌意攻击。
即便没有获得卡巴斯基某个反恶意软件ML模型的白盒访问权限,该团队依然成功地让大多数经过恶意修改的恶意软件文件避开了检测。
针对移动应用中的深度学习模型的后门攻击
事件日期:2021年1月18日
行为者:袁春立、华佳怡、王浩宇、陈春阳、刘云鑫
目标:基于机器学习的Android应用
来源:Li等人,2021年
深度学习模型正在成为移动应用的重要组成部分。微软研究院的研究人员表明,大量在移动应用中使用的深度学习模型容易受到“神经有效载荷注入”后门攻击。他们从Google Play收集了真实世界的移动深度学习应用,并进行了实证调查。他们发现有54个应用可能受到攻击,包括知名的安全应用,这些应用对于面部识别、家长控制、货币识别和金融服务至关重要。
面部识别系统规避通过物理对抗措施
事件日期:2020年
行为者:MITRE AI红队
目标:商业面部识别服务
来源:Zheng等人,2023年
MITRE的AI红队针对一家商业面部识别服务实施了物理域的规避攻击,目的是故意引起系统的误分类。在这次行动中,他们结合了传统的ATT&CK企业级技术手段,比如通过API执行代码和识别有效账户,以及专门针对机器学习(ML)的对抗性攻击策略。
Microsoft Edge AI规避
事件日期:2020年2月
行为者:Azure红队
目标:新的Microsoft AI产品
来源:Sivaram等人,2022年
Azure红队对微软的一项新创产品进行了红队演练,该产品专为在边缘设备上执行人工智能(AI)工作负载而设计。此次演练的目标是通过自动化系统持续操纵特定图像,以诱导机器学习(ML)模型产生错误的分类结果。
Microsoft Azure服务中断
事件日期:2020年
行为者:Microsoft AI红队
目标:内部Microsoft Azure服务
来源:Torkura等人,2020年
Microsoft AI红队对一个内部Azure服务进行了红队演习,明确目的是引起服务中断。这次行动中穿插了传统的ATT&CK企业技术,包括数据泄露和有效账户发现,以及包括离线和在线规避示例的对抗性ML特定步骤。
Tay中毒
事件日期:2016年3月23日
报告者:Microsoft
行为者:4chan用户
目标:Microsoft’s Tay AI Chatbot
来源:Neff和Nagy,2016年
微软开发了Twitter上的聊天机器人Tay,目的是为用户带来娱乐和互动体验。与以往依赖预设脚本回应的聊天机器人不同,Tay具备机器学习能力,能够根据参与的对话实时调整其回应。
在Tay上线后,一些恶意用户在Twitter上对Tay发起了有组织的攻击,故意发送辱骂性和亵渎性的语言,这导致Tay在与其他用户的互动中产生了同样具有煽动性的内容。
机器人发布仅24小时后,微软便停止了Tay的服务,并公开道歉,同时详细阐述了从这次失败中学到的教训。
ProofPoint规避
事件日期:2019年9月9日
行为者:Silent Break Security的研究人员
目标:ProofPoint电子邮件保护系统
来源:Sivaram等人,2022年
代码库Proof Pudding详细介绍了机器学习(ML)研究人员是如何绕过ProofPoint电子邮件保护系统的(CVE-2019-20634)。具体来说,他们利用从一个仿冒的电子邮件保护ML模型中获得的见解,成功绕过了实时系统。更准确地说,这些见解使得研究人员能够构建出能够获得系统有利评级的恶意电子邮件,从而逃避了系统的检测。ProofPoint为电子邮件中的每个单词分配一个数值分数,这个分数是由多个变量综合决定的。如果一封电子邮件的总体得分低于某个阈值,系统就会将其标记为垃圾邮件并产生一个错误。
GPT-2模型复制
事件日期:2019年8月22日
行为者:布朗大学研究人员
目标:OpenAI GPT-2
来源:Li, Zhang和He,2022年
OpenAI开发了GPT-2语言模型,能够生成异常高质量的文本样本。由于担心GPT-2可能被用于恶意目的,包括冒充他人、生成误导性新闻文章、虚假社交媒体内容或垃圾邮件,OpenAI采取了分阶段发布计划。最初,他们分发了一个缩小规模、相对较弱的GPT-2版本,并附带了方法的技术解释,同时保留了完整的训练模型。
布朗大学的研究人员在完整模型发布之前,有效地复制了该模型,使用了OpenAI发布的信息和开源ML工件。这说明了一个拥有足够计算资源和技术专业知识的对手可能在AI安全社区检测之前就模仿了GPT-2,并可能将其用于恶意意图。
ClearviewAI配置错误
事件日期:2020年4月
行为者:spiderSilk的研究人员
目标:Clearview AI面部识别工具
来源:Anisetti等人,2020年
由Clearview AI开发的面部识别应用程序搜索公开可访问的图像以寻找匹配项。这个工具已被执法机构和其他实体用于调查目的。
尽管受到密码保护,Clearview AI的源代码库被破坏,允许任何用户创建账户。通过利用这个漏洞,一个未授权的个人获得了进入包含Clearview AI生产凭证、云存储容器密钥的私有代码库的访问权限,这些容器包含70000个视频样本,其应用程序的副本,以及Slack令牌。如果恶意行为者获得了对训练数据的访问权限,他们可以在部署的模型中引起任意的错误分类。
Botnet 域名生成算法(DGA)检测规避
事件日期:2020年
行为者:Palo Alto Networks AI 研究团队
目标:Palo Alto Networks
来源:Upadhyay,2020年
Palo Alto Networks的安全AI研究团队利用一种通用域名变异技术,成功绕过了基于卷积神经网络的botnet域名生成算法(DGA)检测器。这种技术能够通用于绕过大多数基于机器学习的DGA检测模块。通过这种通用变异技术,可以评估工业安全公司开发的DGA检测方法在部署到生产环境之前的鲁棒性和有效性。
深度学习检测器规避用于恶意软件 C&C 流量
事件日期:2020年
行为者:Palo Alto Networks AI 研究团队
目标:Palo Alto Networks 恶意软件检测系统
来源:Novo 和 Morla,2020年
Palo Alto Networks的安全AI研究团队对一个深度学习模型进行了评估,该模型专门用于检测HTTP流量中的恶意软件命令与控制(C&C)流量。他们受到Le等人公开发表的文章的启发,构建了一个性能与实际生产模型相媲美的模型,并在同一数据集上进行了训练。在此基础上,他们生成了对抗性样本,对模型进行了查询,并通过不断调整这些样本,最终实现了对模型的规避。
AI各生命周期阶段的漏洞类型
在本报告中,我们讨论了AI生命周期的各个阶段,如下图所示。AI生命周期包括四个主要阶段:设计、开发、部署和维护,每个阶段在创建和维持有效的AI系统中都起着至关重要的作用。
我们的分析框架旨在深入探讨风险的复杂性,并区分普通软件漏洞与AI系统特有的漏洞。在选择漏洞时,关键任务是识别它们的来源及其与AI或软件的关联。我们根据这样的逻辑进行分类:如果一个漏洞是由AI引起的,尤其是由机器学习导致的,我们就将其定义为AI特有的漏洞。相反,如果漏洞源自软件基础设施的基本问题,并且这些问题在AI存在与否的情况下都存在,我们就将其视为软件漏洞。如果漏洞在AI或软件的参与下持续存在,那么它就与两者都有关系。这种分析方法有助于我们清晰地理解漏洞在AI生命周期各阶段的具体影响。
设计阶段
在AI系统的设计阶段,为系统开发奠定了基础,包括数据收集、准备、规划和模型设计等复杂过程。
漏洞(Vulnerability)利用(Exploitation)缺乏健壮的安全架构(AI/Software)缺乏足够的安全架构设计,缺少访问控制、安全设计原则和适当的网络配置(BÈcue, PraÁa 和 Gama, 2021; 欧洲联盟网络安全局,2023)。这可能导致未授权的访问或恶意代码注入。在训练期间进行数据投毒会破坏决策制定并有偏差的输出(BÈcue, PraÁa 和 Gama, 2021)。不充分的威胁建模(AI)对AI系统中潜在的威胁、漏洞和攻击途径识别不足,导致忽视漏洞和系统设计不足(Bradley, 2020; 欧洲联盟网络安全局,2020; Zhang 等人,2022)。攻击者可能利用未预见到的威胁和攻击面,在数据准备或收集期间进行数据投毒,影响模型设计阶段(Bradley, 2020; Hu 等人,2021; Zhang 等人,2022)。不充分的数据隐私保护措施(AI)在模型开发、测试和部署期间,缺乏保护敏感数据的措施,存在隐私泄露的风险(Chiang 和 Gairola, 2018; 欧洲联盟网络安全局,2023)。不完善的数据隐私保护可能导致未授权的访问,在AI的各个阶段进行数据投毒,并破坏用户数据的保密性(Chiang 和 Gairola, 2018)。不安全的认证和授权(Software)认证和授权机制薄弱,包括密码政策不严格和缺乏多因素认证的风险(欧洲联盟网络安全局,2020, 2023; Mirsky 等人,2023)。攻击者可以利用这些漏洞获得未授权的访问,窃取敏感数据,或冒充合法用户,导致数据泄露和未授权的系统更改(欧洲联盟网络安全局,2020, 2023; Mirsky 等人,2023)。不充分的输入验证和清理(Software)由于验证不足,攻击者可能通过输入字段操纵SQL查询,导致未授权的访问和数据库信息的修改(Hu 等人,2021)。利用可能导致未授权访问或修改数据库信息,从而导致数据被盗、丢失或损坏。在严重的情况下,攻击者可能获得数据库系统信息的管理员权限(Hu 等人,2021)。不充分的输出编码(Software)在网页中包含不可信数据而没有适当的输出编码或转义,允许攻击者执行恶意脚本,危及用户数据和破坏交互(Carlo 等人,2023)。利用可能导致会话劫持、网站破坏、重定向到恶意网站或网络钓鱼,直接影响用户并危及他们的数据和与应用程序的互动(Carlo 等人,2023)。不安全的数据存储和传输(Software)数据在存储或传输期间加密或处理不当,存在被拦截和未授权访问的风险,可能导致数据被盗和泄露。未加密的数据在传输过程中可能被拦截,或通过被破坏的存储系统被访问,导致数据被盗和泄露。不充分的错误处理和记录(Software)错误处理不当和记录机制不足可能会泄露系统信息给攻击者,并可能延迟事件的发现与响应(欧洲联盟网络安全局,2023)。利用错误处理的不足,攻击者可以获得对系统架构的深入了解,从而促进他们发起更进一步的攻击。同时,不充分的日志记录机制会阻碍对安全事件的及时检测和有效响应(欧洲联盟网络安全局,2023)。AI模型选择中的安全评估不足(AI)选择AI模型时未考虑安全影响,导致采用具有固有漏洞的模型(Boulemtafes, Derhab 和 Challal, 2020)。攻击者可能会利用 AI 模型中的漏洞,这些漏洞可能包括对对抗性攻击的过度敏感或泛化能力不足,从而导致错误的输出、系统被破坏或模型行为被操控。这些安全问题可能会导致财务上的损失、声誉受损或个人隐私被侵犯(Boulemtafes, Derhab 和 Challal, 2020)。数据收集和准备(AI/Software)模型性能和训练依赖于数据准备的质量,包括特征选择、提取、整合和清洗。这影响系统性能和处理高维数据的能力(Haakman 等人,2021; Silva 和 Alahakoon, 2022)。弱访问控制可能被攻击者利用以获得未授权的访问,可能修改AI模型,泄露敏感数据,或破坏开发过程(Mirsky 等人,2023)。使用不可靠的数据标签来源(AI/Software)标签修改漏洞允许对手改变或操纵数据标签,破坏机器学习模型的完整性和可靠性(Majeed 和 Hwang, 2023)。标签修改:这种子威胁特定于监督学习,导致攻击者破坏训练数据的标签(Majeed 和 Hwang, 2023)。机器学习模型中的偏见注入(AI)这种漏洞指的是故意将偏见引入机器学习模型或用于训练它们的数据集中,导致决策过程中的偏差或不公平结果。这些偏见可能源于多种来源,包括有偏见的训练数据或故意操纵模型设计(Ferrer 等人,2021; Vassilev 2024)。攻击者通过将有偏见的数据注入训练过程或操纵模型架构来利用这种漏洞,以偏向某些结果。这种偏见注入可能导致歧视性或不准确的预测,延续社会偏见或导致对个人的不公正对待(Ferrer 等人,2021; Vassilev 2024)。
开发阶段
AI 生命周期中的开发阶段专注于构建和细化特定任务的 AI 模型。在此阶段,涉及选择恰当的算法,训练模型,并评估其性能。为了增强模型的准确性和鲁棒性,会通过迭代过程进行调整和优化。
漏洞(Vulnerability)利用(Exploitation)不安全的 AI 代码推荐(AI)开源代码中存在的漏洞,如 GitHub Copilot,可能导致推荐不安全的编码模式,包含安全漏洞的代码(Hu 等人,2021;Carlo 等人,2023;英国国家网络安全中心和美国网络安全和基础设施安全局 2023)。利用不安全代码建议可能创建或维护带有隐藏漏洞的软件,导致未授权访问、数据泄露和不安全编码实践的传播(Mirsky 等人,2023)。代码漏洞(AI/软件)AI 系统源代码中的代码漏洞容易受到利用,可能破坏系统完整性、机密性或可用性(Chiang 和 Gairola,2018;Mirsky 等人,2023)。攻击者可能会利用编程中的错误、数据存储空间溢出的问题,或是不可靠的外部依赖,来运行他们自己的代码,控制 AI 模型,或者非法获取系统资源(Carlo 等人,2023)。AI 系统中不安全的数据处理(AI/软件)在 AI 系统的不同组件之间存储和传输数据时保护不足(Silva and Alahakoon, 2022)。在 AI 系统的不同组件之间存储和传输数据时保护不足。攻击者可能在存储或传输过程中拦截或操纵数据,导致未授权访问或篡改敏感信息(Nguyen 等人,2021)。弱访问控制(AI/软件)对 AI 开发环境、模型或数据的访问限制不足,允许未经授权的用户执行超出其权限的操作(Chiang 和 Gairola,2018)。对 AI 开发环境、模型或数据的访问限制不足,允许未经授权的用户执行超出其权限的操作(Chiang 和 Gairola,2018)。攻击者可能获得未授权访问,可能修改 AI 模型、泄露敏感数据或破坏开发过程(Mirsky 等人,2023)。不充分的输入验证和清理(AI)允许攻击者将指令/命令注入 AI 模型,导致其偏离预期行为。包括导致模型执行未授权任务或产生错误响应的注入命令(Hu 等人,2021;Vassilev 2024)。攻击者可能无意中修改了 AI 模型的行为,通过向模型注入命令,导致模型执行未授权的任务或产生错误的响应。可能的后果多种多样,包括未授权的访问、数据泄露或系统输出的颠覆,具体取决于特定的用例和上下文(Hu 等人,2021;Mirsky 等人,2023;Vassilev,2024)。对输入扰动的敏感性(AI)输入扰动可以改变对 AI 模型的有效输入,导致不正确的输出,通常称为逃避攻击或对抗性攻击。这主要对决策系统构成风险,影响其输出的可靠性(Hu 等人,2021)。译者注:"对输入扰动的敏感性"指的是人工智能(AI)模型可能对外来的小扰动或变化非常敏感,这些扰动可能会被恶意地设计来误导模型。例如,如果一个AI模型被用来进行图像识别,攻击者可能会对图像进行微小的修改,这些修改对人类来说几乎无法察觉,但却足以欺骗AI模型,使其做出错误的判断或决策。这种现象通常被称为"逃避攻击"或"对抗性攻击"。在这种情况下,如果AI模型被用于关键的决策系统,比如自动驾驶汽车或医疗诊断,这种敏感性可能会带来严重的风险。例如,对抗性攻击可能导致自动驾驶汽车将停车标志误识别为限速标志,或者使医疗AI系统对病情做出错误的诊断。攻击者可能对 AI 模型的有效输入进行微调,导致它们一致地产生错误的输出,从而导致关键应用中的不正确决策,如自动驾驶车辆或医疗诊断,导致安全隐患、财务损失或安全漏洞(Hu 等人,2021)。不安全的 AI 供应链(AI/软件)未能保护从外部供应商获取的 AI 相关组件,可能导致 AI 系统的安全和完整性受到潜在威胁(Hu 等人,2021)。攻击者可能利用不安全地获取的 AI 组件中的漏洞,向系统中注入后门、恶意软件或其他恶意代码,可能导致数据泄露、系统被破坏或未授权访问(Hu 等人,2021)。不充分的资产管理保护(AI/软件)缺乏对 AI 相关资产的适当识别、跟踪和保护,包括模型、数据、软件和文档,使它们容易受到未经授权的访问、操纵或盗窃(欧联网络安全局,2020;Rodrigues,2020)。攻击者可能利用资产管理流程中的弱点获得对敏感 AI 相关资产的未授权访问,如模型或数据集,导致数据泄露、知识产权被盗或系统完整性受损(Rodrigues,2020)。
部署阶段
AI 生命周期的部署阶段标志着开发的 AI 模型从开发环境过渡到现实世界的应用。在这个阶段,重点转移到确保 AI 解决方案在操作设置中有效和高效地运行。实施了模型部署、基础设施设置和监控机制,以支持 AI 系统的持续运营。
漏洞(Vulnerability)利用(Exploitation)不安全的 API 端口(AI/软件)AI 系统中的通信接口存在漏洞,这些接口在组件之间传递信息,但由于安全措施不足,它们向外部实体暴露了本应受保护的功能端点。(Boulemtafes, Derhab 和 Challal, 2020; Carlo 等人,2023)。攻击者可能利用保护不足的 API 获得未授权入口,注入恶意输入或干扰 AI 系统的正常运行。影响包括未授权的数据访问、拒绝服务或 AI 模型输入的操纵(Carlo 等人,2023)。基础设施(AI/软件)在部署阶段,基础设施的考虑包括配置和部署所需的物理和虚拟组件,以确保人工智能系统能够在其目标环境中顺利运行并实现操作集成。(Silva 和 Alahakoon, 2022)。对基础设施安全的关注不足可能暴露漏洞,允许未授权访问,导致数据泄露、运营中断或服务中断。在部署期间,对抗性攻击可能利用基础设施安全的漏洞以获得未授权访问,导致服务中断(Rodrigues, 2020; Carlo 等人,2023)。传输过程中未进行加密(软件)数据在 AI 系统的不同组件或实体之间传输时未进行加密,指的是未能保护数据的安全(Boulemtafes, Derhab 和 Challal, 2020)。对抗性攻击可能利用数据传输过程中未加密的情况,操纵敏感信息。在传输过程中监听未加密的数据使攻击者能够非法获取或操纵机密信息,导致未授权访问私人数据和数据保密性的破坏(Mirsky 等人,2023)。云服务配置漏洞(AI/软件)云服务的配置错误,如不正确设置或配置基于云的组件,如存储、计算资源或数据库(Boulemtafes, Derhab 和 Challal, 2020)。对抗性攻击利用云设置的错误配置,获得对 AI 服务的未授权访问,可能导致数据泄露或服务中断(Boulemtafes, Derhab 和 Challal, 2020; Carlo 等人,2023)。模型窃取(AI)模型窃取允许攻击者提取已训练完成的 AI 模型的架构或权重,创建功能等效的副本。此外,某些软件漏洞,如不安全的存储或薄弱的访问控制,可能无意中促成了模型窃取(Chang 等人,2020)。攻击者可能会抽取 AI 模型的结构或者已经训练好的参数,制作出功能相同的复制品,这些复制品可能被用于未经授权的用途或知识产权的盗窃。这样的行为可能会导致经济损失、对专有技术的非法访问,或者不公平地利用竞争优势(Chang 等人,2020)。提示提取(AI/软件)提示提取允许攻击者从 AI 模型中提取或重建系统使用的提示信息,这可能导致敏感信息的泄露,从而危害系统的安全性(Hu 等人,2021)。对手可能提取或重建提供给 AI 模型的系统提示,这可能危及系统的安全,并可能泄露敏感信息,包括未经授权的访问、数据安全漏洞或侵犯隐私(Hu 等人,2021)。模型输出可访问性(AI)当 AI 模型和数据没有得到适当的保护以防止直接或间接访问时,这将增加模型被未授权重建、数据被盗或被篡改的风险,从而损害模型的完整性和可信度(Bouacida 和 Mohapatra, 2021; Hu 等人,2021; Vassilev 2024)。攻击者可能尝试直接访问模型或通过应用程序查询模型以重建模型功能,窃取敏感数据,或篡改模型,破坏其可靠性和可信度,可能导致数据泄露、知识产权损失或系统性能受损(Bouacida 和 Mohapatra, 2021; Hu 等人,2021; Vassilev 2024)。不充分的评估和测试(AI/软件)当 AI 模型、应用程序或系统在发布时未经彻底的安全评估、测试,或者没有清晰地传达其限制条件,用户可能会面临潜在的安全风险或遭遇系统故障(Rodrigues, 2020; Carlo 等人,2023)。攻击者可能利用评估或测试不充分的 AI 系统中的漏洞,破坏用户数据,干扰系统运营,或利用安全弱点,可能导致数据泄露、财务损失或声誉损害,削弱用户对 AI 系统的信任和信心(Rodrigues, 2020; Carlo 等人,2023)。
维护阶段
在 AI 生命周期的维护阶段,重点转移到随着时间的推移维持部署 AI 解决方案的性能和相关性。这包括持续监控模型性能、数据质量和系统完整性,以确保在现实世界应用中的持续有效性。维护任务包括用新数据更新模型以保持相关性和准确性,解决任何性能偏移或下降,并适应不断变化的用户体验或环境变化。定期评估和审计是为了根据预定义的指标评估 AI 解决方案的性能,并确定改进或优化的领域。
漏洞(Vulnerability)利用(Exploitation)延迟的安全补丁(AI/软件)安全补丁的延迟指的是在 AI 中使用的软件和组件已知漏洞更新或修复的推迟(Carlo 等人,2023)。攻击者可以利用未修补的漏洞,破坏系统完整性,执行任意代码,操纵 AI 模型,或获得对敏感信息的未授权访问。对抗性攻击可能针对 AI 组件中已知的漏洞,尝试未授权访问、模型操纵或数据盗窃(Carlo 等人,2023)。模型衰减和概念漂移(AI)模型衰减和概念漂移指的是由于输入分布的变化或基础数据的转移,AI 模型效果随时间的恶化(Zhang 等人,2022; 欧盟网络安全局,2020)。利用模型性能下降使攻击者能够操纵预测,导致偏见输出、错误预测或性能下降。攻击者可能有意影响输入数据分布,操纵 AI 预测,导致错误或偏见的结果(欧盟网络安全局,2020; Zhang 等人,2022)。内部威胁(AI)内部威胁涉及拥有 AI 系统、模型或敏感数据访问权限的内部人员的恶意活动(Mirsky 等人,2023)。内部人员利用访问权限从事未授权活动,破坏 AI 模型和敏感数据的保密性、完整性和可用性。对抗性攻击表现为拥有特权访问权限的员工的故意行为,包括数据盗窃或 AI 模型和数据的破坏(Mirsky 等人,2023)。不充分的记录(AI/软件)在维护阶段,记录工作包括对系统活动、错误和性能指标的系统性记录和监控,这有助于持续评估和优化 AI 系统(Zhang 等人,2022; 欧洲联盟网络安全局,2020)。不充分的记录程序可能会导致问题检测的延迟,妨碍问题的解决,并允许攻击者利用未被注意到的安全漏洞,这可能导致对AI系统的未授权访问或操纵。攻击者可能会针对记录不足的情况,目的是利用对系统操作有限的了解,并可能留下未被检测到的安全漏洞(Bradley, 2020)