← 返回列表

从部署到运维:全球安全机构联手打造AI安全部署指南 | 英美安全机构《AI系统安全部署指南》全文翻译

单站 网络安全应急技术国家工程实验室 发布 Mon, 09 Sep 2024 17:04:00 +0800 入库 2026-11-18T10:30:03

朱玲凤 2024-09-09 17:04 北京

英美多国安全机构发布安全部署指南,细化了部署和运维阶段AI实践要求

安全部署人工智能(AI)系统需要仔细的设置和配置,这取决于AI系统的复杂性、所需资源(例如,资金、技术专长)以及所使用的基础设施(即本地、云或混合)。本报告扩展了安全AI系统开发指南中的“安全部署”和“安全运维”部分,并结合了《与人工智能(AI)互动中的缓解》进行考虑。它适用于由另一实体设计和开发的AI系统的组织部署和运营。最佳实践可能不适用于所有环境,因此应将缓解措施适应特定用例和威胁概况。[1],[2]

AI安全是研究领域中快速发展的区域。随着机构、行业和学术界发现AI技术和技术的潜在弱点以及利用它们的方法,组织将需要更新其AI系统以应对变化的风险,除了将传统的IT最佳实践应用于AI系统。

本报告由美国国家安全局的人工智能安全中心(AISC)、网络安全和基础设施安全局(CISA)、联邦调查局(FBI)、澳大利亚信号局的澳大利亚网络安全中心(ACSC)、加拿大网络安全中心(CCCS)、新西兰国家网络安全中心(NCSC-NZ)和英国国家网络安全中心(NCSC-UK)共同撰写。

AISC和本报告的目标是:

  1. 提高AI系统的保密性、完整性和可用性;
  2. 确保AI系统中已知的网络安全漏洞得到适当的缓解;
  3. 提供方法和控制措施来保护、检测和响应针对AI系统及相关数据和服务的恶意活动。

本报告中AI系统一词指的是基于机器学习(ML)的人工智能(AI)系统。

这些最佳实践最适用于在本地或私有云环境中部署和运营外部开发的AI系统的组织,特别是在高威胁、高价值环境中的组织。它们不适用于不自己部署AI系统而是利用他人部署的AI系统的组织。

并非所有指导方针都直接适用于所有组织或环境。对手的复杂程度和攻击方法将根据针对AI系统的对手而变化,因此组织应考虑其用例和威胁概况的同时使用指导方针。

请参阅安全AI系统开发指南,了解AI系统的设计和开发方面。[1]

AI能力的快速采用、部署和使用可能使它们成为恶意网络行为者的高价值目标。历史上曾通过盗窃敏感数据和知识产权来推进其利益的行动者,可能会寻求控制已部署的AI系统,并将它们用于恶意目的。

恶意攻击者针对人工智能(AI)系统时,可能会利用AI系统特有的攻击手段,也可能使用那些针对传统信息技术(IT)的常规攻击技巧。因为攻击手段多种多样,我们的防御措施也需要全面且多样化。那些技术高超的攻击者往往会同时使用多种攻击手段,进行更为复杂的攻击行动,这样的组合攻击更容易突破层层安全防护。

组织应考虑以下最佳实践,以保护部署环境,持续保护AI系统,并安全地操作和维护AI系统。

以下最佳实践与CISA和国家标准与技术研究所(NIST)共同开发的跨行业网络安全性能目标(CPGs)一致。CPGs提供了CISA和NIST推荐所有组织实施的最小实践和保护集。CISA和NIST基于现有的网络安全框架和指南制定CPGs,以防范最常见和影响最大的威胁、战术、技术和程序。访问CISA的跨行业网络安全性能目标,了解更多关于CPGs的信息,包括额外推荐的基线保护。

组织通常在现有的IT基础设施内部署AI系统。在部署之前,他们应确保IT环境应用健全的安全原则,如健全的治理、设计良好的架构和安全的配置。例如,确保负责AI系统网络安全的人员与负责组织网络安全的总体人员相同[CPG 1.B]。

IT环境的安全最佳实践和要求也适用于AI系统。以下最佳实践对于应用到AI系统和组织部署它们的IT环境中尤为重要。

译者注:

"两人控制(TPC)"指的是在进行某些敏感操作时,需要至少两名授权人员同时在场并同意,以确保操作的安全性和可追溯性。这是一种防止单一个体滥用权限的措施。

"两人完整性(TPI)"则是指在处理敏感数据或关键操作时,需要两名独立的授权人员来验证和确认操作的准确性和完整性,以避免错误或故意的篡改。

采用零信任策略的心态,假设违规是不可避免的或已经发生。实施检测和响应能力,实现快速识别和遏制违规行为。[8],[9]

模型是软件,像所有其他软件一样,可能存在漏洞、其他弱点或恶意代码或属性。

“防止辐射或侧通道技术”是安全领域的术语,涉及到保护硬件安全模块(HSM)或其他敏感设备免受侧通道攻击。

  1. 辐射:这里指的是电磁辐射,即电子设备在运行过程中可能发出的电磁波。攻击者可以通过捕捉这些电磁波来尝试获取设备中的敏感信息。
  2. 侧通道技术:这是一种攻击手段,攻击者不直接攻击加密算法本身,而是通过分析加密系统的物理实现(如功耗、计算时间、电磁泄漏等)来获取加密密钥或其他敏感信息。侧通道攻击利用了物理实现的非理想特性,而不是算法本身的弱点。

遵循组织批准的IT流程和程序来部署AI系统,确保以批准的方式实施以下控制措施:

特权访问工作站(Privileged Access Workstation,简称PAW)是一种特殊的计算机工作站,用于执行需要高权限或敏感操作的任务。PAW通常用于管理、配置和维护关键系统和应用程序,因为它们提供了额外的安全措施来保护这些操作免受恶意软件和其他安全威胁的侵害。

PAW的关键特点包括:

  1. 增强的安全性:PAW配备了高级安全软件和硬件,如防病毒、防恶意软件、入侵检测系统和防火墙。
  2. 访问控制:严格限制谁可以访问PAW,通常仅限于授权的管理员和技术人员。
  3. 物理安全:PAW可能被放置在安全的位置,以防止未授权的物理访问。
  4. 专用用途:PAW专门用于执行特权任务,不用于日常的、可能面临更高安全风险的活动,如浏览互联网或打开电子邮件附件。
  5. 监控和审计:所有在PAW上的操作都可能被密切监控和记录,以便于事后审计和跟踪。

使用PAW的目的是减少高权限操作的安全风险,确保关键任务的安全性和完整性。在涉及敏感数据或关键基础设施的组织中,如金融服务、政府机构和大型企业,PAW的使用非常普遍。

教育用户、管理员和开发人员关于安全最佳实践的知识,如强密码管理、防网络钓鱼和安全数据处理。促进安全意识文化,以最小化人为错误的风险。如果可能,使用凭证管理系统来限制、管理和监视凭证使用,以进一步降低风险 [CPG 2.I]。

撰写机构建议部署AI系统的组织实施强大的安全措施,既能防止敏感数据被盗,也能减轻AI系统的滥用。例如,模型权重作为深度神经网络中可训练的参数,是特别关键且需要保护的部分。它们代表了训练高级人工智能模型过程中许多昂贵且具有挑战性的要素的成果,这包括大量的计算资源、收集和处理可能包含敏感信息的数据,以及算法的优化工作。

AI系统是软件系统。因此,部署组织应优先选择安全设计,其中AI系统的设计师和开发者对系统运行后的积极安全结果感兴趣。[7]

尽管我们必须全面实施安全措施来防御各种潜在的攻击手段,以防止出现严重的安全漏洞。并且随着人工智能领域的不断发展,我们的最佳实践方法也会随之更新。但在此之前,以下是一些特别关键的安全措施概要:

用户和实体行为分析(User and Entity Behavior Analytics,简称UEBA)是一种先进的安全分析技术,它通过监控和分析用户及实体(如设备、应用程序、网络等)的行为模式,来识别和预防潜在的安全威胁。UEBA 系统使用机器学习和数据科学方法,从大量数据中发现异常行为,这些行为可能表明有恶意活动发生。

UEBA 的关键特点包括:

  1. 行为基线学习:系统首先学习正常行为模式,建立基线。
  2. 行为分析:持续监控用户和实体的行为,与基线进行比较。
  3. 异常检测:当检测到与基线显著偏离的行为时,系统会发出警报。
  4. 多数据源融合:分析来自不同来源的数据,如网络日志、系统日志、用户活动记录等。
  5. 上下文关联:考虑行为发生的上下文,以提高警报的准确性。
  6. 自动化响应:在某些情况下,系统可以自动采取措施,如隔离可疑设备或终止可疑会话。

UEBA 可以帮助组织提前发现潜在的安全问题,如内部威胁、账户泄露、恶意软件传播等,从而提高整体的安全防御能力。

最后,保护AI系统涉及一个持续的过程,包括识别风险、实施适当的缓解措施和监控问题。通过采取本报告中概述的步骤来保护AI系统的部署和运营,组织可以显著降低所涉及的风险。这些步骤有助于保护组织的知识产权、模型和数据免受盗窃或滥用。从一开始就实施良好的安全实践将为组织成功部署AI系统奠定正确的道路。

[1] National Cyber Security Centre et al. Guidelines for secure AI system development. 2023.
https://www.ncsc.gov.uk/files/Guidelines-for-secure-AI-system-development.pdf

[2] Australian Signals Directorate et al. Engaging with Artificial Intelligence (AI). 2024.
https://www.cyber.gov.au/sites/default/files/2024-
01/Engaging%20with%20Artificial%20Intelligence%20%28AI%29.pdf

[3] MITRE. ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) Matrix version
4.0.0. 2024. https://atlas.mitre.org/matrices/ATLAS

[4] National Institute of Standards and Technology. AI Risk Management Framework 1.0. 2023.
https://www.nist.gov/itl/ai-risk-management-framework

[5] The Open Worldwide Application Security Project (OWASP®
). LLM AI Cybersecurity &
Governance Checklist. 2024. https://owasp.org/www-project-top-10-for-large-language-modelapplications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf

[6] The Open Worldwide Application Security Project (OWASP®
). OWASP Machine Learning
Security Top Ten Security Risks. 2023. https://owasp.org/www-project-machine-learning-securitytop-10/

[7] Cybersecurity and Infrastructure Security Agency. Secure by Design. 2023.
https://www.cisa.gov/securebydesign

[8] National Security Agency. Embracing a Zero Trust Security Model. 2021.
https://media.defense.gov/2021/Feb/25/2002588479/-1/-
1/0/CSI_EMBRACING_ZT_SECURITY_MODEL_UOO115131-21.PDF

[9] Cybersecurity and Infrastructure Security Agency. Zero Trust Maturity Model. 2022.
https://www.cisa.gov/zero-trust-maturity-model

[10] Cybersecurity and Infrastructure Security Agency. Transforming the Vulnerability Management
Landscape. 2022. https://www.cisa.gov/news-events/news/transforming-vulnerabilitymanagement-landscape

[11] Cybersecurity and Infrastructure Security Agency. Implementing Phishing-Resistant MFA. 2022.
https://www.cisa.gov/sites/default/files/publications/fact-sheet-implementing-phishing-resistantmfa-508c.pdf

[12] Canadian Centre for Cyber Security. Baseline security requirements for network security zones
Ver. 2.0 (ITSP.80.022). 2021. https://www.cyber.gc.ca/en/guidance/baseline-securityrequirements-network-security-zones-version-20-itsp80022

[13] Ji, Jessica. What Does AI Red-Teaming Actually Mean? 2023.
https://cset.georgetown.edu/article/what-does-ai-red-teaming-actually-mean/

[14] Hugging Face GitHub. Safetensors. 2024. https://github.com/huggingface/safetensors.

[15] Michael Feffer, Anusha Sinha, Zachary C. Lipton, Hoda Heidari. Red-Teaming for Generative AI:
Silver Bullet or Security Theater? 2024. https://arxiv.org/abs/2401.15897

[16] Google. Google's Secure AI Framework (SAIF). 2023. https://safety.google/cybersecurityadvancements/saif/

[17] Government Accountability Office (GAO). Artificial Intelligence: An Accountability Framework for
Federal Agencies and Other Entities. 2021. https://www.gao.gov/assets/gao-21-519sp.pdf

[18] RiskInsight. Attacking AI? A real-life example!. 2023. http://wavestone.com/en/2023/06/attacking-ai-a-real-life-example

[19] National Cyber Security Centre. Principles for the security of machine learning. 2022.
https://www.ncsc.gov.uk/files/Principles-for-the-security-of-machine-learning.pdf

原文链接:https://mp.weixin.qq.com/s?__biz=MzUzNDYxOTA1NA==&mid=2247546821&idx=1&sn=eaf1e665858c3bad2e56601674482730