← 返回列表

AI网络安全(AI Security)风险认知与理解

聚合站 SecWiki技术 作者 那一片数据星辰 发布 2024年8月16日 08:00 入库 2026-11-18T06:22:52

一、AI网络安全(AI Security)风险认知与理解

(一)主题综述

通过案例以及top10的漏洞来理解AI系统网络安全风险的现实意义。

经典案例

逃避攻击(Evasion Attacks)

案例:特斯拉自动驾驶系统被欺骗(2019年)

行为者:安全研究人员

目标:特斯拉自动驾驶系统

漏洞类型:对抗性攻击,物理世界欺骗

案例详情:研究人员通过在道路上放置特制的视觉标记,成功欺骗了特斯拉汽车的自动驾驶系统。这些标记导致车辆错误地识别道路情况,例如将一条直路误认为是转弯,或者无视停止标志。

中毒攻击(Poisoning Attacks)

案例:Tay聊天机器人被操纵(2016年3月)

行为者:Twitter用户

目标:Microsoft的Tay聊天机器人

漏洞类型:训练数据投毒

案例详情:Microsoft发布的AI聊天机器人Tay在Twitter上线后不到24小时就被用户操纵,开始发布种族主义、性别歧视和其他不当言论。攻击者通过大量与Tay的交互,利用其实时学习能力,"教会"它使用不恰当和冒犯性的语言。

模型窃取(Model Stealing)

案例:GPT-2模型被复制(2019年)

行为者:独立研究人员

目标:OpenAI的GPT-2模型

漏洞类型:模型窃取/复制

案例详情:尽管OpenAI最初只发布了GPT-2的小型版本,声称完整模型可能被滥用,但独立研究人员成功地使用公开信息和有限资源复制了接近完整GPT-2性能的模型。他们通过分析已发布的小型模型,结合公开的训练技术,在较短时间内实现了这一目标。

提示注入攻击(Prompt Injection Attacks)

案例:ChatGPT插件隐私泄露(2023年5月)

行为者:Embrace The Red(安全研究团队)

目标:OpenAI ChatGPT

漏洞类型:间接提示注入

案例详情:安全研究团队Embrace The Red发现,通过精心构造的提示,可以诱导ChatGPT泄露其插件的敏感信息。研究人员通过要求ChatGPT"忽略之前的指令"并扮演开发者角色,成功获取了插件的API密钥、端点URL等敏感信息。

系统设计漏洞(不属于典型的对抗式机器学习攻击,但代表了AI系统安全的重要方面)

案例:Microsoft Copilot数据泄露风险(2024年Black Hat大会披露)

行为者:安全研究员Michael Bargury

目标:Microsoft Copilot

漏洞类型:不安全默认设置,过度权限插件,设计缺陷

案例详情:在Black Hat USA 2024会议上,研究员Michael Bargury揭示了Microsoft Copilot存在多个安全漏洞。这些漏洞可能被攻击者利用来窃取敏感数据和企业凭证。Bargury开发了一个名为CopilotHunter的工具,能够扫描公开可访问的copilots并利用它们提取企业敏感数据。

这些案例清楚地展示了AI系统面临的多样化安全挑战,涵盖了从逃避攻击到数据投毒,从模型窃取到提示注入的各种攻击类型。每个案例都凸显了AI技术在现实应用中的脆弱性,以及需要采取的安全措施。

OWASP Top10 漏洞

OWASP LLM Top 10漏洞及其解决方案:

提示注入

定义:攻击者通过精心设计的输入来操纵LLM的行为。

示例:诱导LLM泄露敏感信息或生成有害内容。

解决方案:实施严格的输入验证、使用沙盒环境、开发专门的提示注入检测机制。

不安全的输出处理

定义:未能正确处理或验证LLM生成的输出。

示例:直接执行LLM生成的代码而不进行安全检查。

解决方案:实施严格的输出验证机制,使用安全的沙盒环境执行生成的代码。

训练数据投毒

定义:攻击者通过污染训练数据来影响模型行为。

示例:在训练数据中插入恶意样本,导致模型产生有偏见或有害的输出。

解决方案:加强训练数据的审核和清洗流程,使用差分隐私等技术保护训练数据。

不当的模型访问控制

定义:未能正确限制对模型的访问和使用。

示例:未经授权的用户能够访问和滥用高级模型功能。

解决方案:实施基于角色的访问控制,使用API密钥和令牌管理访问权限。

供应链漏洞

定义:依赖的第三方组件或服务中存在安全漏洞。

示例:使用的预训练模型或数据集中含有恶意代码。

解决方案:仔细审核和验证所有第三方组件,建立安全的模型和数据供应链。

敏感信息泄露

定义:LLM无意中披露或生成敏感信息。

示例:模型生成包含个人身份信息或商业机密的内容。

解决方案:使用差分隐私技术,实施严格的数据脱敏程序,定期审核模型输出。

不安全的插件设计

定义:LLM插件系统中存在安全漏洞。

示例:恶意插件能够访问或修改敏感系统资源。

解决方案:实施严格的插件审核和沙盒机制,限制插件的权限。

过度依赖模型输出

定义:在关键决策中过度信任LLM的输出。

示例:在医疗诊断或金融决策中完全依赖模型建议。

解决方案:建立人机协作机制,要求人工验证关键决策,提高用户对AI局限性的认识。

拒绝服务

定义:攻击者通过消耗大量资源来使LLM系统不可用。

示例:发送复杂的查询导致系统响应变慢或崩溃。

解决方案:实施请求限率、资源配额和负载均衡机制,优化模型性能。

不当的内容过滤

定义:未能有效过滤或调节LLM生成的有害内容。

示例:模型生成违法、不当或有偏见的内容。

解决方案:开发先进的内容审核系统,结合人工和AI审核,持续更新内容政策。

(二)推荐阅读(点击标题跳转原文)

Cyber Security to AI

标题:AI安全漏洞全曝光:英国《Cyber Security to AI》报告的深度解析

简介:

《Cyber Security to AI》是由英国科学、创新和技术部委托,Grant Thornton UK LLP与曼彻斯特都会大学合作完成的报告。该报告全面评估了人工智能(AI)在网络安全方面的风险,通过文献综述、跨行业客户和专家访谈,识别了AI生命周期各阶段特有的网络安全漏洞,并评估了这些漏洞的潜在利用方式和影响。

推荐阅读亮点:

全面的AI生命周期风险评估:报告提供了AI从设计到维护各阶段的安全漏洞分析,为理解AI系统的全面风险管理提供了宝贵信息。

实际案例研究:结合23个精选案例研究,报告深入探讨了现实世界中的AI漏洞相关网络攻击事件,提供了实践中的应用视角。

2.2024Black Hat大会曝光微软Copilot安全风险

标题:AI助手的暗面:2024Black Hat大会曝光微软Copilot安全风险

简介:

在2024年的Black Hat USA大会上,前微软安全架构师迈克尔·巴格瑞揭露了微软Copilot的重大漏洞。他的演示展示了攻击者如何利用这款人工智能助手进行定向钓鱼攻击、数据泄露和自动化恶意活动,引发了对企业环境中人工智能技术安全性的紧迫关注。

推荐阅读亮点:

企业级AI安全风险:报告聚焦于企业级AI助手的安全隐患,特别是针对微软Copilot的漏洞分析,为相关企业用户和安全专家提供了重要的风险评估信息。

实际安全漏洞演示:通过Black Hat大会上的实际演示,报告提供了对AI安全漏洞的直观理解,增强了对潜在威胁的认识。

  1. OWASP关于大语言模型的Top 10安全风险

标题:全面解析LLM安全风险:OWASP发布大语言模型安全漏洞Top 10

简介:

OWASP发布的《OWASP Top 10 for LLM Applications》报告深入分析了大语言模型(LLM)的10类最常见的安全漏洞,并提供了相应的缓解措施。这份报告由近500名专家共同创建,旨在为开发人员、数据科学家和安全专家提供实用的安全指导,帮助他们设计和构建更安全的应用程序和插件。

推荐阅读亮点

行业专家共识:报告汇集了来自不同领域专家的智慧,提供了关于LLM安全漏洞的深入分析和共识。

实用安全指导:报告不仅列出了Top 10安全风险,还为每个风险提供了详细的缓解策略,为专业人士提供了实用的安全开发指导。

二、贯彻AI系统全生命周期的安全治理措施

(一)主题综述

以下是包含AI生命周期不同阶段、文件1中的漏洞以及综合性安全要求和举例的表格:

AI生命周期阶段文件1中的主要漏洞(AI/软件)综合性安全要求举例说明设计阶段- 安全架构不足- 威胁建模不足(AI)- 数据隐私保护不足(AI)- 执行全面的安全架构审查- 开展深入的威胁建模- 实施数据隐私保护措施- 设计一个需要处理敏感个人信息的AI系统时,应使用强加密方法来保护数据存储和传输。开发阶段- 不安全的AI代码推荐(AI)- 代码漏洞(软件)- 数据预处理与模型训练漏洞(AI/软件)- 采用安全的编码标准和代码审查流程- 对数据预处理流程进行严格验证- 使用自动化工具帮助识别和修复代码漏洞- 在开发一个机器学习模型时,应使用代码静态分析工具来识别潜在的代码安全问题。部署阶段- 不安全的API端点(AI/软件)- 基础设施配置不当(AI/软件)- 缺乏数据传输加密(软件)- 对所有API端点实施安全措施- 确保基础设施配置符合安全标准- 实施数据传输加密- 部署一个AI服务时,应确保API使用OAuth等机制进行安全认证,并采用HTTPS进行数据加密传输。维护阶段- 安全补丁延迟(软件)- 模型衰减和概念漂移(AI)- 内部威胁(AI/软件)- 不充分的日志记录(软件)- 建立快速响应机制应用安全补丁- 定期监控和评估AI模型性能- 加强内部人员的安全意识培训- 完善日志记录策略- 对于一个已经部署的AI系统,应定期进行安全审计,确保及时更新系统和应用程序的安全补丁。生命周期结束- 未明确提及- 制定清晰的资产退役流程- 对退役的AI系统进行彻底的安全检查- 分享从项目中学到的经验教训- 当一个AI项目结束时,应确保所有敏感数据被安全删除,系统组件被适当退役,并对项目中的安全实践进行回顾。

请注意,表格中的“综合性安全要求”和“举例说明”提供了具体的措施和实际应用场景,以帮助理解每个阶段可能需要考虑的安全措施。实际的安全策略应根据组织的具体需求和风险评估进行定制。

(二)推荐阅读(点击标题跳转原文)

1.Cyber Security to AI

标题:AI安全漏洞全曝光:英国《Cyber Security to AI》报告的深度解析

简介:

《Cyber Security to AI》是由英国科学、创新和技术部委托,Grant Thornton UK LLP与曼彻斯特都会大学合作完成的报告。该报告全面评估了人工智能(AI)在网络安全方面的风险,通过文献综述、跨行业客户和专家访谈,识别了AI生命周期各阶段特有的网络安全漏洞,并评估了这些漏洞的潜在利用方式和影响。

推荐阅读亮点:

全面的AI生命周期风险评估:报告提供了AI从设计到维护各阶段的安全漏洞分析,为理解AI系统的全面风险管理提供了宝贵信息。

实际案例研究:结合23个精选案例研究,报告深入探讨了现实世界中的AI漏洞相关网络攻击事件,提供了实践中的应用视角。

2.《机器学习安全原则2.0版本》

标题:机器学习安全原则大升级:应对LLM带来的安全风险

简介:

英国国家网络安全中心(NCSC)发布的《机器学习安全原则2.0版本》是对原有安全原则的全面更新,以应对大型语言模型(LLMs)带来的新兴安全风险。该版本在原有基础上增加了对LLM系统风险的考量,强化了供应链安全和生命周期管理的重要性,并强调了“设计中的安全性”。这些原则旨在为开发者、工程师、决策者和风险所有者提供全面的安全指导,确保机器学习系统的安全和负责任的开发。

推荐阅读亮点

最新安全风险考量:2.0版本特别增加了对LLMs的风险考量,为读者提供了针对当前AI领域最前沿技术的安全指导。

全面的设计和开发指南:文档提供了从设计到部署的全生命周期安全原则,为机器学习项目的安全实施提供了详尽的参考。

实践案例和策略:结合实践案例,阐述了如何将安全原则融入到机器学习系统开发的各个阶段。

3.《AI系统安全开发指南》

标题:AI系统安全开发全面指南:英美联合多国共同解答

简介

《AI系统安全开发指南》是由英国国家网络安全中心(NCSC)和美国网络安全和基础设施安全局(CISA)等国际合作伙伴共同发布的一份全面指导文件,旨在帮助任何使用人工智能(AI)系统的提供者构建安全、可靠的AI系统。本指南覆盖了从安全设计到安全部署的整个开发生命周期,并提供了降低风险的注意事项和缓解措施。

推荐阅读亮点

国际合作成果:该指南是多国安全机构合作的成果,集合了不同国家在AI安全领域的智慧和经验。

全生命周期安全指导:提供了从设计到部署的全面安全实践,为AI系统的安全开发提供了一站式的指导。

实用性和操作性:指南中的建议和措施具有高度的实用性和操作性,能够帮助开发者和决策者在实际工作中降低AI系统的风险。

4.《AI系统安全部署指南》

标题:从部署到运维:全球安全机构联手打造AI安全部署指南

简介

《AI系统安全部署指南》是由全球多个安全机构共同撰写的一份报告,旨在提供一套最佳实践,帮助组织安全地部署和运营人工智能(AI)系统。本指南涵盖了从保护部署环境到持续保护AI系统的各个方面,确保AI系统的保密性、完整性和可用性。

推荐阅读亮点

全球安全机构合作:本指南是全球安全机构合作的成果,反映了国际间在AI安全部署方面的共识和最佳实践。

全面的安全部署策略:指南提供了从部署前的准备到部署后的安全运维的全面策略,为AI系统的安全部署提供了详尽的指导。

实用性和适应性:指南中的建议考虑了不同组织和环境的特定需求,提供了可适应不同用例和威胁概况的安全措施。

5.《生成性AI与基础模型安全开发实践指南》

标题:AI安全新实践:NIST发布《生成性AI与基础模型安全开发实践指南》

简介

美国国家标准与技术研究院(NIST)发布的《生成性AI与基础模型安全开发实践指南》为组织提供了一套评估和降低人工智能(AI)系统可能造成的伤害风险的在线工具和资源。本指南响应了白宫科技政策办公室(OSTP)的要求,旨在帮助软件开发者减轻生成性AI和双重用途基础模型带来的风险。

推荐阅读亮点

NIST权威发布:作为NIST发布的权威指南,本文档为AI安全开发提供了标准化的实践和建议。

针对性的AI风险管理:专注于生成式AI和双重用途模型的安全软件开发实践,提供了详细的任务和实践,以及如何将这些实践整合到MLOps和CI/CD流程中的具体指导。

6.《LLM安全与治理检查清单》

标题:全面解析LLM安全风险:OWASP发布《LLM安全与治理检查清单》

简介

OWASP发布的《LLM安全与治理检查清单》为使用大型语言模型(LLM)的组织提供了安全与治理方面的指导。该清单强调了负责任和可信的人工智能(AI)的重要性,并指出AI技术,尤其是LLM,在创新、效率和商业成功方面具有巨大潜力,同时也带来了明显的挑战。

推荐阅读亮点

OWASP专业出品:由OWASP组织编写,确保了清单的专业性和权威性。

全面的风险管理框架:提供了包括部署策略、治理、法律和监管要求在内的全面框架,帮助组织全面理解和管理LLM的风险。

实践指导和建议:清单中的每个检查点都提供了详细的指导和建议,实用性强,便于组织将理论应用于实践。

二、前沿AI的生存安全风险(AI Safety)

(一)主题综述

基础模型作为人工智能发展的前沿,其潜在的生存风险已经引起了全球范围内的广泛关注。本综述将依据提供的资料,系统地分析基础模型的生存风险,并探讨国际社会、企业界在治理这些风险方面的共识、指南和实践。

国际共识

国际社会对于基础模型的安全性和伦理问题已形成共识,强调了对高级人工智能系统的风险评估和管理的重要性。《布莱切利宣言》和首尔AI峰会宣言中均体现了对AI技术风险的共同关切和应对策略,如"开发前沿人工智能能力的参与者对确保这些人工智能系统的安全负有特别重大的责任"。

《国际科学报告:前沿AI的安全性评估》进一步强调了对高级人工智能系统进行综合风险评估的必要性,包括但不限于其能力、风险及潜在风险的平衡评估,同时指出了研究空白,以促进进一步探索。

国际指南

国际组织和机构已发布多项指南,旨在引导和规范基础模型的风险管理。

G7国际指导原则

G7发布的指导原则为开发高级人工智能系统的组织提供了一套行动框架,强调了在整个人工智能生命周期中识别、评估和降低风险的重要性,包括"采取适当措施,以识别、评估和降低整个人工智能生命周期的风险"。

NIST风险管理指南

NIST发布的风险管理指南提供了管理双重用途基础模型滥用风险的具体指导,提出了基于风险的方法,包括"制定、实施和披露人工智能治理和风险管理政策"。

欧盟通用目的人工智能行为守则

欧盟的行为守则旨在征集意见,制定自愿性的行为守则,以促进安全、可靠和值得信赖的人工智能,强调了组织应"以基于风险的方法为基础,制定、实施和披露人工智能治理和风险管理政策"。

企业实践

企业在前沿人工智能的风险管理方面也展现出积极的探索和实践。

Athropic的治理措施

Athropic公司针对Claude3模型提出的治理措施包括安全评估、灾难性风险评估与缓解,以及通过"Constitutional AI"技术与人类价值观对齐,确保模型的有益性、无害性和诚实性。

OpenAI的治理措施

OpenAI针对GPT-4o模型的治理措施则包括对模型进行多轮评估,包括生物能力、网络能力和自主复制与适应(ARA)能力的评估,以及采取安全和部署缓解措施,如加强安全性和使用改进的无害技术。

基础模型的生存风险管理是一个多维度、跨学科的问题,需要国际社会的共同努力和企业的积极实践。国际共识、指南和企业实践为我们提供了宝贵的参考和启示,有助于我们更好地理解和应对这些风险。未来,需要更多的研究、对话和合作,以确保AI技术的健康发展,为人类社会带来福祉,而非威胁。

(二)推荐阅读(点击标题跳转原文)

国际共识

1.《布莱切利宣言》

标题:中方多条倡议成为英国AI峰会宣言内容,五个要点解读《布莱切利宣言》(来自于清华大学人工智能国际治理研究院)

简介:《布莱切利宣言》是在英国举办的人工智能安全全球峰会上提出的一份重要文件,它汇集了多国对人工智能发展中的伦理和安全问题的共识。宣言中强调了以人为本的AI发展理念,呼吁在设计、开发和使用AI过程中,始终以人的福祉为出发点,同时警示AI发展可能带来的伤害,并要求通过法规等手段防范和化解相关风险。

推荐阅读亮点

全球伦理共识:宣言体现了不同国家和组织在AI伦理问题上的共识,为国际AI治理提供了共同的基础。

风险防范:与其他资料相比,宣言特别强调了AI发展中的风险防范和法规手段的重要性。

2.《首尔宣言》

标题:《关于AI安全、创新和包容性的首尔宣言》

简介

《首尔宣言》是韩国人工智能首尔峰会上达成的共识,它在首届人工智能安全峰会的基础上进一步推进了全球对人工智能安全、创新和包容性的讨论。宣言中提出了一系列行动指南,旨在促进AI技术的安全发展,同时确保技术创新和包容性增长。

推荐阅读亮点

三重优先事项:宣言将安全、创新和包容性作为AI发展的三个相互关联的优先事项,提供了一个全面的AI治理视角。

实施行动指南:与其他资料相比,宣言更侧重于实施具体的行动指南,为AI的安全和可持续发展提供了明确的路径。

3.北京AI国际安全对话共识

标题:《Hinton、Bengio等联合中国专家达成AI安全共识》(来自清华大学智能产业研究院)

简介

在北京AI国际安全对话中形成的共识文件,汇集了国际技术专家对AI安全风险的共同关注和行动呼吁。共识强调了AI系统开发和部署过程中的安全红线,以及为确保这些红线不被僭越所需的治理机制和技术合作。

推荐阅读亮点

安全红线:共识中提出的AI系统不应违反的红线,为AI安全设立了明确的边界,这在其他资料中较少见。

国际技术合作:共识呼吁国际学术界和企业界在AI安全领域的合作,体现了全球协作在应对AI挑战中的重要性。

4.前沿人工智能安全性的临时国际科学报告

标题:《AI速读|前沿人工智能安全性的临时国际科学报告》

简介

本报告为《前沿人工智能安全的国际科学报告》的阶段性报告,旨在建立关于先进人工智能(AI)风险的国际共识,并为未来全面报告奠定基础。

推荐阅读亮点

前沿AI风险的科学解读:报告深入分析了前沿AI技术的风险和潜在影响,为读者提供了一个科学和客观的风险评估视角。

国际指南

1.G7人工智能国际指导原则

标题:高级AI的全球行动指南:G7国际指导原则

简介

G7国家集团提出的《开发高级人工智能系统的组织的国际指导原则》为高级人工智能系统的安全、可靠和可信发展提供了一套具体的实施行动。这些原则不仅强调了国际合作的重要性,还突出了组织在设计、开发和部署高级AI系统时应遵循的责任和标准。

推荐阅读亮点

实施行动的明确性:G7指导原则中的行动指南为组织提供了明确的步骤,以确保高级AI系统的安全部署,这是其他资料中不常见的具体指导。

高级AI的针对性:原则专注于高级AI系统,包括前沿的基础模型和生成式AI系统,提供了针对性的管理措施。

2.NIST基础模型滥用风险管理指南

标题:《AI安全的里程碑:NIST发布基础模型滥用风险管理指南》

简介

NIST发布的AI风险管理指南专注于管理双重用途基础模型的滥用风险,提供了一套详细的评估和处置流程。该指南帮助组织识别和缓解可能被用于恶意目的的AI技术风险。

推荐阅读亮点

滥用风险的专门性:NIST指南专门针对AI的滥用风险,提供了具体的滥用风险类型和评估处置方法,这在其他资料中较为罕见。

评估和处置流程:指南中的评估和处置流程为组织提供了一套系统化的方法来处理AI滥用风险。

3.欧盟通用目的人工智能行为守则

标题:《欧盟AI法案生效倒计时:全球首个通用目的人工智能行为准则制定启航》

简介

欧盟提出的通用目的人工智能行为守则旨在征集广泛的利益相关者意见,以制定一套自愿性的行为准则。这些准则将指导组织如何开发和部署安全、可靠和值得信赖的通用目的人工智能系统。

推荐阅读亮点

自愿性与包容性:与强制性法规不同,欧盟的行为守则强调自愿遵守和多方利益相关者的参与,体现了更加包容的治理方式。

意见征集过程:该守则的制定过程特别强调了公开征集意见的重要性,这在其他资料中较少见,为AI治理提供了多元化视角。

企业实践

  1. Claude3模型卡

标题:《AI专题|从Claude3模型卡分析人工智能治理措施》

简介

通过分析Claude3的模型卡,本文展示了Anthropic在人工智能治理方面的具体措施,包括灾难性风险评估和负责任扩展原则。

推荐阅读亮点

灾难性风险的具体评估:Claude3模型卡中描述了Anthropic如何通过技术和伦理标准来评估和缓解AI系统的灾难性风险。

负责任扩展原则的应用:展示了Anthropic如何将负责任扩展原则应用于AI开发过程中,确保AI系统的安全性和伦理性。

3.OpenAI GPT-4o模型卡

标题:《声音克隆?情感依赖?GPT-4o模型卡深度剖析多模态风险》

简介

GPT-4o模型卡深度剖析了多模态AI的风险,包括声音克隆和情感依赖等问题,并展示了OpenAI为确保AI系统的安全性和可靠性所采取的措施。

推荐阅读亮点

多模态风险的深度分析:GPT-4o模型卡专注于多模态AI可能引发的新风险,提供了针对性的分析和缓解措施,这些内容在其他资料中较为罕见。

准备框架的实施:模型卡中详细说明了OpenAI如何通过准备框架来评估和确保AI模型的安全性,这是确保AI系统安全性的关键措施。

原文链接:https://mp.weixin.qq.com/s/zfe7kVeObV3PkClnlvp-5Q