什么是 AI 智能体?
AI 智能体的核心组件
推理和规划
工具
记忆
检索和知识
AI 智能体架构
水平层次结构
垂直层次结构
单代理架构
多代理架构
AI 智能体的安全风险
代理劫持
过度自主性
钱包拒绝(DoW)攻击
多轮对话攻击
非恶意(但有害)行为
传统越狱
AI 智能体安全最佳实践
工具清单
过滤输入和输出
系统prompt配置
沙盒代理
强制执行 AI 行为准则
监控和警报
上周通用AI智能体Manus的“爆火”(加上双引号,是因为充满争议),让业界将目光重新聚焦到AI智能体(agent)之上。实际上,智能体始终是依托于大模型之上,在大模型如火如荼的发展过程中,业界大量输出大模型的安全研究成果,个人预计智能体安全很快也会进入一个成果井喷期。个人近期在探索安全智能体的研发,而且工作中也有接触到智能体安全风险与加固探索,因此,周末对智能体安全性做了大致了解,发现国外AI红队Promptfoo的《深入理解 AI 智能体(agent)的安全性》内容比较全面,因此结合个人理解,在翻译过程稍作术语调整,加上一些个人评价,以飨读者。
原文链接:https://www.promptfoo.dev/blog/agent-security,使用个人最喜欢的Kimi翻译。
什么是 AI 智能体?
AI 智能体是能够动态设定自身流程以执行特定任务的系统。与执行流程预先在代码中设定的工作流不同,代理具有自主性和知识,可以根据输入做出细致的决策。
目前,市场上涌现出一波新的代理系统,尤其是那些通过初创公司解决复杂行业问题的系统。尽管这些代理可能被称为“AI 助手”或“AI 同事”,但其核心原则始终是:它们是具有执行任务自主性的模型驱动系统。
从底层来看,代理系统需要四种基本能力:
能够推理和规划的模型(reasoning and planning)
信息检索机制(retrieval)
工具和 API(tools and apis)
记忆系统(memory)
AI 智能体的复杂程度可以从简单(例如查询天气数据)到复杂(例如能够访问受限数据并代表用户采取行动的客户服务聊天机器人)。像 OpenAI 和 Anthropic 这样的基础(大模型)实验室在其示例中提供了基本的案例——例如 Anthropic 的带有客户端工具的客户服务代理。
当我们思考 LLM 架构时,存在不同层次的复杂性:
基础模型对话:用户通过prompt和回答直接与模型交互
RAG 增强查询:通过向量数据库提供上下文增强的模型交互
用户与代理交互:用户与自主 AI 智能体进行互动
RAG 支持的代理:能够访问知识库并执行功能的代理
代理与 API 通信:代理与外部 API 进行交互
代理之间的协作:多个代理协同工作以实现目标
现实世界中的应用通常会结合多个层次。例如,一个旅行聊天机器人可能需要处理基础对话,检索客户资料(RAG),修改预订(用户与代理),并通过外部预订系统预订餐厅(代理与 API)。随着代理的不断普及,我们可以预期会看到越来越多复杂且相互协作的代理系统。
评论:AI Agent不是AI代理,而是AI 智能体,其并非对大模型API的简单调用,而是一个具有自主思考能力的系统
AI 智能体的核心组件
所有 AI 智能体都需要一定的自主性,以便做出决策并执行任务。这就需要一个能够推理和规划的模型、用于获取信息的检索机制、用于执行任务的工具和 API,以及用于存储信息的记忆系统。
推理和规划
智能体必须评估问题并确定实现目标所需的行动。这包括理解上下文、分解复杂任务,并确定最佳行动顺序。并非所有模型都具备推理和规划能力,因此选择能够应对任务复杂性的模型至关重要。
工具
为了让 AI 智能体执行任务,它必须调用工具。这些工具可以简单到 Python 函数,也可以复杂到第三方 API 和数据库查询。在创建 AI 智能体时,需要将这些工具注册到代理中。
向 AI 智能体提供这些工具并不意味着它会在每次响应时调用这些工具。相反,可以构建 AI 智能体以“推理”并决定是否调用工具。对于某些模型,还可以强制模型调用函数。
在 Anthropic 的客户服务代理示例中,用户发送消息后,会触发 LLM 进行“思考”。LLM 可以访问三个客户端工具:get_customer_info、get_order_details和cancel_order。根据用户消息,它必须确定应该使用哪个工具来执行任务。在这个例子中,它决定调用get_customer_info函数,并返回适当且结构化的响应。
记忆
AI 智能体需要记忆来克服无状态 LLM 架构的挑战。AI 智能体通常使用两种类型的记忆:
短期记忆:这是当前对话的记忆,用于存储对话历史和当前任务的上下文。
长期记忆:这是 AI 智能体知识的记忆,用于存储对世界和当前任务的知识。
检索和知识
检索是从知识源(如向量数据库)中获取信息的过程。AI 智能体可能需要访问向量数据库以检索相关信息,无论是搜索执行任务所需的存储信息,还是检索有助于成功完成功能的相关信息。
AI 智能体还可能被授予访问数据库(如 SQL 数据库)的权限,以检索用户或另一个代理请求的信息。
评论:AI 智能体的四个核心组件并非缺一不可,参考前OpenAI 安全VP Lilian Weng的理解:AI 智能体的核心驱动力是大语言模型,规划(Planning)、 记忆(Memory)和工具使用(Tool Use)是实现它的三个关键组件
AI 智能体架构
单代理架构
单代理架构最适合定义明确的流程和范围狭窄的工具。与单代理交互时,它会按顺序计划并完成任务,即必须完成第一步的操作后才能进行下一步。
多代理架构
多代理系统适用于需要多种视角或并行处理的任务。这些系统可以两种方式组织:
水平层次结构
代理之间协作,没有指定的领导
非常适合反馈密集型任务
存在代理之间“闲聊”导致焦点分散的风险
垂直层次结构
一个代理领导,其他代理提供支持
明确的分工
减少干扰,但可能会面临通信瓶颈
评论:代理架构没有说哪一种更好,只有应用场景的不同
AI 智能体的安全风险
根据代理架构的类型,AI 智能体可能仍然容易受到 RAG 架构常见的安全风险的影响,例如访问控制被破坏、数据投毒和prompt注入。除了这些风险外,AI 智能体还可能引入其他类型的漏洞。
代理劫持
针对代理系统最大的风险之一是新出现的“代理劫持”概念。通过直接或间接的prompt注入,AI 智能体可能被利用。代理劫持是一种需要多个漏洞串联才能构成严重威胁的链式攻击。第一个漏洞是 AI 智能体的基本配置错误,导致其被赋予过多的权限或自主性。第二个漏洞是存在来自不受信任用户输入的直接或间接prompt注入。当这两个漏洞串联时,AI 智能体可能会被“劫持”,从而执行用户发出的恶意命令。
直接prompt注入发生在用户直接与 AI 智能体交互(例如通过聊天机器人)时,包含可以绕过 LLM 系统原始意图的恶意指令。间接prompt注入则是通过投毒 LLM 代理的检索系统来实现,例如在 RAG 知识库中包含一个被投毒的文档,随后被 LLM 检索到。
过多的自主性和prompt注入攻击相结合,可能会迫使 AI 智能体以非预期或恶意的方式行事,例如代表攻击者发送精心制作的网络钓鱼信息、提升权限以将未经授权的数据检索给用户,或向用户提供恶意或非法信息。
过度自主性
被赋予过多访问权限(或无限制访问权限)的 AI 智能体,对工具、API 和数据库的访问可能会对数据泄露和敏感信息泄露构成巨大风险。它们还可能引入对数据库和 API 的无限制消耗攻击的风险,如果未应用速率限制和输入过滤的话。这是由于缺乏强大的授权机制、过于宽松的工具调用以及缺乏输入过滤所导致的。
在上图中,由于prompt未经过滤,且 AI 智能体对数据库的访问没有限制,它可以运行 SQL 命令以转储数据库内容。
钱包拒绝(DoW)攻击
从设计上讲,AI 智能体需要更复杂的推理和规划能力才能执行任务。由于计算要求,这些模型本质上比用于聊天完成的简单模型更昂贵。例如,推理模型(如 OpenAI 的 o1)的推理成本几乎是 gpt-4o 的 150%。能够访问公司代理系统的用户可能会滥用或误导代理系统,使其陷入无休止的推理或不必要地完成任务,从而导致从推理提供商那里产生巨额账单。
多轮对话攻击
并非所有攻击都可以在单个prompt中完成。LLM 代理可能容易受到多步骤攻击,攻击者通过一系列对话逐步完成攻击。这些多轮对话策略能够有效地诱使代理生成有害输出,或在有状态的应用程序中执行任务,通过逐渐说服 AI 智能体违背其预期目的。
例如,使用 Promptfoo 工具本身,我们通过多轮对话中的推理,针对其他 LLM 进行代理攻击,采用如 GOAT 和 Crescendo 等策略。
非恶意(但有害)行为
尽管没有恶意意图,但 AI 智能体可能会在其被提供的资源范围内采取有害行动。例如,配置错误的编码代理可能会将不安全的代码提交到生产环境中。如果没有适当的风险缓解措施来控制生产系统中的代理,这些代理可能会破坏平台的可操作性或可用性,暴露敏感数据(如 API 令牌),或引入可能被攻击者利用的不安全代码。
在客户服务领域,AI 智能体可能会犯错误,例如在错误的价格上做出承诺,而公司可能需要依法履行。它还可能提供关于公司政策的错误信息,或根据提供的事实得出错误的结论。
AI 智能体还可能容易受到欺诈,并且应该被监控异常活动。例如,攻击者可能会坚持声称没有收到包裹投递,并迫使代理调用工具取消投递或发放退款。
传统越狱
AI 智能体并非对传统越狱免疫。在上述漏洞中,AI 智能体仍然容易受到基线越狱尝试的影响,这可能会迫使代理披露有害信息或绕过固有的安全护栏。需要注意的是,部署代理系统并不会消除简单 LLM 系统的漏洞类别,而是由于代理所需的多层架构而加剧了风险。因此,AI 智能体仍应应用深度防御措施,这些措施适用于对话式 AI 或基础模型,例如红队测试和安全护栏。
评价:与大模型安全类似,AI 智能体同样存在大量传统安全风险,比如 SSRF/RCE/SQL注入 等,更多AI 智能体的安全风险可以参考OWASP Top 10 for Agentic AI 预发布版:https://github.com/precize/OWASP-Agentic-AI
AI 智能体安全最佳实践
在很多方面,AI 智能体应该像安全团队处理组织内员工访问控制一样被对待。像人类一样,智能体根据其工作记忆、可用工具以及它们可以访问的知识源来做出决策并执行任务。像员工一样,AI 智能体通常希望很好地完成任务,与更大的目标保持一致,但也可能会犯错误、披露信息或受到社会工程学攻击。
对于 AI 智能体的最佳实践是强制执行最小权限和需知原则。应该定期审计和重新认证 AI 智能体对向量数据库、工具和第三方 API 的访问权限。所有代理活动都应被记录和监控,并为可疑活动设置警报,当不再使用时,应废弃 AI 智能体。
在部署 AI 智能体时,考虑以下控制措施:
工具清单
维护一个清单,记录哪些工具、函数、API 和数据库被暴露给 AI 智能体。
列出 AI 智能体的预期任务以及通过访问工具应实现的目标。
根据 AI 智能体被授权的任务(读取、写入、删除等)、它们访问的数据的敏感性(机密、高度敏感、PHI、PCI、PII)以及暴露程度(公开、内部)来记录 AI 智能体的风险级别。
对于 AI 智能体被授权使用的工具,强制执行最小权限。例如,如果 AI 智能体只需要在 SQL 数据库上运行查询,它就不应该具有 DELETE、UPDATE 或 DROP 的能力。更好的做法是——将代理限制为预写查询或准备好的语句。
同样重要的是,对能够访问该工具的用户强制执行最小权限。
限制对 AI 智能体的访问,并在必要时终止访问。
过滤输入和输出
对 AI 智能体的prompt和输出实施验证和过滤。
强制执行数据丢失预防(DLP)技术,以降低敏感数据泄露的风险。
实施 API 请求签名和验证,以防止篡改。
系统prompt配置
假设系统prompt中的所有信息都是公开的。
在私有数据和prompt上下文之间实施严格的分离。
指示代理不要透露其prompt或上下文中的任何信息,并实施护栏。
沙盒代理
考虑将 AI 智能体保持在安全、隔离的环境中,限制对资源和功能的访问。
将 AI 智能体与生产环境和网络分开,以降低 SSRF 攻击的风险。
强制执行 AI 行为准则
与法律、营销、合规和安全团队合作,为 AI 智能体制定并强制执行 AI 行为准则。
实施红队测试,以确保 AI 智能体不会违反 AI 行为准则或其他 AI 治理政策。
监控和警报
为 AI 智能体实施监控和警报,以检测异常行为。
强制执行适用于其他系统或员工的任何二级控制措施,例如欺诈警报机制和敏感交易的多因素身份验证。
评论: AI 智能体的资源访问绝不仅仅是向量数据库、工具和第三方 API等,还包括网络访问权限、操作系统权限等,因此在对 AI智能体做安全评估时,应当从网络、系统、应用等多个维度全方位梳理资源访问权限