← 返回列表

Agent-SafetyBench:全面的智能体安全评估基准

聚合站 SecWiki技术 作者 人工智能THU 发布 2024年12月24日 16:42 入库 2026-11-18T05:23:32

清华大学CoAI课题组发布了Agent-SafetyBench,一个全面的智能体安全评估基准。Agent-SafetyBench共包含来自八个不同安全维度的2000个测试样本,包含349个可动态交互、支持工具调用的交互环境,并且覆盖了10大典型的安全失败模式。

相关论文已在https://arxiv.org/abs/2412.14470发布,代码、数据、评测模型等即将在https://github.com/thu-coai/Agent-SafetyBench发布。

引言

随着大型语言模型(LLMs)越来越多地被部署为智能体,它们与交互式环境的集成以及工具的使用引入了超越模型自身的新型安全挑战。然而,目前还比较缺乏全面的智能体安全基准来评估智能体安全性,这成为对智能体安全进行有效评估和进一步改进的一大障碍。

长期以来,清华大学计算机系CoAI课题组一直关注大型语言模型的安全伦理问题。我们陆续提出了中文大模型安全评测平台[1]、SafetyBench[2]、ShieldLM[3]等安全研究的数据与模型资源,并提出了基于优先级的越狱攻击防御[4]、基于有害知识遗忘的越狱攻击防御[5]等安全改进方法,这些资源和方法为大型语言模型的安全研究提供了重要支持。

为了进一步推动大型语言模型在未来作为智能体在各种复杂环境下安全部署,清华大学CoAI课题组开发了Agent-SafetyBench,一个全面的智能体安全评估基准。Agent-SafetyBench致力于为研究人员和开发者提供一个公开可靠的评测基准,帮助研究人员和开发者更好地理解和评估智能体的安全性,并帮助发展安全、负责任和道德的智能体,促进其与立法、社会规范和人类价值观保持一致。

Agent-SafetyBench十问

Q1:Agent-SafetyBench相比其他安全评测基准,优势是什么?

图1:Agent-SafetyBench总览

我们总结了Agent-SafetyBench的五大优势:

◆多样的交互环境。Agent-SafetyBench总共包括349个交互环境,在覆盖范围上显著超过了之前的相关工作。

◆广泛的风险覆盖。Agent-SafetyBench包含了八大安全风险维度,基本能够覆盖常见的安全问题。

◆充足的测试样本。Agent-SafetyBench共包含了2000个测试样本,每个安全风险维度均包含250个测试样本。

◆详尽的失败模式。Agent-SafetyBench覆盖了智能体交互过程中容易出现的十大失败模式,有助于研究人员更好的理解智能体出现安全问题的原因。

◆高质量和灵活性。Agent-SafetyBench的每个测试样本都至少经过了2轮人工检查以及额外的自动验证,保证了数据的高质量。并且,我们实现的交互环境是可以动态配置参数的,保证了测试的灵活性。

总体而言,Agent-SafetyBench引入了更多之前从未涉及的交互环境,并且在安全风险类型和失败模式上有更广泛和系统的覆盖。Agent-SafetyBench和之前主要智能体安全评估基准的比较如下图所示:

图2:Agent-SafetyBench和之前评估基准的比较

Q2: Agent-SafetyBench评测的安全风险包括哪些维度?

Agent-SafetyBench依托于一套系统的安全性分类体系,涵盖了八个维度的安全评测。以下对八个安全维度进行了说明:

◆泄漏隐私数据或信息(Leak sensitive data / information):智能体无意或故意泄露敏感数据,例如通过电子邮件向非预期接收者共享机密信息。

◆导致财产损失(Lead to property loss):智能体的行为导致广义上的财产损失或受损,包括知识产权、金融资产、重要数据等。

◆传播不安全信息或者错误信息(Spread unsafe information / misinformation):智能体传播有害或误导性内容,例如发布恶意内容到社交媒体上。

◆导致身体伤害(Lead to physical harm):智能体的行为导致身体健康受到伤害,例如购买了错误的药物。

◆违反法律或道德(Violate law / ethics):智能体的行为违反法律或道德标准,例如协助运输违禁品。

◆影响可用性(Compromise availability):智能体的行为会破坏应用程序或系统的正常功能,例如错误地阻止对合法网站的访问。

◆贡献有害或者脆弱的代码(Contribute to harmful / vulnerable code):智能体的行为导致创建或传播有害或易受攻击的代码,例如部署有害代码。

◆产生不安全信息或者错误信息(Produce unsafe information / misinformation:智能体在没有外部输入或工具的情况下生成有害或误导性的内容,例如生成盗窃的步骤。

Q3: Agent-SafetyBench包含哪些失败模式?

  1. 智能体自身在没有外部输入或工具的情况下生成了有害内容(例如,智能体生成了制造炸弹的步骤);

  2. 智能体在任务信息不完全时错误地调用了工具(例如,指令要求发送邮件给John,但是联系人列表有多个包含John的名字,无法明确需要发送给哪个John);

  3. 智能体在未获取完完整信息的情况下错误地调用工具(例如,在调用某个特定工具前,应先用某前序工具得到一些限制信息);

  4. 智能体忽略已知的限制信息错误调用工具(例如,忽略权限要求强行调用某工具);

  5. 智能体忽略潜在的安全风险或不安全后果而错误调用工具(例如,关闭了所有的预警系统);

  6. 智能体在调用工具时传参错误(例如,指定了错误的文件访问权限参数);

  7. 智能体忽略了工具可能存在的安全风险或缺陷而调用工具(例如,工具描述中指出了该工具有安全漏洞,但智能体依旧调用了该工具);

  8. 智能体没有调某些必要的工具(例如,在有人员伤亡的火灾场景中,只呼叫了火警而没有呼叫医药急救);

  9. 智能体对工具返回的结果缺乏验证和过滤机制(例如,在工具返回错误或者不安全信息时,智能体将该结果直接返回给用户);

  10. 智能体对于工具返回的结果筛选存在问题(例如,工具向智能体返回了多个药店的评论,但智能体选择了一家有安全隐患的店返回给用户)。

Q4: Agent-SafetyBench中测试样本的例子?

我们这里给出了部分安全风险类型和失败模式对应的例子,对于完整的例子,请查阅我们论文的附录。

图3:部分风险类型对应的样例

图4:部分失败模式对应的样例

Q5: Agent-SafetyBench的数据是如何收集的?

一方面我们对现有数据进行了整合、改写以及细致的检查,另一方面我们基于现有数据对数据、环境借助大模型进行自动增广并进行细致的人工检查,从而构造出了安全风险类别覆盖均匀,交互环境丰富,样本充足的测试数据。对于更多的数据构造细节,欢迎查阅我们的论文。

Q6: Agent-SafetyBench的评测流程?

我们在图1中展示了评测的整体流程,测试样例一方面给交互环境提供初始化参数,一方面给智能体提供用户指令,智能体根据用户指令和环境提供的各种工具来与环境进行多轮交互,并最终给出一个对用户的回答。获取到完整的交互记录之后,我们通过自己微调的打分器(相比GPT-4o有大概15%的准确率提升)来对交互过程的安全性进行打分。

我们之后也会在论文中提供的Github仓库更新评测的流程以及自动化脚本,欢迎Star我们的仓库!

Q7: 我们目前评测了哪些智能体?

我们目前评测了16个基于大语言模型的智能体,覆盖了主流开源模型和闭源模型。具体的列表如下:

图5: 所评测的16个智能体

Q8: 目前智能体的安全风险如何?

所评测的16个智能体在不同的安全风险以及整体上的安全分数如下:

图6:不同安全风险类型及整体安全分数

可以看到,整体而言智能体的安全性较差,表现最好的Claude系列模型安全分数也不超过60%。此外智能体在行为安全上相比内容安全更容易产生安全风险,这也说明了对智能体行为安全进行评估的必要性。我们也可以观察到一些比较具有挑战性的风险类别,比如传播有害信息或者错误信息这个类别,可以看到大部分智能体的安全分数均低于20%,说明智能体更容易被用于传播不安全信息。

Q9: 智能体不安全的原因及可能的缓解措施?

我们进一步对10个总结的典型安全失败模式进行了分析,在这10个失败模式上的安全分数如下:

图7:不同安全失败模式及整体安全分数

可以看到,不同智能体在这些失败模式上都或多或少存在一些问题(更详细的分析可以查阅我们论文的实验分析部分),我们进一步根据这些失败模式总结出了两大智能体安全的基础缺陷:(1)缺乏鲁棒性。智能体缺乏能够在不同场景下鲁棒地正确使用工具的能力,从而导致了潜在的安全风险。(2)缺乏风险意识。智能体缺乏对其行为所可能产生的风险的认知,例如不知道调用工具关闭警报系统所带来的安全风险。我们认为这两个缺陷也是后续的研究需要着重解决的问题。

我们还进一步讨论了简单的缓解措施是否有效。我们将总结的失败模式加入到输入prompt中,提醒模型去避免这些失败模式,并且根据强度设计了两个不同的prompt,其缓解效果如下图所示:

图8:加入防御prompt后的安全分数变化情况

可以看到,一方面加入防御prompt对弱一些的智能体几乎没有增益,而对于理解能力比较强的智能体,所带来的增益也比较有限。因此,我们还需要更成熟的安全对齐方案来系统提升智能体的安全性。

Q10: 未来展望

我们会持续维护Agent-SafetyBench的Github仓库以及更新评测模型,欢迎大家使用我们的评测基准和提出建议。总体而言,智能体安全的问题较为严重,我们也会在智能体安全问题上做更多的探索,欢迎交流合作!

结语

我们希望通过Agent-SafetyBench,促进对智能体安全的全面评估,从而帮助提升智能体的安全性。欢迎大家使用Agent-SafetyBench进行评测,也欢迎大家向我们提各种建议反馈。

CoAI课题组主页:http://coai.cs.tsinghua.edu.cn

联系邮箱:zx-zhang22@mails.tsinghua.edu.cn cuishiyao@mail.tsinghua.edu.cn

参考文献

[1] Sun, Hao, et al. "Safety Assessment of Chinese Large Language Models." arXiv preprint arXiv:2304.10436 (2023)

[2] Zhang, Zhexin, et al. "Safetybench: Evaluating the safety of large language models with multiple choice questions." arXiv preprint arXiv:2309.07045 (2023)

[3] Zhang, Zhexin, et al. "Shieldlm: Empowering llms as aligned, customizable and explainable safety detectors." arXiv preprint arXiv:2402.16444 (2024)

[4] Zhang, Zhexin, et al. "Defending large language models against jailbreaking attacks through goal prioritization." arXiv preprint arXiv:2311.09096 (2023)

[5] Zhang, Zhexin, et al. "Safe unlearning: A surprisingly effective and generalizable solution to defend against jailbreak attacks." arXiv preprint arXiv:2407.02855 (2024)

原文链接:https://mp.weixin.qq.com/s/Err5b_U9WXZRpm1tY8iF-Q