← 返回列表

宾夕法尼亚州立大学 | The Task Shield:不问“是否危险”,只问“是否在办你的事”

单站 安全学术圈 发布 Wed, 21 Oct 2026 17:44:00 +0800 入库 2026-11-18T07:16:52

原创 全诗轩 2026-10-21 17:44 四川

这篇论文的价值不在“又一个注入检测器”,而在把问题重述了一遍:安全目标从“这个动作危不危险”换成“这个动作是不是在为用户的目标服务”,绕开了“恶意内容识别”这个难以穷举的开放问题,转而验证一个封闭、可判定的关系;

原文标题:The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents

原文作者:Feiran Jia, Tong Wu, Xin Qin, Anna Squicciarini

原文链接:https://aclanthology.org/2025.acl-long.1435/

发表会议:ACL 2025(Long Papers,pp. 29680–29697)

笔记作者:全诗轩@安全学术圈

主编:黄诚@安全学术圈

大型语言模型(LLM)智能体正越来越多地作为对话助手部署,能够通过工具集成执行复杂的现实世界任务。这种与外部系统交互并处理各类数据源的增强能力虽然强大,却引入了显著的安全漏洞。

最麻烦的威胁是间接提示注入:攻击者不直接对模型下命令,而是将恶意提示嵌入LLM智能体处理的外部数据源中,如文档、网页或工具输出。

针对这一威胁,本文提出了一种新颖的任务对齐概念,形式化了LLM智能体对话系统中指令之间的关系,动态强制任务对齐。根据AgentDojo基准上的大量实验表明,这种方法显著降低了提示注入攻击的成功率,同时保持了用户任务的效用。

论文的出发点只有一句话:与其问这个动作危不危险,不如问它是不是在替你办事。

它不是试图识别有害内容,而是专注于确保可操作指令有助于完成用户目标。过往的安全判据被改写成一条任务对齐(task alignment)条件:会话中每条可执行指令,都必须至少服务于一条用户级任务指令;答不出“你在帮用户做哪件事”的指令,无论多温和都应拒绝。这与指令层级(system ≻ user ≻ assistant ≻ tool)天然咬合——低权限层的指令,只有在能帮助实现高权限目标时才配被接受。

Task Shield 把这条判据落成了三个部件。

关卡则设在三个位置:用户消息只更新任务集,不拦截;助手消息同时检查文字回复与工具调用,不通过就多轮打回、工具调用直接掐断;工具输出先把来源标进上下文(“from tool [name] with arguments [args]”),让模型知道“这话是谁说的”,再决定拦不拦。攻击想成功,得连破三道。

评测在 AgentDojo 上做,四个贴近真实的套件(Travel / Workspace / Banking / Slack),三类注入攻击,四类基线防御,指标是干净效用(CU)、攻击下效用(U)与攻击成功率(ASR)。

在 GPT-4o、最强的 Important Instructions 攻击下:

防御方法 CU ↑ U ↑ ASR ↓
无防御 69.07 50.08 47.69
ToolFilter 72.16 56.28 6.84
RepeatPrompt 84.54 67.25 27.82
Delimiting 72.16 55.64 41.65
PI Detector 41.24 21.14 7.95
Task Shield 73.20 69.79 2.07

基线各有各的“偏科”:PI Detector 安全却把任务效用砸到 21.14%,RepeatPrompt 保住了效用却几乎拦不住攻击。Task Shield 是唯一两头都占的。另两类攻击(InjecAgent、Ignore Previous)也分别从 5.72%、5.41% 压到 1.11%、0.48%。GPT-4o-mini 上同理:ASR 从 27.19% 降到 2.23%,且是唯一没有拖累干净效用的防御。

消融还给出两个实用结论:只做输入侧检查(InputShield)就能把 ASR 压到 4.76%、效用提到 63.80%,是性价比最高的单点方案;而反馈里那句“复述用户目标”看着像走过场,删掉后效用从 63.80% 直接跌到 43.80%。代价也很实在——完整版中位延迟 62.56 秒,是无防御(6.17 秒)的十倍,所以作者建议按需分级部署。

这篇论文的价值不在“又一个注入检测器”,而在把问题重述了一遍:安全目标从“这个动作危不危险”换成“这个动作是不是在为用户的目标服务”,绕开了“恶意内容识别”这个难以穷举的开放问题,转而验证一个封闭、可判定的关系;也让防御能顺着智能体“多轮 + 工具 + 分层权限”的结构,在用户、助手、工具三层分别设卡,形成纵深。

本文章所提出方法的笔者认为有以下几点缺陷:

安全学术圈 | 投稿须知 

有兴趣加入学术圈的请联系 secdr#qq.com

原文链接:https://mp.weixin.qq.com/s?__biz=MzU5MTM5MTQ2MA==&mid=2247496016&idx=1&sn=bd01b8dfcd0be7e6b63d97f130b0beb7