← 返回列表

基于意图工程的自动化攻击演练落地实践

单站 白帽100安全攻防实验室 发布 Mon, 29 Dec 2025 19:08:00 +0800 入库 2026-11-18T04:22:11

天下大木头 2025-12-29 19:08 浙江

在这次技术分享中我会借助我这段时间基于LLM的自动化演练能力探索来为大家介绍在自动化演练场景下AI的介入是如何让其发挥更好的效果的

随着agent发展,现在大家正在不断的对agent能力上限来进行探索,虽然在很多人眼中agent就是prompt+tool/functioncall+上下文,但是具体在实现过程中如何构建、如何实现存在着很多实现角度的差异,各种细微的实现以及全新的思路导致最终的整体效果带来的巨大差异,这也就是为什么目前claudecode这类的agent工具仍然没有被撼动

在这次技术分享中我会借助我这段时间基于LLM的自动化演练能力探索来为大家介绍在自动化演练场景下AI的介入是如何让其发挥更好的效果的(技术点、困难),包括我也会介绍目前自动化演练过程中所采用的所谓“意图工程”,即更好的让agent的执行能够理解我们的意图,并且基于我们的意图来进行执行

目前的LLM主要就是生成式AI,本质其实就是预测,LLM作为一个预测引擎,基于我们的输入并基于模型训练的数据和提示词来生成对应的答案给我们,在调用基础大模型的时候本质上我们其实就是在进行一次问答,我们提出问题,然后大模型给出对应的结果。这其中每一步都需要人为的来进行驱动,并通过不断的对话来补充信息以此进行调整,所以如果仅仅依靠不断的与大模型来进行对话的场景下,在业务场景中就比较难有比较好的业务效果。

然而随着外部不断的探索,现在Agent这个词语频繁的出现在各处,包括各种业务场景以及能力的落地都在描述着Agent。那么Agent和生成式AI之间到底有什么样的区别。

本质上我们正在由「预测性AI」向「自动化Agent」进行转型

  1. LLM不再仅仅给我们提供一个答案,而是能根据我们给定的目标来进行持续工作,并直至完成
  2. 我们不再需要依赖静态训练知识,我们可以让Agent来主动调用工具感知环境
  3. 我们不再仅仅是一次性调用,Agent是在一个循环中进行执行,就像ReAct等模式一样我们能够不断的进行「思考-拆解-观测-执行-修正」….

所以在我看来,生成式AI大模型就像是大脑,而Agent更像是一个完整的人,我们通过给Agent工具、上下文、知识库,能够使得Agent能自动化的且不需要人工干预的完成我们的任务

通过外部的整体发展我们也能够发现大家现在从原先的prompt工程慢慢的到了上下文工程,这也侧面的说明了目前Agent的开发、应用已经到了很常见的地步

谷歌这里将Agent分成了level0-level4,目前绝大部分Agent都停留在Level3及以下,Level4的自我进化的Agent目前仍然是大家所探索的方向

Level0->Level4:核心问题推理->连接工具的困难解决者->具备上下文的战略问题解决者->协作的多Agent->自我进化的Agent

所以在Agent盛行的当下,功能的实现逐渐从原有的代码实现转而向以自然语言沟通的方式来解决问题,所以Agent能有效理解我们的意图、并且有效的执行在我看来是最关键的两个部分。

在解决任务的过程中,我将其拆分成了两个部分:1.意图的理解2.意图的执行。外部绝大部分其实都聚焦在意图的执行侧,例如ClaudeCode、Codex这类的工具,大家平时也经常在使用。

但是在意图的表达目前绝大部分其实都是通过人通过自然语言与Agent工具来不断的沟通交互来实现,由于我们人在表述问题的过程中会遗漏很多理所当然的事情,所以我们过程中会不断的通过自然语言来进行纠正。

所以我期望在业务落地场景中,是能够自动化的将我们的意图进行准确的理解,同时完成有效的任务执行。所以接下来我会先以外部的经典项目来介绍意图理解和意图执行这两个部分,并最终介绍自动化演练过程中是如何实践落地的。

我们期望最终的Agent项目能够准确执行我们的初始意图,不产生偏离,同时也能高效的完成任务执行,并能在一定程度上实现自我的纠错

项目名称:Spec-Kit

项目链接:https://github.com/github/spec-kit

项目描述:

Spec-Kit这个项目的主要是将我们输入模糊的意图通过借助Prompt、Agent以及模版的方式将一个模糊的想法转化为结构化的规范、详细的实现计划,然后结合Prompt和Spec-kit中所携带的工具来实现让Agent在执行过程中按照先前制定的计划进行依次执行。

虽然有可能大家看到prompt+Agent+Template就会觉得好像平平无奇,但是这个工具所体现出来的思想我觉得是非常先进的。AI使用效果差异大的一个重要原因是用户缺乏对大模型能力边界的把握,无法清楚表达需求,没有给大模型提供充足准确的信息。

因此Spec-Kit通过各种限制,从而实现能够让AI最终执行能尽可能的按照我们的意图来进行执行,从而实现AI整体结果的可预测性,在分析了这个项目的整体流程之后,我这边列出我觉得比较优势的两个点,并会在这个章节中进行介绍

  1. Question1:Spec-Kit是如何将模糊的意图转化成具体可执行的结构化任务清单的
  2. Question2:Spec-Kit是如何尽可能的让整体的开发过程尽可能不偏离我们初始输入的意图

在spec-kit中主要分为3个阶段来将我们输入的模糊的意图来实现结构化拆解

阶段一:用户意图拆解为用户Story

借助spec-kit内置的template模版文件以及对应的prompt,从而实现将我们输入的初始需求拆分成多个Story(可理解为模块)

核心的prompt如下:大致就是基于输入提取关键的动作,然后生成对应的描述,并且在prompt中约束了格式,然后将内容填充到预先设定的template-spec.md文件中

这里的prompt编写其实非常值得学习,最核心的部分其实就是让LLM去准确的理解我们的意图

###执行流

1.从输入中解析用户描述

如果为空:错误"未提供功能描述"

2.从描述中提取关键概念

识别:参与者、动作、数据、约束

3.对于不清楚的方面:

—根据上下文和行业标准做出合理推断

—仅在以下情况下标注为[需要澄清:具体问题]:

—该选择会显著影响功能范围或用户体验

—存在多种合理的解释,且各自带来不同的影响

—没有合理的默认选项

-**限制:最多3个[需要澄清]标记**

-优先按影响排序澄清事项:范围>安全/隐私>用户体验>技术细节

4.完成“用户场景与测试”部分

如果没有清晰的用户流程:错误“无法确定用户场景”

5.生成功能需求

每一项需求都必须可被测试

对于未指明的细节使用合理的默认值(在“假设”一节中记录假设)

6.定义成功标准

创建可衡量的、与技术无关的结果

包含定量指标(时间、性能、体量)和定性衡量(用户满意度、任务完成度)

每个标准必须可以在不涉及实现细节的情况下被验证

7.确定关键实体(如果涉及数据)

8.返回:SUCCESS(规格已准备好用于规划)

###用于人工智能生成

在根据用户提示创建此规范时:

1.**做出有根据的猜测**:使用上下文、行业标准和常见模式来填补空白

2.**记录假设**:在“假设”部分记录合理的默认值

3.**限制澄清次数**:最多3个[NEEDS CLARIFICATION]标记——仅用于对关键决策:

-对功能范围或用户体验有重大影响

-存在多种合理的解释且各有不同影响

-缺乏任何合理的默认选项

4.**优先澄清事项**:范围>安全/隐私>用户体验>技术细节

5.**像测试人员一样思考**:每一项模糊的需求都应在“可测试且明确”检查项中判为不通过

6.**常见需澄清的领域**(仅在不存在合理默认值时):

-功能范围和边界(包含/排除的具体用例)

-用户类型和权限(如果可能存在多种相互冲突的解释)

-安全/合规要求(在法律/财务上具有重要意义时)

模版和prompt输入,LLM就能够根据我们的预定义实现填词,通过填词的方式来让生成对应的护栏

#功能规范

:[FEATURE NAME]

**功能分支**:`[###-feature-name]`

**创建日期**:[DATE]

**状态**:草案

**输入**:用户描述:“$ARGUMENTS”

##用户场景与测试

(*必填*)

<!--

重要:用户故事应按重要性优先排序,作为按优先级排列的用户旅程。-->

每个用户故事/旅程必须能够独立测试——意思是即使你只实现其中一个,

你仍然应该有一个可行的 MVP(最小可行产品),能提供价值。

为每个故事分配优先级(P1、P2、P3 等),其中 P1 最为关键。

把每个故事当作一个独立的功能切片,能够:

-独立开发

-独立测试

-独立部署

-独立向用户演示

-->

###用户故事1

-[简短标题](优先级:P1)

[用通俗语言描述该用户流程]

**为何为此优先级**:[解释其价值以及为何具有此优先级级别]

**独立测试**:[描述如何独立测试——例如,“可以通过[具体操作]进行全面测试,并提供[具体价值]”]

**验收场景**:

1.**假设**[初始状态],**当**[动作],**那么**[预期结果]

2.**假设**[初始状态],**当**[动作],**那么**[预期结果]

---

###用户故事2

-[简要标题](优先级:P2)

[用通俗语言描述该用户流程]

**为何为此优先级**:[解释其价值以及为何具有此优先级级别]

**独立测试**:[描述如何可以独立测试此项]

**验收场景**:

1.**假设**[初始状态],**当**[动作],**那么**[预期结果]

---

###用户故事3

-[简要标题](优先级:P3)

[用通俗语言描述该用户流程]

**为何为此优先级**:[解释其价值以及为何具有此优先级级别]

**独立测试**:[描述如何可以独立测试此项]

**验收场景**:

1.**假设**[初始状态],**当**[动作],**那么**[预期结果]

---

[根据需要添加更多用户故事,每个用户故事应分配一个优先级]

###边缘情况

<!--

需要操作:本节内容为占位符。

用正确的边界情况来填充它们。

-->

-当[边界条件]发生时会怎样?

-系统如何处理[错误场景]?

##要求

*(必填)*

<!--

需要操作:本节内容为占位符。

请用正确的功能性需求来填充这些内容。

-->

###功能性需求

-**FR-001**:系统必须[具体功能,例如,“允许用户创建账户”]

-**FR-002**:系统必须[具体功能,例如,“验证电子邮件地址”]

-**FR-003**:用户必须能够[关键交互,例如,“重置他们的密码”]

-**FR-004**:系统必须[数据要求,例如,“持久化用户偏好”]

-**FR-005**:系统必须[行为,例如,“记录所有安全事件”]

*示例:标记不清晰的需求*

-**FR-006**:系统必须通过[需澄清:未指定认证方式——电子邮件/密码、单点登录、OAuth?]对用户进行身份验证

-**FR-007**:系统必须保留用户数据[需澄清:未指定保留期限]

###关键实体

*(如果功能涉及数据则包含)*

-**[Entity1]**:[它代表什么,关键属性(不含实现细节)]

-**[Entity2]**:[它所代表的内容,与其他实体的关系]

##成功标准

*(必填)*

<!--

需要采取的行动:定义可衡量的成功标准。-->

这些必须与技术无关且可测量。

-->

###可衡量的结果

-**SC-001**:[可衡量的指标,例如,“用户可在2分钟内完成账户创建”]

-**SC-002**:[可衡量指标,例如,“系统在不降级的情况下处理1000名并发用户”]

-**SC-003**:[用户满意度指标,例如,“90%的用户在第一次尝试时成功完成主要任务”]

-**SC-004**:[业务指标,例如,“将与[X]相关的支持工单减少50%”]

最终生成的部分spec.md内容,在内容中有对应故事名称、优先级、验证标准等,所以通俗的来说阶段一是将我们输入的初始需求拆解成多个模块

并且当生成spec.md过程中spec-kit还通过使用[NEEDSCLARIFICATION]标志符,来让用户澄清对应的内容,从而避免Agent理解的偏差

下面是最终生成的部分内容

###用户故事2

-上下文管理与共享(优先级:P1)

代理需要维护各自的上下文和记忆,同时能够与其他代理共享相关信息。上下文必须使用文件系统在会话之间持久保存。

**为什么优先**:核心需求——明确指出处理上下文和记忆信息的能力为必需。

**独立测试**:可以通过让代理进行对话、持久化其上下文,并在框架重启后验证记忆检索来进行完整测试。

**验收场景**:

1.**前提**代理有先前的对话上下文,**当**代理处理新消息时,**则**代理使用已存储的记忆保持上下文连续性

2.**前提**多个代理在一个共享任务上工作,**当**一名代理更新任务上下文时,**则**其他代理可以通过文件系统访问更新后的上下文

---

阶段二:基于模块信息设计对应的记录框架和路线

后面的逻辑其实都是类似的,也是通过prompt+template的方式来进行拆解,这里就不过多阐述了

部分摘要

#实施计划

:多代理框架

**分支**:`001-multi-agent-framework`|**日期**:2025-12-15|**规范**:[spec.md](spec.md)

**输入**:来自`/specs/001-multi-agent-framework/spec.md`的功能规范

**注意**:此模板由`/speckit.plan`命令填充。有关执行工作流,请参见`.specify/templates/commands/plan.md`

##概要

在Python中创建一个通用的多代理框架,使用基于文件系统的上下文和记忆管理。该框架将支持最多100个并发代理,具有各自的上下文存储、代理间通信、记忆持久化和任务协调能力。所有上下文和记忆信息将使用文件系统存储,而不是数据库。

##技术背景

**语言/版本**:Python3.11+

**主要依赖**:asyncio、aiofiles、pydantic、watchdog

**存储**:使用 JSON/YAML 的文件系统和结构化目录

**测试**:pytest、pytest-asyncio、pytest-mock

**目标平台**:Linux/macOS/Windows服务器

**项目类型**:带有命令行界面的单个Python包

**性能目标**:100个并发代理,99.9%的消息传递延迟<100ms,内存检索<500ms

**约束**:仅使用基于文件系统的存储,不使用外部数据库,安全处理并发文件访问

**规模/范围**:100个并发代理,每个代理10,000条记忆条目,1000+并发文件操作

阶段三:基于模块(story)生成对应的具体可执行任务

在第三阶段中将先前的信息都作为上下文进行读取,并最终构建各个阶段,并且在每个阶段下定义最小化的执行任务,核心prompt如下

先前所有的操作都直接操作文档,所以可以看到下面的prompt中直接让agent去加载了文件,这样其实也能进行上下文的节省

1.**设置**:在仓库根目录运行`.specify/scripts/bash/check-prerequisites.sh --json`并解析 FEATURE_DIR 和 AVAILABLE_DOCS 列表。所有路径必须为绝对路径。对于参数中包含单引号的情况,比如"I'm Groot",请使用转义语法:例如'I'\''m Groot'(如果可能也可用双引号:"I'm Groot")。

#

#用户输入

2.**加载设计文档**:从 FEATURE_DIR 读取:

```text

$ARGUMENTS

```

—**必需**:plan.md(技术栈、库、结构)、spec.md(带优先级的用户故事)

您在继续之前**必须**考虑用户输入(如果不为空)。

—**可选**:data-model.md(实体)、contracts/(API 端点)、research.md(决策)、quickstart.md(测试场景)

#

#大纲

—注意:并非所有项目都包含所有文档。请根据可用内容生成任务。

3.**执行任务生成工作流**:

—加载 plan.md 并提取技术栈、库、项目结构

—加载 spec.md 并提取带有优先级的用户故事(P1、P2、P3 等)

—如果存在 data-model.md:提取实体并映射为用户故事

—如果存在 contracts/:将端点映射为用户故事

—如果存在 research.md:为设置任务提取决策

—按用户故事生成任务(见下方的任务生成规则)

—生成显示用户故事完成顺序的依赖图

—为每个用户故事创建并行执行示例

—验证任务完整性(每个用户故事都具有所有所需任务,且可独立测试)

4.**生成 tasks.md**:使用`.specify/templates/tasks-template.md`作为结构,填写内容:

—更正 plan.md 中的功能名称

—第1阶段:设置任务(项目初始化)

—第2阶段:基础任务(阻塞所有用户故事的前置条件)

—第3阶段及以后:每个用户故事一个阶段(按照 spec.md 中的优先级顺序)

-每个阶段包括:故事目标、独立测试标准、测试(如有要求)、实现任务

-最终阶段:完善与跨领域关注点

-所有任务必须遵循严格的清单格式(见下方任务生成规则)

-为每个任务提供明确的文件路径

-显示故事完成顺序的依赖关系部分

-每个故事的并行执行示例

-实施策略部分(先最小可行产品,逐步交付)

5.**报告**:输出生成的 tasks.md 的路径和摘要

-总任务数量

-每个用户故事的任务数量

-识别的并行机会

-每个故事的独立测试标准

-建议的最小可行产品范围(通常仅限用户故事1)

-格式验证:确认所有任务都遵循清单格式(复选框、ID、标签、文件路径)

任务生成的上下文:$ARGUMENTS

tasks.md 应当可以立即执行——每个任务必须足够具体,以便 LLM 在无需额外上下文的情况下完成。

拆分后的具体任务,并且每个都有完成的标准

这里的整体逻辑主要是给AI设置各种护栏和标准,我在阅读这个项目的时候就尝试在想,spec-kit这个项目是如何让整体的执行流程符合预期的

其实最核心的就是在执行的过程中我们需要有很多阶段、任务执行成功与否的判定标准,以及告诉agent有哪些是不能做的。

在spec-kit中在最上游定义了宪法.md通过引入了多条准则,通过以法令的约束来禁止agent执行额外的操作

在一开始执行初期就会构建宪法

同时在最终执行任务的过程中时,通过checkpoint来制定任务是否完成的标准,通过以phase的方式来进行验证check,从而方式在整体运行过程中符合我们的意图

但是如何去做校验呢?通过prompt和agent的方式是否也是一种弱校验的形式,会不会在校验的过程中存在所谓的幻觉呢,这也是我在阅读这个项目中最关注的点,那么首先让我们来看一下这个项目中是如何做校验的吧

通过阅读可以发现,在这个项目中采用的是prompt的形式来要求agent来进行约束

在执行过程中会首先检查是否所有的checklist都执行完成,agent会检查所有规范的md中的[]是否都已被标记完成,只有把所有任务都完成了才会开始进行执行,这里算是第一阶段的校验,即事前规范的校验

如果存在没有完成的任务的话,那么会进行checklist校验

在执行过程中的校验通过下面的核心prompt来进行完成

下面的这些类似prompt我觉得也非常值得学习,特别是执行期间的动态标记这部分,能够很好的提升Agent整体的效果([]->[X])相当于始终有一个进度跟踪

5.解析 tasks.md 的结构并提取:

—**任务阶段**:设置、测试、核心、集成、润色

—**任务依赖**:顺序与并行执行规则

—**任务详情**:ID、描述、文件路径、并行标记[P]

—**执行流程**:顺序和依赖要求

6.根据任务计划执行实现:

—**分阶段执行**:完成每个阶段后再进入下一阶段

—**遵守依赖关系**:按顺序运行串行任务,标记为[P]的并行任务可以同时运行

—**遵循 TDD 方法**:在相应的实现任务之前执行测试任务

—**基于文件的协调**:影响相同文件的任务必须按顺序运行

—**验证检查点**:在继续之前核实每个阶段的完成情况

7.实施执行规则:

—**先搭建环境**:初始化项目结构、依赖、配置

—**先写测试**:如果需要为合约、实体和集成场景编写测试

-**核心开发**:实现模型、服务、CLI 命令、端点

-**集成工作**:数据库连接、中间件、日志记录、外部服务

-校对与验证:单元测试、性能优化、文档

8.进度跟踪与错误处理:

-在每个完成的任务后报告进度

-若任何非并行任务失败则停止执行

-对于并行任务[P],继续处理已成功的任务,并报告失败的任务

-提供带有上下文的清晰错误信息以便调试

-如果无法继续实现,建议下一步措施

-**重要**对于已完成的任务,确保在任务文件中将任务标记为[X]

9.完成验证:

-验证所有必需的任务已完成

-检查已实现的功能是否与原始规范相符

-验证测试通过且覆盖率满足要求

-确认实现符合技术方案

-报告最终状态并总结已完成的工作

注意:此命令假定 tasks.md 中存在完整的任务分解。如果任务不完整或缺失,请建议先运行`/speckit.tasks`以重新生成任务列表。

在执行过程中会借助agent的能力来实时对tasks.md来进行编辑,从而更新最新的进展,并且当所有任务执行完成之后会低根据phase中的标准来进行验收

这里的上下文管理其实是值得学习的,就是我们显性的将任务的流程和实时的进展通过文件来进行更新,效果会好很多,我们可以维护两个文档,一个是context.md另一个是task.md在task.md中记录任务的执行完成情况,让ai知晓目前执行到哪个阶段也是非常重要的

spec-kit带来的其实是一套通过规范为底座驱动的Agent执行流程的方式,spec-kit中的prompt写的非常专业,通过借助prompt和template的方式实现让ClaudeCode等AI工具在我们构建的标准内准确执行,从而实现在一定程度上解决了AI走向无法预测的问题

项目名称:ClaudeCode

项目链接:https://github.com/anthropics/claude-code

项目逆向源码:https://github.com/shareAI-lab/analysis_claude_code

项目描述:非常知名的通用Agent工具,不需要过多的介绍了

其实在内外部都有非常多的人分析了ClaudeCode,包括内部ATA文章:https://ata.atatech.org/articles/11020447644?spm=ata.23639746.0.0.11bf559895Ur3s

这些其实我不会着重介绍,因为大家都介绍过了,我这次主要是想基于claude最近几个月发布的一些文章,希望能给大家带来一些输入

下面的这些方法其实从抽象的角度来看,Claude一直都在解决过长上下文所带来的整体效果下降的问题,claude包括manus之前也有对应的文章提过,当内容过长的时候就会造大模型对于上下文的丢失情况,处于中间部分的上下文就会缺失,因为例如通过问题重复述,以及切换上下文块这个方式来进行实现

不过在我看来对于大模型来说,能够让大模型专注在输入内容上的上下文的空间并不是无限的,但是随着通用agent功能的不断复杂多样化(更多的agent、海量的工具),导致上下文空间变的非常紧张,所以claude一直在通过各种方法来进行上下文空间的处理,通过将精准有效的信息放置在上下文中从而不断提升整体的能力

当命令行输入>/init的时候,ClaudeCode就会阅读当前的项目结构,并且在当前项目的根目录下创建一个Claude.md文件

这个其实通俗的来说相当于就是用md文件来做了初始的上下文,然后后续有任何需要修改的地方其实都可以在文件上直接进行追加修改,这其实也是一种减少上下文侵占空间的一种方式

其实我觉得这是一个非常好的作为概述的方式,我们可以通过文件的形式将我们的任务背景等情况保存下来,通过构建对应的语境来将内容提供给大模型

传统的上下文例如langgraph、langchain等Agent框架,在实现上下文的过程中其实就是直接历史的一些任务回复信息、工具调用信息拼接在我们输入的prompt后面,这种情况在解决简单场景下其实是够用的,因为我们在解决任务的过程中并不会遇到token数量过长导致效果降低的情况,但是当我们解决复杂问题的时候上下文窗口就变得非常的重要。

当超过一个上下文的阈值的时候模型读到的不再是全文,而是支离破碎的token,因为传统Attention的成本非常高,所以像deepseekv3的论文中提到的稀疏注意力机制就是用到了一个indexer将2000个左右的相关token纳入上下文,从而降低了计算复杂度

但是当我们使用文件系统来作为上下文的话,整体的大小就不会收到限制,并且天然保持持久化,我们可以在prompt或上下文中添加对文件的引用,那么agent在读取过程中就会额外的去按需加载我们的上下文信息

例如之前的prompt直接通过引用的方式来进行加载

并且当我们将内容信息都存储到外部文件的过程之后我们甚至可以通过重启agent来进行实现,举个例子,当我们检测到当前的token信息快达到了上限,我们可以直接close当前的session,并且重新开启一个上下文。通常我们都会这么做我们会维护两个文件,然后在每轮对话过程中我们携带着两个文档,

  1. task.md任务文档,用来记录当前任务的执行情况
  2. 进度文档,用来实时进行对进度的打勾

这样我们通过将文档作为记忆,从而解决传统内存侧上下文因为agent退出而丢失的情况,并且新的对话也避免了历史错误的影响

这个其实算是比较新颖的一种方式,但是在使用场景中还是需要去判断,但这个方式其实并不是银弹,先来展开介绍一下这个PTC吧

传统工具调用的过程中必然会经历以下三个过程

1、工具注册,将工具的描述,以及对应的输入参数提供给LLM

2、LLM基于当前的场景分析判断调用哪个工具,并且传递对应的参数

{

"tool_name": "web_search",

"params": {

"domain": "https://www.aliyun.com"

}

}

3、然后工具接收到参数之后进行调用然后返回结果

其实从单次来看这个流程很正常,但是如果Agent需要串行执行多个工具那么在复杂场景下就会造成上下文的拥挤,并且在调用过程中也会非常慢。

但是如果我们直接让LLM来做最擅长的事情,写代码那么就可以快速执行并且节省大量Token信息,在这个场景下可以直接通过mcp在sandbox中进行代码执行,并且快速获取结果

output = functionA("xxxx")

result = funcationB(output)

print(result)

但是如果遇到一些过程中的结果需要AI来进行判断的话那么有可能还是需要回到Agent的阅读思考这部分,但是目前PTC这种方式已经可以解决绝大部分场景的工具调用了

文章来源:https://www.anthropic.com/engineering/advanced-tool-use

工具注册信息我们直接拼接到prompt后面就可以了,为什么claude还要提出toolsearchtool这样的方式,其实都是为了解决实际的问题

下面是我拿演练的部分代码进行举例,可以看到我们原先都是直接将工具的描述直接通过拼接在prompt后面来给到LLM的

我们通常的工具描述是如下这样,可以看到又有描述,又有参数

那么如果工具少的话其实并没有什么影响,但是如果我们有上百个上千个工具需要让Agent来去进行使用,我们应该怎么办呢,如果我们直接将所有的内容全部塞到上下文空间中,那么直接会占用非常多有效的空间,而且往往单次调用的过程中只会调用其中的几个那么很多都会造成浪费,最终影响我们Agent任务完成的效果。

Claude注意到了这个问题,因为实现将所有工具进行注册至少需要55k以上的token的占用,所以Claude通过实现了一个专门用来搜索工具的“工具”这个工具的描述有可能只需要占用500个左右的token,当Agent需要调用工具的时候,通过调用这个“搜索工具”然后将返回的5-10个工具来进行注册调用,从而大大减少了整体的Token消耗。

但是说到这里其实还是有一些模糊,核心的搜索逻辑是什么,以及沃们如何从海量的插件中找到符合我们要求的5-10个插件呢,这里可以结合Manus的一些做法,在Manus中对工具通过前缀进行了大类的区分,例如Brower类的插件都是以为brower__开头的,那么我们的搜索工具只需要搜索特定开头就可以了。

同时搜索工具也可以是一个Agent,我们利用前缀匹配+描述RAG也能很有效的筛选出符合要求的插件,我们可以直接借助描述信息来去对插件内容缩小范围

其实一开始我其实并不理解为什么还要弄出来一个skill的概念,因为在我之前看来我用prompt和toolcall一样可以实现

为什么claude需要skill,因为claudecode其实在现在的使用过程中越来越是作为一个通用Agent的角色来去完成任务的,在以往执行任务的过程中我们往往需要通过prompt或者对话来给一个角色定义「例如:你是一个网络安全专家……」那么其实我们的Agent和我们的场景是强关联的,我们在不同的场景下来构建不同的Agent

但是随着能力的越来越强,我们逐渐可以用Claude来解决各种问题,不仅仅是以写代码的方式

那么在实际处理过程中就会遇到一些问题,我这里以一个通俗的例子来进行举例,我是一名安全工程师,在原有角色设定场景下我聚焦于解决安全类的相关问题,但是在日常工作中,我并不只完全做安全相关的事情,我还会写ppt、写文章、读excel,但是这一些在原有的场景下,如果没有skill的支持,我们其实很难去做这些。

所以skill就是相当于技能包,告诉Agent你并不仅仅只会网络安全,你还会其他的技能。

下面是一个skill的具体demo,skill是一个文件夹,里面有对应的工具,以及对应的技能包介绍

但是随着skill的不断扩充,也会存在上下文侵占的问题,claude这边通过只提供skill的metadata信息,来让claude在实际场景中按需来加载skill来解决实际的任务问题

这部分纯属是我自己瞎YY的,欢迎大家一起讨论。

现在大部分Agent的利用其实基本上还处于专家模型的阶段,针对各种定制化的场景去编写对应的prompt并且注册对应的工具。但是随着例如Anthropic、Openai等各个厂商的不断探索,未来的Agent通用能力会越来越高,也会逐渐摸索到Agent能力的边界。

所以未来有可能就是我们只需要编写Skill、准确表达出我们的意图,那么Agent自然会自动化的完成整个任务的执行,包括现在其实也有越来越多的项目采用了这种方式,做好前半部分的意图拆解,然后直接将最小化任务给到ClaudeCode来执行,将其作为最小化的执行单元。

再想的远一点,LLM-as-OS,大模型就相当于操作系统的内核,负责调度、分配、管理内存。中间通过某些方式进行抽象,对外暴露接口,统一化的注册各种工具

前面介绍Agent相关的其实说了非常多了,那么在这个章节让我们回归正题,来介绍基于意图工程的自动化演练落地的探索

既然说是落地那么就是代表着需要在实际的生产网上进行自动化演练,我的构建思路并不是完全的让AI去自动化启发式的来进行发现执行,而且我觉得目前LLM在上下文缺失的场景下没有办法去做像攻击队那样的发散。

在上一次分享中,Agent的介入思路是,基于DAG的图固定执行+基于LLM的机会探索,但是发现这样在实际演练中真的是碰运气,如果一些手法没有事先编排好那么就不会执行,也就没有机会这一说了,所以在当前演练的基础上,加入了攻击意图,从而实现主线任务+支线任务的形式

在实现过程中其实遇到了非常多的困难,Agent这块很多时候其实大家都觉得原理非常的简单就是Prompt+LLM+工具+RAG等等,但是具体实现过程中会遇到很多问题,同样的在构建自动化演练过程中我也遇到了各种问题,接下来我会结合架构和问题来整体介绍自动化演练如何落地

问题:

  1. 基于LLM的演练期间非常的碰运气,东打一下西打一下,运气好就发现了宝藏,运气不好就没办法,缺少整体的主线
  2. 演练期间业务环境完全黑盒,事先构建的插件存在各种执行失败的可能,如何确保演练周期下的成功率
  3. 期间发现了新的脆弱节点、资产,如何动态的添加
  4. 在攻击过程中如何让Agent能从海量攻击插件中准确选择出我们想要的?
  5. ……

虽然我一直在做自动化演练但是其实自动化演练底层已经完成了三次大版本的迭代

阶段一:基于预设剧本的自动化演练(解决人工演练->自动化演练的问题,痛点:机械、无法基于场景来灵活应变)

阶段二:基于机会主义探索的自动化演练(Agent能力初步接入,能发现并利用过程中的价值信息。痛点:缺少演练核心主线,最终目的地无法控制,处于发散阶段)

阶段三:基于攻击意图的自动化演练(意图工程接入,在发散基础上增加主线意图的控制,相当于导航中能够给到目的地,从而实现演练贴合意图去进行)

下面是我自动化演练的整体架构,画的比较简单,其实主要就是三部分

  1. 自动化执行DAG图中的插件
  2. Plugin结果Agent分析
  3. 节点维度意图分析

首先来解释一下什么是攻击意图,通俗的来说就是本次攻击想要达成什么样的效果,下面举几个例子

例:通过窃取数据库敏感信息、通过信息搜集获取数据库连接串获取敏感信息、通过泄漏AK批量获取机器权限

所以在这里攻击意图其实就是我本次演练想要完成什么目的,我们可以是拖库也可以是批量控制机器,也可以是漏洞摸排等等

基于我们输入的攻击目标并生成的对应的具体任务其实就是意图理解,最关键的是我们需要对拆解后的phase增加验证的节点,也就是下面的完成标准

通过输入+RAG+Agent+模版我们就能实现自动化生成对应的攻击计划,也就是我们的主线任务

##攻击目标

本次攻击计划的攻击目标是:在不破坏线上业务的前提下,通过收集目标Linux服务器上可能泄漏的数据库连接凭证,解密必要信息,最终建立合法数据库连接并安全地获取数据库元数据或有限业务数据,用于评估数据泄露风险。

##目标拆解

###Phase1

—[Reconnaissance]:收集潜在数据库连接凭证信息

目标:在目标服务器上识别并提取所有可能包含数据库连接信息的来源,包括配置文件、环境变量等

验证标准:成功识别至少一个有效的数据库连接信息源(如包含数据库类型、地址、端口、用户名、密码或可解密密文)

**任务清单**

-任务ID: T001  

任务描述:扫描本地文件系统中常见的配置文件路径(如/etc/,/opt/,/home/,应用部署目录等),搜索包含数据库连接串关键词(如 jdbc:, mysql://, postgresql://, password=, db_url 等)的文件

完成标准:发现至少一个包含数据库连接信息的配置文件,并记录其路径与内容片段

-任务ID: T003 

任务描述:检查内存进程、环境变量(env 命令)、启动脚本中是否存在数据库连接信息

完成标准:提取到至少一条结构化的数据库连接信息(含类型、地址、端口、凭据等字段)

---

###Phase2

-[CredentialAccess]:解密或解析获取到的数据库凭据

目标:对Phase1中获取的加密凭据进行解密,还原出可用的数据库连接凭证

验证标准:成功还原出完整的数据库连接四要素(地址、端口、用户名、密码/Token)

**任务清单**

......

-任务ID: T007  

任务描述:对所有已获取的连接信息(包括明文和解密后内容)进行标准化处理,归一化为{db_type, host, port, username, password, database}结构

完成标准:至少生成一条结构完整、字段齐全的数据库连接对象

---

##

#Phase3

-[Execution+Collection]:建立数据库连接并安全获取数据

目标:在确认代理隧道可用的前提下,使用合法连接串连接目标数据库,并仅执行只读查询以获取元数据或有限业务数据

验证标准:成功建立数据库连接,并返回数据库版本、表结构或指定表的部分只读数据(不超过100行)

**任务清单**

.......

-任务ID: T009  

任务描述:根据数据库类型(MySQL/PostgreSQL/Oracle等)选择对应的数据库利用插件,传入连接参数及代理信息(如需要),执行连接测试

完成标准:插件返回连接成功状态,并能执行基础 SQL 查询(如 SELECT 1)

-任务ID: T010  

任务描述:执行只读信息收集:获取数据库版本、当前用户权限、可用数据库列表、目标库的表结构(information_schema)

完成标准:成功返回数据库元数据,且未触发写操作或删除类语句

-任务ID: T011  

任务描述:若业务允许且风险可控,对高价值表(如 user, config, token 表)执行 LIMIT 100的只读查询,验证数据敏感性

完成标准:返回不超过100行的业务数据样本,且操作日志可追溯、无破坏性

---

我们在攻击初期就会基于用户输入的意图来自动化生成上面的演练任务文档,但是我并不会让自动化演练只按照这个任务来去进行执行,我期望他和随机演练那部分尽可能的保持独立,这个task.md其实在我看来更像是一个“路书”,因为在演练期间,执行的对应的信息都会被记录到context.md,相当于实时记录目前所走的“轨迹”。

每当一个节点执行完之后,Agent会将轨迹线路和我们最开始提供的路书来进行提供,判断当前的轨迹有没有基于我们设想的路径来走

下面是演练期间context.md记录的信息

如果没有根据我们的来走其实没关系,当每个节点执行完之后,Agent会进行介入

  1. 阅读context.md和task.md通过比对来判断当前处于哪个阶段,并且AI能够根据描述来去自动寻找插件库

  2. 对应的下游会消费任务来进行执行,并且将结果重新给到上游来进行判断

  3. 上游会基于任务中的完成标准来判断当前任务是否执行成功,只有执行成功了才会进行下一阶段的执行
  4. 如果执行失败了则直接会返回阶段失败 通过引入攻击意图的方式从而实现能够让自动化演练过程中也能拥有主线,能够根据所导航的目标来进行靠近。 在上一版本的自动化演练中,虽然通过引入了Agent实现了机会主义的探索,但是无法向我们的目标来逼近

在我的自动化演练中我的上下文主要分为两部分:

1.基于内存的局部上下文

2.基于全局的文件持久化上下文

局部上下文主要就是当Agent遇到输入之后当前这一个事件循环中的临时上下文,因为我们只需要处理单次的事件所以上下文篇幅不会很长,在这里上下文的作用就是传递子任务的执行结果

还是以拖库为例我们来举个例子:输入的是含有数据库连接串的相关信息

1. Task1:提取连接串

2. Task2:提取账号密码

3. Task3:查看数据库联通情况是否需要开启网络代理

4. Task4:连接数据库进行数据获取

从上面的任务可以看到其实任务之间其实是环环相扣的,也就是下一个任务的执行所需要的数据是基于上一个任务的输出,所以我们需要将历史任务执行、工具调用的情况都记录在上下文中,以便在后续任务执行的过程中能够顺利的完成

从下面的图中可以明显的看出上一个任务的输出作为下一个任务的输入

同时局部上下文也能够让后续执行的subAgent知晓当前任务执行的情况,当输入一个信息后会先经过planagent的规划,规划的任务就会存储到一个变量中plan:List[str:Any]

然后下游就通过遍历任务来进行执行,并且在执行中会去判断是否已经完成当前任务,如果完成当前任务就返回FINISH进行退出,执行期间会记录历史任务执行情况,以及历史工具调用情况

由于在我的演练流程中,Agent会不断的重启,所以需要一种持久化的方式来将演练全局的信息来进行存储,同样也是为了前面提到的意图工程来做铺垫

在全局上下文中,我会基于节点的父子关系、ip、应用分组、以及对应执行的插件情况,但是在这里我不会直接将结果进行全部的记录,我会通过Agent来提炼关键信息,因为全局场景上下文空间就会变得很重要,我需要尽可能的提出额外的噪音

举个最直接的例子:fscan扫描场景

下面是fscan扫描的结果输出情况,其实在我们的观察中最关键的只有一条,那就是[+]SSH10.1.0.29:22:jenkinsjenkins@2025其他的其实都是无效的干扰信息

___                              _    

/ _ \     ___  ___ _ __ __ _  ___|| __ 

//_\/____/ __|/ __|'__/ _`|/ __||//

//_\_____\__ \ (__|||(_||(__|<

\____/|___/\___|_|  \__,_|\___|_|\_\   

fscan version:1.8.3

start infoscan

(icmp)Target10.1.0.30       is alive

(icmp)Target10.1.0.29       is alive

(icmp)Target10.1.0.26       is alive

(icmp)Target10.1.0.27       is alive

(icmp)Target10.1.0.253      is alive

[*]Icmp alive hosts len is:5

10.1.0.30:22 open

10.1.0.29:22 open

10.1.0.27:22 open

[*] alive ports len is:3

start vulscan

[+] SSH 10.1.0.29:22:jenkins jenkins@2025

已完成3/3

[*]扫描结束,耗时:9.522797582s

所以在记录上下文的过程中,我们让Agent来提炼其实就是下面这么一条很简单的一句话

1.**Fscan扫描插件**[演练插件]✅

-参数:{"ip":"10.1.0.30"}

-结果: fscan 1.8.3扫描发现5个存活主机,其中3台开放22端口;成功爆破SSH服务(10.1.0.29:22),获取账号密码:jenkins/jenkins@2025。

所以在全局上下文中,我会尽可能保留关键的信息,从而让后续的攻击意图判断更加的准确,知晓目前已有的成果是什么,已具备的一些信息有哪些,来帮助后续的意图的执行

由于自动化演练是在线上进行执行的,所以我们在打之前其实是不知道机器的业务环境到底是怎么样的,然而我们的DAG图节点中的插件其实是事前随机编排好的,那么在执行过程中必然会遇到因环境因素而导致的执行失败,例如网络不通、待执行的命令不存在的情况。

针对这种情况基于ATTCK阶段和Agent可以解决,由于我在设计机制的时候,Agent会在每个插件执行结束之后以callback的方式来触发,所以Agent能解析判断插件的执行结果,如果研判存在失败,那么Agent就会从插件库中根据当前插件的ATT&CK阶段来重新调用执行

同时在重新选择插件的过程中Agent会先基于报错信息进行环境探测,然后再基于探测后结果选择对应的插件

例:HTTP后门执行->网络不通失败->ATT&CK-执行阶段->基于插件描述选择OSS后门->后门成功上线

同时我在攻击过程中其实还会有可横向移动的情况,例如扫描发现JDWP,那么发现了脆弱点自然就需要进行拓展,由于其实演练所有的节点执行逻辑都在DAG图中,所以我这里直接封装了一个可以添加图节点的工具,然后注册给Agent,那么当Agent发现存在横向移动的可能性时,就会将新发现的节点添加到DAG图中

原来场景下最大的问题就是不同扫描器的结果都不一致纯代码很难去做统一准确的解析,但是在大模型场景下其实可以很好的利用理解的特性来帮助我们进行解决

要支持这个功能我只需要在prompt中这样简单添加即可

在实际构建过程中其实还有一个问题,工具数量过多,从而极大的占据了上下文有限的空间,因为光锥平台上一共有700+插件,我试着将所有的插件都塞到prompt中,但是带来的结果是灾难性的,问答时间大大加长了不谈,筛选出来的效果也非常差,随着上下文的增长模型的能力会骤然下降

所以这也就为什么claude会通过toolsearchtool的方式来进行压缩处理,针对我这类场景我通过两个方式来缓解,并且目前的效果比较不错:RAG初筛+Agent精筛

我会直接将Agent返回的描述,进行传入,先通过RAG来进行匹配,为了提升RAG效果我们的插件文档也需要提供更多的信息,经过测试图2的效果明显优于图1,其实就是我们要在向量化搜索的时候增加到匹配的可能性,甚至可以增加一些关键词来加大索引到的几率,然后将返回的top10-20个插件基于Agent和权重数据库来进行排序选择后缩小范围,动态注册到prompt中,这样既能减少插件被错选的可能性,同时也可以极大程度的减少对上下文长度的影响

原始插件描述:

扩写后的插件描述

在意图工程的加入下,能够实现近10次演练中,至少完成1次目标达成

录制了一个视频但是因为是对内的所以这边就不放了哈

测试集执行->利用LLM发现额外路线(不稳定)->基于意图的一定频次下稳定达成

https://mp.weixin.qq.com/s/T5UgWtoxGy9B4qZ_uY-tGg

https://mp.weixin.qq.com/s/Yvk1iPehw4DzVR69XGc_aQ

https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

https://www.kaggle.com/whitepaper-introduction-to-agents

原文链接:https://mp.weixin.qq.com/s?__biz=MzIxMDYyNTk3Nw==&mid=2247515406&idx=2&sn=57b4984dd35b4ccba1bbb4570a7c64af