深度探索ButterCup
“afc-buttercup”则是 Trail of Bits 面向 AIxCC 总决赛(AFC)提交的 Buttercup 开源版本:它将 AI 增强模糊测试、静态分析(如 tree-sitter/CodeQuery)与多智能体补丁生成—验证流水线整合为一体,最终在总决赛斩获亚军并对外开源(项目仓库现已公开归档),团队披露其在 20 类 CWE 上实现了高准确度的漏洞发现与修复表现。
AIxCC比赛背景
AIxCC(AI Cyber Challenge)是 DARPA 主办、与 ARPA-H 协作的两年期网络安全竞赛,旨在推动基于 AI 的“网络推理系统”(CRS)自动发现并修补关键开源软件中的漏洞;赛事于 2025 年在 DEF CON 33 落幕,Team Atlanta、Trail of Bits、Theori 分获前三名,奖金分别为 400 万、300 万和 150 万美元,主办方同时推动各队 CRSs 及竞赛资源陆续开源与转化应用。
Agent分类及其关系
- RootCauseAgent
负责漏洞根因分析,定位安全问题的本质原因,为后续补丁生成提供精准上下文。
- ReflectionAgent
负责反思与补救。当主流程 agent(如 rootcause)遇到异常、需要补充上下文或陷入死循环时,接管流程,补全信息或调整策略,确保流程持续推进。
- InputProcessingAgent
在自动补丁流程中,负责输入预处理,即在补丁生成前对输入环境和上下文进行初始化和准备。它会:
• 解析和应用配置(如工作目录等);
• 初始化代码查询工具(codequery),确保后续分析和补丁生成能正确获取代码结构信息;
• 完成预处理后,自动流转到“初始代码片段请求”和“查找测试用例”两个后续 agent,推动主流程继续。
4.PatcherLeaderAgent
• 作为补丁流水线的“总控/编排”agent,负责组装和调度各个子 agent(如 InputProcessingAgent、RootCauseAgent、SWEAgent、QEAgent、ReflectionAgent 等),形成完整的自动补丁工作流。
• 通过 _init_patch_team 方法,构建一个多节点的状态机(StateGraph),定义各环节的执行顺序和依赖关系。
• 负责启动和管理整个补丁任务(run_patch_task),确保各 agent 按流程协作,自动推进补丁生成、验证、反思等各阶段。
简言之,PatcherLeaderAgent 是自动补丁系统的“指挥官”,负责全流程 orchestration 和 agent 协作调度。
5.SWEAgent
负责补丁生成相关的核心环节,包括:
• 选择补丁策略(patch strategy)
• 生成具体补丁(create patch)
• 解析和理解相关代码片段
• 通过大模型(如 GPT-4.1、Claude 等)驱动,结合 prompt 工程和工具链,自动分析漏洞上下文,制定修复方案,并生成修复代码。
• 在补丁流水线中,SWEAgent 是“自动修复/补丁生成”的关键智能体,直接影响补丁的质量和可用性。
简言之,SWEAgent 是自动补丁系统中的“AI开发工程师”,专注于补丁策略制定和代码修复生成。
6.QEAgent
• 负责补丁的测试与验证,即在补丁生成后,自动化地对补丁进行构建、运行、测试和有效性校验。
• 具体包括:构建补丁(build_patch_node)、运行POV(run_pov_node)、运行测试用例(run_tests_node)、补丁验证(validate_patch_node)等环节。
• 通过大模型和工具链,自动分析和操作代码、测试环境,确保补丁不仅能编译通过,还能通过相关测试,且不引入新的问题。
简言之,QEAgent 是自动补丁系统中的“质量保障工程师”,专注于补丁的自动化测试和质量验证。
7.ContextRetrieverAgent
• 动态检索和补全上下文信息,为主流程中的各个 agent(如 RootCauseAgent、SWEAgent、QEAgent 等)按需提供所需的代码片段、测试用例、依赖关系等上下文数据。
• 负责实现如 find_tests_node(查找测试用例)、get_initial_context(获取初始代码上下文)、retrieve_context(补全/更新上下文)等节点方法。
• 当主流程 agent 发现信息不足或 LLM 请求更多上下文时,自动调用 ContextRetrieverAgent 检索和补全,保证分析、修复、验证等环节拥有完整、最新的上下文环境。
简言之,ContextRetrieverAgent 是自动补丁流水线中的“智能上下文补全器”,确保每个环节都能获得所需的代码和环境信息,提升自动化分析和修复的准确性与鲁棒性。
CONTEXT_RETRIEVER
ROOT_CAUSE_ANALYSIS
PATCH_STRATEGY/CREATE_PATCH
QEAgent(重试)
成功/终止
InputProcessingAgent输入预处理
ContextRetrieverAgent补充/检索上下文
RootCauseAgent漏洞根因分析
SWEAgent生成Patch策略/补丁
QEAgent构建/测试/验证补丁
ReflectionAgent失败反思与决策
END
Agent深入分析
1.ContextRetrieverAgent
主要功能是为自动补丁流水线各环节(如 RootCauseAgent、SWEAgent 等)动态收集、补全和管理与漏洞相关的上下文信息,确保大模型分析和补丁生成时拥有足够且精准的代码环境和辅助数据。
•get_initial_context根据崩溃堆栈信息,自动提取与漏洞相关的关键代码片段,包括每个堆栈帧的函数名、文件名、行号。调用 process_request,将提取的初始代码片段和堆栈信息输入 LLM(通过 initial_snippets_chain),让模型进一步分析是否还缺少关键代码片段(如漏洞点、缺失的安全检查等)。LLM 只会请求“绝对必要且尚未收集”的代码片段,避免冗余。
•find_tests_node通过多种方法,包括查找现成测试脚本,从redis中查找自定义测试指令,通过find_tests_agent自动探索等,自动、可靠地为补丁验证阶段准备可用的测试指令,确保后续补丁评估的准确性和自动化。
- RootCauseAgent
RootCauseAgent的代码实现位于patcher/src/buttercup/patcher/agents/rootcause.py主要用到openai-gpt-4.1模型和claude-3.7-sonnet模型。
RootCauseAgent的入口是analyze_vulnerability,该函数的输入为全局状态PatcherAgentState。通过workflow.add_node加入到状态机中。
workflow.add_node(PatcherAgentName.ROOT_CAUSE_ANALYSIS.value, rootcause_agent.analyze_vulnerability)主要目的是利用大模型分析漏洞成因。对 LLM 返回的文本结果进行解析,提取结构化信息(如 root_cause、vuln_line、vuln_var、missing_check 等)。如果LLM分析失败,需要更多上下文(如代码片段不全),可通过工具注入机制自动调用 ContextRetrieverAgent 等补充信息,也就是MCP功能。这些工具包括 get_function、get_type、get_lines、track_snippet 等.
self.tools = [ls,grep,get_lines,cat,get_function,get_type,get_callers,get_callees,track_snippet,think,]3.SWEAgent
•select_patch_strategy
该方法会组装 prompt(包括项目名、根因分析、相关代码片段、反思建议等),调用 LLM(通过 self.patch_strategy_chain)生成一段结构化的 patch strategy 文本。如果 LLM 输出中包含 < request_information>,说明还需要补充上下文,此时不会直接生成 patch_strategy,而是先请求更多代码片段。否则提取 < full_description> 和 < summary> 字段,作为补丁策略。在补丁策略(patch strategy)中:是一段详细、完整的补丁设计说明,内容包括:- 选定的修复思路和理由(如多种修复方案的权衡与选择)- 具体要修改哪些代码、函数、变量、行号- 每一步修改的目的和安全性分析- 如何精准消除根因分析中描述的漏洞- 只允许修改true 的代码片段, 不包含具体代码,只描述“怎么修、修什么、为什么这样修”
是对 的1-2句话高度概括,内容包括:- 本次补丁的核心修复思路- 主要修改点和目标- 只保留最关键的信息,便于 LLM 快速理解补丁意图举例: 可能写:“本补丁通过在 foo.c 的 validate_input 函数第42行增加边界检查,防止缓冲区溢出。选择此方案是因为它最小化了对现有逻辑的影响,同时能彻底阻断漏洞利用路径。未对其他函数做修改,避免引入回归。” 可能写:“在 validate_input 增加边界检查,修复缓冲区溢出漏洞。” •create_patch_node组装 prompt,包括项目名、根因分析结果、相关代码片段、补丁策略、上次补丁信息、反思建议等,通过 self.chain_call 调用 LLM,生成补丁。 4.QEAgent •build_patch_node对每个 sanitizer,调用 _build_with_sanitizer,在干净环境下应用补丁并编译项目,所有构建任务并行执行。如果所有 sanitizer 均构建成功,则记录构建产物,流程进入 RUN_POV(运行测试/验证)阶段。如果构建失败,则进入REFLECTION(反思)阶段。 5.ReflectionAgent ReflectionAgent是每个阶段分析失败后的反思agent。 •_analyze_failure综合 patch 尝试的状态(如构建失败、测试失败、应用失败等),收集详细的失败数据(如 stdout/stderr),并调用 LLM 反思链(self.reflection_chain)分析失败原因,归纳失败类别、是否部分成功、下一步推荐组件(如重新 root cause、补充上下文、调整 patch 策略等),并将分析结果写入 patch_attempt 的 analysis 字段。根据 LLM 的建议,自动决定下一个环节(如 CONTEXT_RETRIEVER、ROOT_CAUSE_ANALYSIS、PATCH_STRATEGY、CREATE_PATCH) •_get_failure_data •_get_extra_information针对不同失败类型(如构建、测试、POV、应用等),自动整理和格式化相关日志、错误信息,为 LLM 反思提供丰富上下文。 •reflect_on_patch如果 LLM/agent 明确请求更多代码片段(code_snippet_requests),自动切换到 CONTEXT_RETRIEVER 节点补充信息,反思后再回到原节点继续。 总结 afc-buttercup 是一个面向自动化安全补丁生成与验证的智能系统,具备以下核心特性和亮点: 1、多智能体协作架构 系统将补丁流程拆分为多个专职 agent(如 ContextRetriever、RootCause、SWE、QE、Reflection),各自负责上下文检索、漏洞根因分析、补丁策略生成、补丁构建测试、失败反思等环节,形成高内聚、低耦合的流水线。2、强大的 LLM 驱动与工具链注入 通过 LLM(如 GPT-4、Claude)驱动各 agent 的决策和内容生成,并支持自动调用代码检索、片段提取等工具,极大提升了自动化分析和修复能力。3、自适应反思与流程调度 ReflectionAgent 能自动分析失败原因、检测死循环、归纳失败模式,并动态调整流程(如补充上下文、调整策略、重新分析根因),保证流程鲁棒性和持续进步。4、安全导向与结构化数据流 所有 agent 决策均聚焦于安全修复,补丁策略、失败分析、上下文等均结构化管理,便于追踪、回溯和持续优化。5、并行与容错机制 支持多 sanitizer 并行 build/test,主备 LLM 自动切换,agent 层面有重试与最大失败次数保护,提升效率与稳定性。6、工程实用性与前沿 AI 能力结合 项目不仅工程实现扎实,流程可控、易扩展,还充分利用了大模型的推理与生成能力,体现了自动化安全修复领域的前沿水平。 总结:afc-buttercup 以多智能体+大模型为核心,构建了一个高效、智能、可扩展的自动化安全补丁生成与验证平台,兼具工程实用性与 AI 智能化,适合大规模、复杂项目的自动安全修复场景。