← 返回列表

大型语言模型引导的协议模糊测试

聚合站 SecWiki技术 作者 安全学术圈 发布 2025年6月12日 18:30 入库 2026-11-18T04:17:47

原文标题:Large Language Model guided Protocol Fuzzing原文作者:Ruijie Meng ,Martin Mirchev,Marcel Böhme,Abhik Roychoudhury原文链接:https://www.ndss-symposium.org/ndss-paper/large-language-model-guided-protocol-fuzzing/发表会议:NDSS 2024笔记作者:王彦@安全学术圈主编:黄诚@安全学术圈

摘要

本文提出了一种基于大型语言模型(LLM)的协议模糊测试方法 ChatAFL,用于解决传统协议模糊测试依赖机器可读规范的局限性和消息序列输入的有限性。CHATAFL为协议中的每种消息类型构造语法,通过与LLM互动提取协议的消息类型和状态机信息,从而生成有效的输入序列。实验表明,ChatAFL在状态转移覆盖、状态覆盖和代码覆盖上分别比基线工具AFLNet和NSFuzz高47.6%、29.5%和5.8%,并发现了9个未知漏洞(基线工具仅发现3-4个)。

1.背景介绍

协议是互联网软件的关键组成部分,具有极高的安全风险,攻击者可通过协议中的简单代码执行漏洞攻击软件系统。然而,协议规范往往是自然语言写成的RFC文档,使得自动生成结构正确的测试输入十分困难。现有的基于变异的协议模糊测试通过对记录的消息序列进行模糊处理,减少了对所需消息结构或顺序的机器可读规范的依赖。然而,基于变异的协议模糊测试器的有效性受限于记录的种子消息序列的质量和多样性,并且现有的简单变异无助于有效覆盖本来丰富的输入或状态空间。本文提出通过与LLM交互,自动提取协议的结构信息,从而生成有效的消息并引导模糊测试,构建工具CHATAFL。

当前协议模糊测试主要分为生成式模糊测试和变异式模糊测试(如AFLNET),生成式模糊测试依赖人工编写的协议规范,覆盖范围有限。而变异式模糊测试使用一组预先记录的消息序列作为变异的种子输入,但种子多样性有限。

现有方案挑战:

严重依赖初始种子:基于变异的协议模糊测试器的有效性受到所提供的初始种子输入的严重限制。

缺乏机器可读的消息结构信息: 如果没有关于消息结构的机器可读信息,模糊器就无法对种子消息进行结构上有效的更改。

无法识别协议状态空间:如果没有关于状态空间的机器可读信息,模糊器就无法识别当前状态,也无法被引导去探索以前未曾见过的状态。

然而,大型语言模型(如GPT3.5)通过训练学习海量协议文档,可提取结构化语法和推断状态逻辑,为协议模糊测试提供新思路。

2、方案设计

本文将LLM引导的协议模糊测试方法(LLMPF)集成至AFLNet框架,实现工具CHATAFL。LLMPF通过三种核心策略与LLM交互,分别解决协议模糊测试中消息结构未知、种子多样性不足和状态空间探索困难的问题。以下为方案细节的深度扩展:

2.1 结构感知变异

作者使用上下文少量样本学习(in-context few-shot learning),利用提示词从LLM中提取协议中每种消息类型的语法,如下图,明确目标格式:保留协议消息中的固定关键词(如SETUP),并将可变部分替换为占位符⟨Value⟩。同时使用双示例(而非单示例)避免模型机械复制给定语法,确保其泛化能力,如图6所示。

图7展示了如何从消息中提取语法结构(Grammar),并基于此进行结构感知变异。使用正则表达式将⟨Value⟩部分标记为可变区域(图7中的蓝色部分),LLMPF仅对可变区域进行变异,保持消息格式正确。

2.2 丰富初始种子

初始消息种子来自于服务器与客户端的网络流量,所以这些初始种子包含充分的上下文信息。 在提示LLM时直接注入初始种子内容,使LLM从中提取上下文(例如会话ID继承),无需额外人工标注。通过LLM提取协议的完整语法,记录所有消息类型集合。建立语法到类型的映射表G2T(grammar → type),提示LLM生成缺失的消息类型,并将它们插入初始种子。在生成消息类型时,要求LLM以特定格式(“the modified sequence of client requests is:”)生成,这样可以直接输出完整报文序列,如图8所示:

2.3 突破覆盖瓶颈

在模糊测试器设计的上下文中,模糊测试器充当客户端的身份。当模糊器连续多轮生成的种子都无法带来新的状态或代码覆盖时,系统判定模糊测试陷入覆盖瓶颈(Plateau),会基于通信历史的提示词调用LLM生成下一个合适的客户端请求。为了确保生成内容的实用性,提示中还加入真实报文示例,引导模型严格遵循格式输出。这些请求可以引起到新的状态转换,提高状态转换率和代码覆盖率。图9为用于获取下一个客户端请求的提示词模板,该请求可以将服务器的状态转换为其他状态。

  1. 实验/评估/结果

作者设计了四个研究问题(RQ.1至RQ.4),通过对比ChatAFL与基线工具(AFLNet和NSFuzz)在状态覆盖、代码覆盖、组件影响及漏洞发现方面的表现来验证其有效性。实验配置中,ChatAFL使用GPT-3.5模型,通过多次重复(10次运行,每次24小时)减少随机性影响,并采用ASAN检测漏洞。基准测试涵盖ProFuzzBench中的六种协议实现(如RTSP、FTP、SIP等),覆盖不同应用场景。评估指标包括状态转移数、状态数、分支覆盖率及漏洞数量,同时通过Vargha-Delaney效应量量化统计显著性。

ChatAFL在状态转移覆盖上展现出显著优势。如表III所示,ChatAFL平均覆盖的状态转移数较AFLNet和NSFuzz分别提升47.60%和42.69%,且达到相同覆盖量的速度分别快48倍和16倍。Vargha-Delaney效应量表明这一优势具有统计显著性。此外,在状态数覆盖上(表IV),ChatAFL平均覆盖的状态数较基线工具分别提升29.55%和25.75%,且在Live555等协议中接近全覆盖(14.2/15状态)。

代码分支覆盖率的对比(表V)显示,ChatAFL的分支覆盖率平均比AFLNet和NSFuzz高5.81%和6.74%。更重要的是,ChatAFL达到相同代码覆盖的速度快6倍(对比AFLNet)和10倍(对比NSFuzz),表明其能更高效地探索协议实现的深层逻辑。

通过消融实验(表VI),三个核心策略的逐步引入验证了其有效性。仅启用语法引导变异时,分支覆盖率提升3.04%;加入种子增强后提升至3.86%;最终结合覆盖平台突破策略后,整体提升达5.81%。速度提升倍数依次为2.02x、4.63x和6.14x,说明各策略协同作用显著提升了模糊测试效率。

如表VII所示,ChatAFL在24小时测试中发现了9个未知漏洞,包括堆溢出、释放后使用等高风险问题,其中7个漏洞已获开发者确认,3个已修复。相比之下,AFLNet和NSFuzz仅分别发现3个和4个漏洞。例如,漏洞1(堆释放后使用)的触发依赖特定消息序列(SETUP→PLAY→PAUSE→PLAY),ChatAFL通过LLM引导的种子增强和状态推断成功覆盖了这一复杂路径,而基线工具因缺乏PAUSE消息生成能力未能触发。

  1. 结论

本研究首次提出基于LLM的协议模糊测试框架ChatAFL,通过自然语言交互提取协议语法与状态知识,避免了传统方法依赖人工编写规范的局限性。实验表明,ChatAFL在状态和代码覆盖率上显著超越现有工具,并在真实场景中发现9个高危漏洞,具有实际安全价值。

该方法论具有普适性,可扩展至其他文本协议测试,为以后LLM在软件测试领域的应用提供了新范式。然而,当前工作仍依赖公开协议规范(如RFC),对私有协议支持仍然有限。

未来可结合静态分析优化语法提取精度,或探索二进制协议的适配。LLM的领域知识迁移能力为自动化测试开辟了新路径,严谨的实验设计(多指标验证、重复实验)与工具开源策略为社区复现和扩展提供了坚实基础。

安全学术圈招募队友-ing有兴趣加入学术圈的请联系secdr#qq.com

专题最新征文

期刊征文 | 暗网抑制前沿进展(中文核心)

期刊征文 | 网络攻击分析与研判(CCF T2)

期刊征文 | 域名安全评估与风险预警(CCF T2)

原文链接:https://mp.weixin.qq.com/s/cQLCMKEzVgI7vxj0QivyTQ