← 返回列表

大模型驱动的软件选项组合脆弱性自动化预测与模糊测试框架

聚合站 SecWiki技术 作者 NASP网络实验室 发布 2024年10月16日 16:48 入库 2026-11-18T05:52:33

清华大学NASP实验室与中关村实验室合作,在智能化软件安全方向的研究成果,被ACM CCS 2024录用。论文第一作者是中关村实验室王大为博士。论文提出了一种基于大语言模型的选项组合模糊测试工具ProphetFuzz。该工具仅以程序文档为输入即可全自动完成对高风险选项组合的预测以及模糊测试,整个过程无需人工参与。ProphetFuzz在52个开源软件中挖掘到了140个0day漏洞,获得了21个CVE编号以及44个CNNVD编号。

论文信息

Paper Info

论文题目:ProphetFuzz: Fully Automated Prediction and Fuzzing of High-Risk Option Combinations with Only Documentation via Large Language Model

作者列表:Dawei Wang, Geng Zhou, Li Chen, Dan Li, Yukai Miao

开源地址:https://github.com/NASP-THU/ProphetFuzz

研究背景

Background

软件复杂度的增长使得程序选项及其组合的数量显著增加,例如,知名图像处理软件ImageMagick有305个选项,产生了 2305 种可能的组合。这些选项组合带来了许多独特的程序执行路径,极大地扩大了漏洞的搜索空间。由于这些路径仅在特定的选项组合下才会激活,给传统的模糊测试技术带来了挑战。

近年来出现了一些专注于探索选项组合的模糊测试方法,如POWER、ConfigFuzz和CarpetFuzz。尽管这些方法在测试与选项组合相关的程序路径方面比传统模糊工具更有效,但仍存在以下限制:

1.缺乏优先级:这些方法平等地对每个生成的选项组合进行测试,但不同选项组合的漏洞风险不同。在低风险组合上进行过多测试反而降低了测试效率。

2.语义不匹配:可执行命令的组件(选项、值、文件)相互关联,需要语义匹配。例如,使用“-f avi”选项时,输入必须是AVI格式。现有方法中,命令组件主要来自随机变异,缺乏连贯的交互,导致语义不匹配。

3.依赖专家知识:这些方法均需要大量人工准备工作,如组装命令、分配选项值和收集输入文件,严重依赖测试人员的专业知识,限制了方法的可扩展性并提高了使用门槛。

我们发现有经验的安全专业人员常常能通过分析文档来预测高风险目标并通过语义上下文构建合适的命令以进行模糊测试。如果能够将安全专业人员的专业知识整合到自动化工具中,用于预测高风险的选项组合并配置模糊测试,就能解决上述所有限制。大语言模型(Large Language Model,LLM)的出现使这个设想成为了可能:经过大规模文本数据集的训练,这类模型掌握了语言的复杂结构和模式,具备了广泛的知识和文本理解与生成能力。然而,我们最初的尝试发现,直接应用这类模型并未达到预期效果,主要面临以下挑战:

  1. LLM倾向于将违反约束(即冲突和依赖关系)的选项组合识别为高风险目标,从而导致程序过早终止并阻碍程序路径的探索。因此,提前告知 LLM 正确的约束对于防止生成无效组合至关重要。使用 LLM 可以进行约束提取,但由于LLM固有的幻觉问题,无法确保 LLM 提取约束的准确性。

  2. LLM的训练数据中未包含文档描述与历史高风险组合之间的关系信息,这可能导致在处理此类任务时缺乏专门知识和深度理解。少样本学习(Few-shot learning)是弥合这一知识差距的常见策略,其学习效果取决于提供样本的质量。而这些样本来自于安全专家的手动分析,受到专家资源可用性的限制。

  3. LLM主要擅长生成基于文本的输入,无法有效生成各种非文本输入格式。虽然最新的多模态LLM可以处理图像、视频和音频等输入,但通常无法满足不同软件所需的广泛输入格式,例如网络流量包、压缩文件或可执行链接格式文件。

本文工作

Our Work

针对上述挑战,本文设计了一个基于LLM的全自动选项组合模糊测试工具ProphetFuzz。其工作流程如图1所示。

图 1 ProphetFuzz工作流程图

以著名视频处理软件ffmpeg为例,首先,ProphetFuzz通过关键词匹配从ffmpeg的文档中提取所需的部分,并将其存储为格式化的文本(JSON),以供后续使用。然后,它引导LLM基于选项描述提取约束。由于LLM固有的幻觉问题,某些提取的约束可能不正确,例如“-start_at_zero”和“-copyts”之间的冲突约束。为了解决这个问题,ProphetFuzz采用了自检机制,仔细审查所有提取的约束,并过滤掉错误的结果。基于文档内容和约束,ProphetFuzz在不违反这些约束的前提下对高风险选项组合进行预测,例如“-copyts -start_at_zero -y -itsoffset offset -itsscale scale -ss position -sseof position -i url”。但此时,由于选项没有给出具体的值,这些预测的组合无法直接执行。ProphetFuzz利用LLM基于特定选项组合的语义信息生成适当的命令,并生成所需文件的Python代码。最后,ProphetFuzz通过执行文件生成代码来生成初始语料库,修改组装的命令以适配模糊测试的要求,并执行模糊测试过程。

ProphetFuzz具体技术细节如下所述:

1.约束提取:ProphetFuzz指示LLM提取选项之间的约束关系,并要求其输出严格遵循JSON格式,以方便后续的自动化处理。为了尽可能减少遗漏约束,本文通过调整LLM的温度(Temperature)参数来增加输出的随机性,同时让LLM对每个程序进行多次推理,并保留所有推理结果的并集,从而确保提取的约束尽可能完整。为了减少LLM固有的幻觉问题对约束提取结果的影响,本文引入了一种基于双向推理的自检方法,其流程如图2所示。针对冲突和依赖约束,本文各设计一个验证问题来确认其有效性,以及一个反例问题来挑战它。这种方法从两个不同的角度评估约束的有效性,使LLM能够全面考虑问题。如果验证问题的回答是“是”,而反例问题的回答是“否”,则该约束被视为有效。为了进一步减少幻觉的影响,本文在自检过程中降低了LLM的温度参数,以减少输出的随机性,并对每个约束进行多次独立评估,每次独立评估都在新的会话中进行,以避免被其他评估的结果所影响,增强结果的可靠性。只有当超过一半的评估结果确认约束的正确性时,才认为该约束有效,否则将被判断为无效约束并进行过滤。

图 2 自检方法流程图

2.风险预测:预测高风险组合是一项复杂的任务,需要完成理解描述、遍历组合和评估风险等多个子任务,这对LLM的能力提出了挑战。为此,本文采用了“思维链”提示,将预测过程分解为六个步骤,帮助LLM逐步完成任务。如图3(左)所示,首先,ProphetFuzz引导LLM理解程序的核心功能,然后分析每个选项及其作用,并提醒LLM注意先前提取的约束,避免生成无效的组合。完成准备工作后,LLM将检查所有组合,识别可能导致漏洞的高风险组合,并被要求特别关注那些在功能正常情况下可能引发深层内存破坏的组合。一旦预测出包含内存漏洞的组合,ProphetFuzz将进一步引导LLM尝试添加其他有助于触发漏洞的选项。最后,要求LLM以JSON格式输出结果,方便后续自动化处理。

图 3 高风险选项组合预测提示语

此外,为了帮助LLM更有效地从文档中分析高风险组合,需要通过Few-shot learning方法向LLM提供了分析过程的示例。虽然理想情况下这些示例可由专家手动创建,但高级专家资源是稀缺的,无法保证该过程的可行性。为此,本文设计了一种自动生成少样本示例的方法,其提示语如图3(右)所示。首先,本文收集了八个程序的29个历史高风险组合,并向LLM提供这些程序的文档和提取的约束,以帮助其理解程序与选项功能。为了创建可作为少样本示例的分析示例,本文修改了预测提示语中的步骤4-5,确保生成的分析实例满足的预测提示语要求。具体来说,本文引导LLM对这些历史高风险组合进行假设性分析,探讨为什么这些组合容易导致缓冲区漏洞,并总结哪些组合可能在功能正常的情况下引发深层内存破坏漏洞,同时指示LLM探索可能间接有助于触发漏洞的选项。这一过程的输出恰好满足了预测任务中步骤4-5对示例的要求。通过这种方法,本文生成了高质量的分析示例,这不仅减少了对专家的依赖,还为LLM提供了宝贵的参考,使其在预测新的高风险组合时具备更深入的理解和更准确的判断能力。

3.命令组装:在获得预测的高风险选项组合后,下一步是将这些组合组装成可执行的命令以进行模糊测试。这涉及为选项和占位符分配具体的值,设置必要的配置文件,以及指定输入和输出文件。通常,这需要手动查阅文档来完成。为简化这一过程,本文开发了一种基于LLM的自动命令组装方法,如图4(左)所示。首先,ProphetFuzz确定要组合的选项,引导LLM根据用法概要生成初步的可执行命令。接下来,LLM需要确定哪些选项需要指定值并理解每个命令的具体意图,从而为所有需要赋值的选项生成有效的值。对于其他的占位符,本文鼓励LLM创造性地分配假设值。在分配选项值后,还需要为命令生成合适的输入文件才能成功执行该命令。本文发现LLM在再生文本类型文件上具有不俗的能力,但在流量包、压缩文件、图片等二进制文件上生成能力较差。为了解决这一局限性,本文不直接让LLM生成输入文件,而是让LLM生成能够生成输入文件的Python代码文件,并后续执行该代码以得到所需文件,具体的提示语如图4(右)所示。为了避免生成错误的格式,本文鼓励LLM利用第三方库来生成具有复杂格式的文件。这一方法使得LLM能够扬长避短,在擅长的文本生成任务上完成了不擅长的二进制文件生成任务,并保证了生成文件格式的准确性。

图 4 命令组装与文件生成提示语

实验结果

Experimental Results

本文在先前工作使用过的52个开源程序上对ProphetFuzz的性能进行了评估,这些程序涉及26种不同的输入格式,涵盖了文本、视频、音频、图片以及其他二进制输入类型。实验中,本文选择公认的最先进工具CarpetFuzz作为对比基准,使用相同的默认种子输入文件,在相同的操作环境下运行相同的时间(每个模糊测试实例运行72小时,重复五次),总计消耗了10.44个CPU年。为评估性能,本文采用了边缘覆盖率和独特漏洞数量作为指标,并引入了仅由一个工具发现的独有漏洞这一指标以突出两者在发现漏洞方面的差异。实验结果如图5所示。

图 5 ProphetFuzz端到端评估效果

在对52个程序的文档进行分析后,ProphetFuzz成功提取了643个选项之间的约束。基于这些约束,它预测了1748个高风险选项组合,组装了7614个独特的可执行命令,并生成了包含2656个种子文件的最小化种子库。本文对这些命令和种子文件进行了72小时的模糊测试。在这些程序中,ProphetFuzz发现了364个独特的漏洞,比CarpetFuzz(274个漏洞)多出1.33倍。得益于ProphetFuzz在预测高风险选项组合和组装命令方面的精确能力,它发现了CarpetFuzz未能检测到的224个漏洞,占所有发现漏洞的61.54%,显示了ProphetFuzz在漏洞检测方面的高效性。ProphetFuzz预测的高风险选项组合中,有12.30%在72小时内成功触发了漏洞,远高于CarpetFuzz的1.50%(提升了8.2倍)。在六个程序中,超过一半的预测高风险组合成功触发了漏洞,证明了ProphetFuzz在测试选项组合相关漏洞方面的效率,强调了预测高风险组合的有效性和必要性。在路径覆盖率方面,虽然ProphetFuzz并非以最大化覆盖率为主要目标,但其覆盖率与CarpetFuzz非常接近,差距不到0.5%。ProphetFuzz仅使用了CarpetFuzz的20%的命令数,但在大多数程序(52个中的43个)中,覆盖率差异在30%以内,其中24个程序的差异小于10%。这表明ProphetFuzz在提高测试效率的同时,仍能保持较高的覆盖率。值得一提的是,ProphetFuzz在pdftotext、pdftops和podofoencrypt三个程序上的覆盖率超过了CarpetFuzz,尤其是在podofoencrypt上,覆盖率是CarpetFuzz的十倍。这归因于ProphetFuzz指导LLM通过调用第三方库生成符合复杂格式要求的种子文件,克服了输入格式严格检查带来的挑战。

本文还对ProphetFuzz在约束提取方面的性能进行评估。ProphetFuzz从52个程序的文档中成功提取了633个约束,整体精确度为94.00%,平均每个程序的精确度为92.48%。相比之下,CarpetFuzz仅提取了447个约束,整体精确度为76.06%,平均精确度为68.32%,均低于ProphetFuzz。两者的整体性能如图6所示。ProphetFuzz在大多数程序中保持了高精确度,其精确度集中在77.78%到100%之间,中位数为100%;而CarpetFuzz的精确度范围从0%到100%,中位数为75%,表现出较大的性能波动。这种差异归因于CarpetFuzz依赖启发式规则提取约束,而ProphetFuzz利用精心设计的提示引导LLM提取约束,因而具有更高的精确度和适用性。此外,本文还评估了ProphetFuzz在进行自检之前的约束提取结果(称为ProphetFuzzNSC)。ProphetFuzzNSC共提取了6682个约束,是应用自检后总约束数量的10.56倍。然而,这些约束的整体精确度仅为23.41%,平均精确度为33.37%,这表明尽管LLM具有强大的文本理解和推理能力,但如果没有本文提出的自检方法,仍无法确保正确的约束提取结果。

图 6 ProphetFuzz约束提取评估效果

为了验证 ProphetFuzz 发现零日漏洞的能力,本文对评估数据集中52个程序的最新版本进行了持续的模糊测试。这一过程中发现的漏洞代表了未修补的漏洞,可能被归类为零日(尚未被发现)或半日(已被发现尚未修复)漏洞。如图7所示,ProphetFuzz 在15个程序中发现了140个独特的漏洞,涵盖了11种类型,包括堆溢出、栈溢出、释放后使用和双重释放等。本文将这些发现报告给了开发者;其中93个已被开发者确认,26个已修复,44个获得了CNNVD编号,21个获得了CVE编号。值得注意的是,在向dwarfdump的开发者报告了一个释放后使用漏洞后,他们表示有意将本文的“优秀”测试用例纳入他们的回归测试中,这突显了ProphetFuzz命令组装模块的有效性。

图 7 ProphetFuzz发现的零日/半日漏洞

最后,本文探索了ProphetFuzz在没有任何专家参与的情况下仅凭程序文档就能预测出1748个高风险选项组合的原因。具体来说,本文记录了每次预测过程中LLM的完整思维链输出,通过分析这些思维链最终提炼出了15条对预测高风险选项组合至关重要的知识,前三条知识如下所示(完整列表见开源项目):

1.资源管理和限制。影响资源分配和限制的选项在与增加资源需求的选项冲突时,可能导致漏洞,潜在地引发资源耗尽或缓冲区溢出。

2.复杂数据处理。导致复杂数据处理任务的选项组合可能会增加出现漏洞的风险,如内存损坏,尤其是在涉及外部数据或详细输出格式化的情况下。

3.输出和格式操作。修改输出详细程度或格式的选项,如果导致处理或显示过多的数据,可能会引发漏洞,潜在地泄露敏感信息或导致缓冲区溢出。

总结展望

Conclusion and Future Work

本文的主要贡献如下:

1.新技术。本文提出了一种基于LLM的全新技术,用于全自动预测和模糊测试高风险选项组合。本文解决了现成LLM所面临的几个关键挑战,例如幻觉现象和知识缺口。为解决这些问题,本文开发了一个用于错误校正的自我检查技术、一种用于弥补预测高风险组合知识缺口的少样本学习方法,以及一种无需专家输入自动化少样本语料库生成方法。该技术仅依靠文档即可预测高风险组合,无需代码信息,并通过本文精心设计的提示语,实现完全自动地对这些组合进行模糊测试。整个过程包括文档解析、约束提取、目标预测、命令组装、文件生成和模糊测试执行,全部无需人工参与。

2.实现和新发现。本文开发了ProphetFuzz的原型工具,并在同类工作的52个测试程序上对其性能进行了全面评估,共耗费10.44个CPU年。最终,ProphetFuzz预测了1748个高风险选项组合,识别了364个漏洞,并在这些程序的最新版本中发现了140个零日/半日漏洞,其中93个已被开发者确认,获得了21个CVE编号以及44个CNNVD编号。此外,本文对ProphetFuzz的预测过程进行了分析,得出了用于预测高风险选项组合的15条关键知识,为该领域的进一步发展提供了有益的见解。本文已将ProphetFuzz和相关数据集开源,以鼓励社区内的进一步探索和研究。

展望未来,除了本文所聚焦的高风险软件选项组合预测任务外,网络空间中还有许多类似的预测任务,例如命令行程序组合、API组合以及配置组合等。这些组合问题同样引入了大量潜在的漏洞,极大地增加了维护网络安全的难度。通过将类似的解决方案应用于不同类型的组合,ProphetFuzz有望成为网络安全领域解决组合漏洞问题的重要工具,助力维护日益复杂的网络空间安全。

原文链接:https://mp.weixin.qq.com/s/vYbavSSFKnEAkiu2x5FB_A