原创 FuzzWiki 2025-02-26 16:14 四川
EDEFuzz: A Web API Fuzzer for Excessive Data Exposures
Lianglu Pan; Shaanan Cohney; Toby Murray; Van-Thuan Pham
作者机构:
The University of Melbourne, Melbourne, Australia;
所属方向:
API模糊测试
API经常向客户端应用程序传输比需要的更多数据,在Web应用程序中,通常是通过公共通道进行的。这一问题被称为过度数据暴露(Excessive Data Exposure,EDE),是2019年OWASP排名第三的重要API漏洞。然而,研究和工业界缺乏有效的自动化工具来发现和修复此类问题,这也不足为奇,因为这个问题没有明确的测试标准:该漏洞不会通过明显的异常行为(例如程序崩溃或内存访问违规)表现出来。在这项工作中,我们开发了一种形态变换关系来解决这一挑战,并构建了第一个模糊测试工具——我们称之为EDEFuzz——用于系统地检测EDE漏洞。EDEFuzz能显著减少在手动检查和临时文本匹配技术中出现的假阴性,这些方法是当前最常用的检测方式。我们在Alexa前200名中的69个适用目标上测试了EDEFuzz,发现了33,365个潜在的泄露,证明了我们工具的广泛适用性和可扩展性。在一个更为严格的实验中,我们对澳大利亚的八个流行网站进行了测试,EDEFuzz以98.65%的高真阳性率、最小的配置需求,展示了其准确性和高效性。
作者:
Junqiang Li; Senyi Li; Keyao Li; Falin Luo; Hongfang Yu; Shanshan Li; Xiang Li
University of Electronic Science and Technology of China, Chengdu, China;
National University of Defense Technology, Hunan, China;
National Key Laboratory of Science and Technology on Information System Security, Beijing, China;
大规模系统模糊测试
大规模系统由于其大量的配置参数,包含了巨大的配置空间。这导致在探索配置空间时,配置参数之间会产生组合爆炸。现有的配置测试技术首先通过模糊测试生成不同的配置参数,然后将这些配置参数直接注入待测试程序中,以查找由配置引发的bug。然而,这些方法并未充分考虑大规模系统的复杂性,导致测试效果较低。本文提出了ECFuzz,一个有效的配置模糊测试工具,专为大规模系统设计。我们的核心方法包括:(i)多维配置生成策略。ECFuzz根据不同的依赖关系设计不同的变异策略,并从候选配置参数中选择多个配置参数,来有效地生成配置参数;(ii)面向单元测试的配置验证策略。ECFuzz将单元测试引入配置测试技术,在执行系统测试之前过滤掉不太可能引发错误的配置参数,并有效地验证生成的配置参数。我们在包括HCommon、HDFS、HBase、ZooKeeper和Alluxio等现实世界的大规模系统中进行了广泛的实验。评估结果表明,ECFuzz在发现由配置引发的崩溃bug方面非常有效。与最先进的配置测试工具(如ConfTest、ConfErr和ConfDiagDetector)相比,ECFuzz在注入相同的1000个测试用例时,发现了60.3%-67%的更多意外故障,且效率提升了1.87到2.63倍。此外,ECFuzz还暴露了14个先前未知的bug,其中5个已被确认。
Aniruddhan Murali; Noble Saji Mathews; Mahmoud Alfadel; Meiyappan Nagappan; Meng Xu
University of Waterloo, Waterloo, Canada
模糊测试辅助静态分析
手动确认静态分析报告是一个艰巨的任务。因为警告数量庞大,并且其中的假阳性比例很高。已经有模糊测试技术被提出,用于验证静态分析警告。然而,一个主要的限制是,对整个项目进行模糊测试以覆盖所有静态分析警告是不现实的。这可能需要几天甚至更多的机器时间来增加代码覆盖率。
SpecBCFuzz: Fuzzing LTL Solvers with Boundary Conditions
Luiz Carvalho; Renzo Degiovanni; Maxime Cordy; Nazareno Aguirre; Yves Le Traon; Mike Papadakis
SnT, University of Luxembourg, Luxembourg;
Universidad Nacional de Río Cuarto and CONICET, Argentina
LTL模糊测试
本文提出了SpecBCFuzz,一种针对LTL求解器的模糊测试方法,旨在通过边界条件(BCs)来发现LTL求解器中的bug。边界条件是那些其(不)可满足性依赖于稀有轨迹的极端情况。SpecBCFuzz实现了一种基于搜索的算法,在测试LTL公式时赋予边界条件更高的权重。它结合了语法和语义相似度度量,探索与边界条件相关的公式周围的领域。我们在21种不同的配置(包括最新和过去的版本)下,对四个成熟的、最先进的LTL求解器(NuSMV、Black、Aalta和PLTL)进行了评估,这些求解器实现了多种满足性算法。SpecBCFuzz生成了368,716个触发bug的公式,在我们研究的21种求解器配置中,发现了18种bug。总体而言,SpecBCFuzz揭示了:在Aalta和PLTL中的健壮性问题(求解器给出的错误答案);在NuSMV、Black和Aalta中的崩溃问题(如段错误);在NuSMV和Aalta中的不稳定行为(在相同公式下求解器的不同响应);在Black、Aalta和PLTL中的性能问题(同一公式下求解器不同版本之间的性能大幅下降);以及在所有版本的NuSMV BDD中没有发现bug,表明后者目前是最稳健的求解器。
RPG: Rust Library Fuzzing with Pool-based Fuzz Target Generation and Generic Support
Zhiwu Xu; Bohao Wu; Cheng Wen; Bin Zhang; Shengchao Qin; Mengda He
CSSE, Shenzhen University, Shenzhen, China;
Guangzhou Institute of Technology, Xidian University, Guangzhou, China;
Fermat Labs, Huawei, Hong Kong, China
Rust库模糊测试
Rust库在Rust基础的软件开发中无处不在。确保其正确性和可靠性需要进行彻底的分析和测试。模糊测试是一种流行的bug发现解决方案,但它需要为库编写模糊测试目标。最近,一些自动生成模糊测试目标的方法已经被提出。然而,仍然存在两个挑战:(1)如何生成多样的API序列,优先考虑不安全代码和交互,以揭示Rust库中的bug;(2)如何为泛型API提供支持,并验证模糊测试目标的语法和语义有效性,以进行更全面的Rust库测试。在本文中,我们提出了RPG,一种支持Rust库模糊测试的自动模糊测试目标合成技术。RPG使用基于池的搜索来生成多样化的不安全API序列,并合成具有泛型支持和有效性检查的模糊测试目标。实验结果表明,RPG通过基于池的生成和泛型支持,在生成的模糊测试目标质量和bug发现能力上都得到了显著提升,远远超出了现有的最先进技术。此外,RPG还从50个知名的Rust库中发现了25个先前未知的bug,这些库可以在Crates.io上找到。
Fuzz4All: Universal Fuzzing with Large Language Models
Chunqiu Steven Xia; Matteo Paltenghi; Jia Le Tian; Michael Pradel; Lingming Zhang
University of Illinois, Urbana-Champaign, USA;
编译器模糊测试
模糊测试在发现各种软件系统中的bug和漏洞方面取得了巨大的成功。特别是那些接受编程语言或形式语言作为输入的系统,例如编译器、运行时引擎、约束求解器和具有可访问API的软件库,在软件开发中是至关重要的基础构建模块。然而,现有的模糊测试工具通常只针对特定语言,因此无法轻松应用于其他语言或相同语言的不同版本。此外,现有的模糊测试工具生成的输入通常仅限于输入语言的特定功能,因此很难揭示与其他或新功能相关的bug。本文提出了Fuzz4All,这是第一个在多个输入语言和这些语言的多个特性方面具有通用性的模糊测试工具。Fuzz4All的核心思想是利用大语言模型(LLM)作为输入生成和变异引擎,使得该方法能够为任何实际相关的语言生成多样且逼真的输入。为了实现这一潜力,我们提出了一种新颖的自动提示技术,它创建了适合模糊测试的LLM提示,并设计了一种新型的LLM驱动模糊测试循环,它通过迭代更新提示来创建新的模糊测试输入。我们在九个系统上评估了Fuzz4All,这些系统分别接受六种不同语言(C、C++、Go、SMT2、Java和Python)作为输入。评估结果表明,在所有六种语言中,通用模糊测试的覆盖率优于现有的特定语言模糊测试工具。此外,Fuzz4All在广泛使用的系统中发现了98个bug,如GCC、Clang、Z3、CVC5、OpenJDK和Qiskit量子计算平台,其中64个bug已被开发者确认是之前未知的。
Are We There Yet? Unraveling the State-of-the-Art Smart Contract Fuzzers
Shuohan Wu; Zihao Li; Luyi Yan; Weimin Chen; Muhui Jiang; Chenxu Wang; Xiapu Luo; Hao Zhou
The Hong Kong Polytechnic University, Hong Kong, China;
Xi’ an Jiaotong University, Xi’ an, China;
智能合约模糊测试
随着智能合约在各种应用中的重要性不断增长,确保其安全性和可靠性变得至关重要。模糊测试作为一种有效的漏洞检测技术,近年来已广泛应用于智能合约。尽管已有许多研究,但关于智能合约模糊测试技术的系统性调查仍然缺乏。本文通过以下两方面填补了这一空白:(1)提供了关于当前合约模糊测试研究的全面回顾;(2)进行了一项深入的实证研究,评估了最先进的合约模糊测试工具的可用性。为了确保评估的公正性,我们使用了精心标注的基准数据集,并引入了一套务实的性能指标,从五个互补的角度对模糊测试工具进行了评估。根据我们的发现,我们为未来智能合约模糊测试工具的研究和开发提供了方向。
Crossover in Parametric Fuzzing
Katherine Hough; Jonathan Bell
Northeastern University, Boston, USA;
参数化模糊测试
参数化模糊测试(Parametric fuzzing)通过结合进化式和生成式模糊测试方式来创建结构化的测试输入,从而触发独特的执行行为。参数化模糊测试器在内部将输入表示为位字符串,称为“参数序列”。模糊测试器会保存具有测试价值的参数序列,并对其进行扰动来生成新的输入,这无需依赖特定类型的操作符。然而,现有的参数化模糊测试方法仅使用变异操作符,即仅修改单个输入,但并未引入交叉操作符——一种将多个输入特性结合起来的进化式操作符。交叉操作符的目标是合并多个输入的优势特征,但参数化模糊测试的特性限制了传统交叉操作符的有效性。
FuzzInMem: Fuzzing Programs via In-memory Structures
Xuwei Liu; Wei You; Yepeng Ye; Zhuo Zhang; Jianjun Huang; Xiangyu Zhang
Purdue University, West Lafayette, USA;
Renmin University of China, Beijing, China;
模糊测试变异方法
近年来,基于覆盖率的灰盒模糊测试已被证明是一种有效且实用的技术,可用于发现软件漏洞。AFL的出现推动了模糊测试领域在克服各种挑战方面的诸多进展。然而,针对复杂文件格式(如PDF)的变异问题仍未解决,因为这些格式具有严格的格式要求。现有的模糊测试工具通常生成的变异文件无法被目标应用正确解析,这个问题的主要原因是由于它们主要对输入文件执行位/字节级的变异。
Extrapolating Coverage Rate in Greybox Fuzzing
Danushka Liyanage; Seongmin Lee; Chakkrit Tantithamthavorn; Marcel Böhme
Monash University, Melbourne, Australia; MPI-SP, Shanghai, China;
模糊测试进程终止条件预测
模糊测试工具理论上可以无限运行。然而,随着资源投入的增加,其覆盖率会持续下降,导致模糊测试的能效比降低。为了解决覆盖率与资源消耗之间的平衡问题,我们可以引入一个策略:当覆盖率下降到某个阈值以下时(例如,每15分钟新增覆盖10条分支),就终止测试。在测试过程中,我们能否预测未来某个时间点的覆盖率?如果可以,预测的准确度会如何随预测范围或当前测试时长的增加而变化?此外,我们如何应对灰盒模糊测试中的自适应偏差 这一统计挑战?(即样本数据不是独立同分布的)。
Sedar: Obtaining High-Quality Seeds for DBMS Fuzzing via Cross-DBMS SQL Transfer
Jingzhou Fu; Jie Liang; Zhiyong Wu; Yu Jiang
Tsinghua University, Beijing, China;
数据库模糊测试
高效的数据库管理系统(DBMS)模糊测试 依赖于高质量的初始种子,这些种子作为变异的起点。理想情况下,初始种子应当涵盖各种DBMS特性,以便充分探索其状态空间。然而,尽管内置测试用例通常被用作初始种子,许多DBMS缺乏完整的测试用例,这导致了当前的DBMS模糊测试难以直接应用最先进的模糊测试技术。
Enhancing ROS System Fuzzing through Callback Tracing
Yuheng Shen; Jianzhong Liu; Yiru Xu; Hao Sun; Mingzhe Wang; Nan Guan
ETH Zurich, Zurich, Switzerland; City University of Hong Kong, Hong Kong, China; Central South University, Changsha, China;
机器人操作系统模糊测试
机器人操作系统2(ROS 2)是当前机器人软件开发的事实标准,广泛应用于各类重要的安全领域。尽管已有诸多测试方面的努力,致力于提高ROS代码库的安全性,但现有的测试方法往往难以捕捉ROS部署中的复杂且具备状态性的行为,从而限制了测试的有效性。
Atlas: Automating Cross-Language Fuzzing on Android Closed-Source Libraries
Hao Xiong; Qinming Dai; Rui Chang; Mingran Qiu; Renxiang Wang; Wenbo Shen; Yajin Zhou
Zhejiang University, Hangzhou, China;
Android模糊测试
模糊测试是检测软件安全漏洞的有效方法,在Android领域已经有许多高效的模糊测试研究。研究人员已经开发了针对开源本地API和Java接口的模糊测试方法,并在真实的Android设备上进行测试。然而,针对Android封闭源代码的本地库的自动化模糊测试,尤其是在模拟器上,仍然缺乏深入研究。
Sleuth: A Switchable Dual-Mode Fuzzer to Investigate Bug Impacts Following a Single PoC
Haolai Wei; Liwei Chen; Zhijie Zhang; Gang Shi; Dan Meng
Chinese Academy of Sciences, Beijing, China;
通过fuzz探寻漏洞影响
概念验证(PoC)对于精准定位软件中的漏洞至关重要。然而,仅依赖 PoC 进行漏洞的及时和完整修复是不充分的,因为它会低估了漏洞影响。漏洞影响反映了一个漏洞可能会在多个位置被触发,并由此产生不同类型的漏洞(例如 Use-After-Free、堆缓冲区溢出)。当前技术通过采用基于覆盖率引导的模糊测试方法来发现漏洞影响,即为覆盖漏洞代码区域的种子分配更多能量。这种方法可以利用单个PoC在短时间内生成多个具有不同漏洞影响的PoC。然而,我们发现现有技术仍然不够可靠,主要原因在于它们未能平衡深入探索和广度探索之间的时间分配:(i) 针对崩溃区域背后的漏洞影响进行深入探索,以及 (ii) 针对尚未到达的区域的漏洞影响进行广度探索。当前技术要么仅关注一种探索方式,要么将两种探索方式分开进行,从而导致准确性和效率低下。
Midas: Mining Profitable Exploits in On-Chain Smart Contracts via Feedback-Driven Fuzzing and Differential Analysis
Mingxi Ye; Xingwei Lin; Yuhong Nan; Jiajing Wu; Zibin Zheng
Sun Yat-sen University, Guangzhou, China;
在提升智能合约应用的背景下,优先考虑其安全性变得至关重要。智能合约的漏洞往往会导致巨大的财务损失。因此,确保其安全性绝非易事。大多数智能合约攻击的目标不是导致程序崩溃,而是引发经济损失,这类攻击被称为“有利可图的漏洞利用”。通过构造看似无害的输入,有利可图的漏洞利用试图获取额外利益或破坏他人的利益。然而,由于链上智能合约调用链的复杂性以及对有效预言机的需求,智能合约模糊测试在发现有利可图的漏洞利用时效率低下、效果不佳。
DDGF: Dynamic Directed Greybox Fuzzing with Path Profiling
Haoran Fang; Kaikai Zhang; Donghui Yu; Yuanyuan Zhang
Shanghai Jiao Tong University, Shanghai, China;
定向模糊测试
覆盖引导模糊测试(CGF)已成为最流行且有效的漏洞检测方法。它通常被设计为一种自动化的“黑盒”工具。安全审计员启动它后,只需等待结果。然而,在经过一段时间的测试后,CGF逐渐难以找到新的覆盖路径,从而使其效率降低。用户很难解释是什么原因导致模糊测试无法进一步进展,也难以判断现有的覆盖范围是否足够。此外,也没有办法与模糊测试过程进行交互和引导。
Wapplique: Testing WebAssembly Runtime via Execution Context-Aware Bytecode Mutation
Wenxuan Zhao; Ruiying Zeng; Yangfan Zhou
Fudan University, Shanghai, China;
Wasm runtime模糊测试
Wasm runtime的可靠性是首要关注点。本文研究了如何对Wasm runtime的可靠性进行测试,并提出了Wapplique,首个基于Wasm字节码变异的模糊测试工具。Wapplique通过专门为Wasm设计的代码片段替代方法解决了生成测试用例时的多样性/效率困境。具体而言,Wapplique通过将来自真实世界程序的代码片段应用到种子程序中,以增强种子的多样性。通过我们设计的复杂代码分析算法,Wapplique还保证了生成程序的有效性。这使得Wapplique能够生成大量有效且多样的Wasm程序作为测试用例,从而有效地测试目标Wasm runtime。我们对四个流行的真实世界案例的测试表明,Wapplique能够高效生成测试用例,实现高覆盖率,同时发现了20个之前未知的漏洞。
Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing
Tong Wang; Taotao Gu; Huan Deng; Hu Li; Xiaohui Kuang; Gang Zhao
Academy of Military Sciences, Beijing, China;
自动驾驶系统模糊测试
随着自动驾驶系统向更高水平的自主性发展,其安全验证变得越来越复杂。本文介绍了ScenarioFuzz,一种开创性的基于场景的模糊测试方法。ScenarioFuzz被设计为一位能够理解过去表现的编排者,在没有预定义场景的情况下,揭示ADS中的漏洞。通过利用地图道路网络(如OPENDRIVE),我们提取关键数据,形成一个基础的场景种子语料库。这个语料库经过相关信息的丰富,提供了在没有起始场景的情况下进行模糊测试所需的边界。我们的方法集成了专门的变异器和变异技术,并与图神经网络模型相结合,预测并过滤出高风险的场景种子,利用历史测试数据优化模糊测试过程。与其他方法相比,我们的方法将时间成本平均降低了60.3%,而单位时间发现的错误场景数量增加了103%。此外,我们提出了一种自监督碰撞轨迹聚类方法,帮助识别和总结出54种容易引发ADS故障的高风险场景类别。我们的实验成功地在六个测试系统中发现了58个漏洞,突显了ADS的关键安全问题。
AsFuzzer: Differential Testing of Assemblers with Error-Driven Grammar Inference
Hyungseok Kim; Soomin Kim; Jungwoo Lee; Sang Kil Cha
The Affiliated Institute of ETRI, Daejeon, South Korea; KAIST, Daejeon, South Korea;
汇编器模糊测试
汇编器是编译器工具链中的一个关键组件,但其测试程度远低于其他组件。不幸的是,当前基于语法的模糊测试技术在测试汇编器时面临几个挑战。首先,每个不同的汇编器接受不同的语法规则和语法结构,并且没有现成的汇编语法规范。其次,并非所有的汇编器都是开源的,这使得从源代码中提取语法规则变得困难。虽然现有的黑盒语法推断方法可以应用于这类闭源汇编器,但存在可扩展性问题,导致在测试汇编器时并不实用。为了解决这些挑战,我们提出了一种新颖的方式,通过仅对目标汇编器进行少量查询,利用其错误信息自动推断汇编器的语法规则。关键在于,汇编错误信息通常包含有助于推断底层语法规则的有用信息。我们将这一技术实现为一个名为AsFuzzer的工具,并在包括Clang集成汇编器(Clang)、GNU汇编器(GAS)、Intel汇编器(ICC)和Microsoft宏汇编器(MASM)在内的四个真实世界的汇编器上进行了评估。通过AsFuzzer,我们成功地发现了六种流行架构的497个有问题的指令操作码,并已将其报告给开发人员。
FRIES: Fuzzing Rust Library Interactions via Efficient Ecosystem-Guided Target Generation
Xizhe Yin; Yang Feng; Qingkai Shi; Zixi Liu; Hongwang Liu; Bao wen Xu
Nanjing University, Nanjing, China;
Rust API模糊测试
Rust因其内存安全机制和逐渐成熟的生态系统,在过去几十年中被广泛应用于软件开发。提高Rust库的质量对Rust生态系统至关重要,因为这些Rust库通常是软件系统的核心组件。然而,我们观察到现有的方法在测试Rust API交互方面存在不足——要么缺乏符合Rust所有权机制的API测试方法,要么无法处理函数依赖的大规模搜索空间,或者受限于预选的代码库,导致寻找错误的效率低下。
Tacoma: Enhanced Browser Fuzzing with Fine-Grained Semantic Alignment
Jiashui Wang; Peng Qian; Xilin Huang; Xinlei Ying; Yan Chen; Shouling Ji; Jianhai Chen; Jundong Xie; Long Liu
Ant Group, Hangzhou, China;
Web 浏览器模糊测试
浏览器负责管理和解释来自网络的多种数据。尽管开发者已经做出了很多努力,但要完全消除这类复杂软件中的潜在漏洞几乎是不可能的。尽管已经提出了一系列模糊测试技术来检测浏览器中的缺陷,但它们仍然面临生成的测试输入语义正确性低且多样性差这一固有挑战。本文提出了Tacoma,一个专为Web浏览器量身定制的创新模糊测试框架。Tacoma包括三个主要模块:语义解析器、语义对齐器和输入生成器。通过利用细粒度的语义对齐技术,Tacoma能够生成语义正确的测试输入,从而显著提高模糊测试工具触发浏览器深层状态的概率。特别地,通过将范围感知策略整合到输入生成中,Tacoma能够处理异步代码生成,从而大大增加生成测试输入的多样性。
How Effective Are They? Exploring Large Language Model Based Fuzz Driver Generation.
Cen Zhang; Yaowen Zheng; Mingqiang Bai; Yeting Li; Wei Ma; Xiaofei Xie; Yuekang Li; Limin Sun; Yang Liu
Nanyang Technological University, Singapore;
CAS, Beijing, China;
UCAS, Beijing, China;
The University of New South Wales Sydney, Sydney, Australia;
模糊测试驱动程序生成
Fuzzing MLIR Compiler Infrastructure via Operation Dependency Analysis
Chenyao Suo; Junjie Chen; Shuang Li; Jiajun Jiang; Yingquan Zhao; Jianrong Wang
Tianjin University, Tianjin, China;
MLIR编译器模糊测试
Prospector: Boosting Directed Greybox Fuzzing for Large-Scale Target Sets with Iterative Prioritization
Zhijie Zhang; Liwei Chen; Haolai Wei; Gang Shi; Dan Meng
An Empirical Examination of Fuzzer Mutator Performance
James Kukucka; Luís Pina; Paul Ammann; Jonathan Bell
George Mason University Fairfax, VA, USA;
University of Illinois at Chicago Chicago, IL, USA;
Northeastern University Boston, MA, USA;
模糊测试评估
Fuzzing JavaScript Interpreters with Coverage-Guided Reinforcement Learning for LLM-Based Mutation
Jueon Eom; Seyeon Jeong; Taekyoung Kwon
Yonsei University Seoul, South Korea;
Suresofttech Inc. Seongnam-si, South Korea;
JavaScript解释器模糊测试
Logos: Log Guided Fuzzing for Protocol Implementations
Feifan Wu; Zhengxiong Luo; Yanyang Zhao; Qingpeng Du; Junze Yu; Ruikang Peng; Heyuan Shi; Yu Jiang
Beijing University of Posts and Telecommunications, Beijing, China;
Central South University, Changsha, China;
Shaping Test Inputs in Grammar-Based Fuzzing
José Antonio Zamudio Amaya
CISPA Helmholtz Center for Information Security, Saarbrücken, Germany;
模糊测试输入生成技术
WhiteFox: White-box Compiler Fuzzing Empowered by Large Language Models
Chenyuan Yang; Yinlin Deng; Runyu Lu; Jiayi Yao; Jiawei Liu; Reyhaneh Jabbarvand; Lingming Zhang
Huazhong University of Science and Technology, Wuhan, China;
Chinese University of Hong Kong, Shenzhen, China;
白盒编译器模糊测试工具
编译器的正确性至关重要,因为编译错误会伪造程序行为,从而给软件供应链带来严重后果。在文献中,人们对模糊处理进行了广泛研究,以发现编译器缺陷。然而,编译器模糊处理仍然具有挑战性: 现有的解决方案侧重于黑盒和灰盒模糊,这种方法生成的测试程序无法充分了解编译器的内部行为。因此,这些方案往往无法构建测试程序来进行复杂的优化。同时,传统的白盒技术(如符号执行)在计算上无法适用于编译器系统的庞大代码库。最近的进展表明,大型语言模型(LLM)在代码生成/理解任务方面表现出色,甚至在黑盒模糊处理方面也达到了最先进的性能。然而,利用编译器源代码信息指导 LLM 仍然是编译器测试研究中的一个缺失。
为此,我们提出了首个白盒编译器模糊器WhiteFox,它使用带有源代码信息的 LLM 来测试编译器优化,重点是检测新兴深度学习(DL)编译器中的深度逻辑错误。WhiteFox 采用多代理框架:(i)基于LLM的分析代理检查底层优化源代码,并生成可触发优化的高层测试程序需求;(ii)基于LLM的生成代理根据汇总的需求生成测试程序。此外,触发优化的测试还被用作反馈,以进一步即时增强测试生成提示。我们在三种最流行的DL编译器(即PyTorch Inductor、TensorFlow-XLA和TensorFlow Lite)上进行的评估表明,WhiteFox可以生成高质量的测试程序,对需要复杂条件的深度优化进行练习,其优化练习次数是最先进模糊器的8倍。迄今为止,WhiteFox已为接受测试的编译器发现了101个错误,其中92个确认为以前未知,70个已经修复。值得注意的是,WhiteFox最近得到了PyTorch团队的认可,并正在被纳入其开发工作流程。最后,除DL编译器外,WhiteFox还可用于不同领域的编译器,如LLVM,WhiteFox已在LLVM中发现了多个错误。
Evolutionary Generative Fuzzing for Differential Testing of the Kotlin Compiler
Călin Georgescu; Mitchell Olsthoorn; Pouria Derakhshanfar; Marat Akhin; Annibale Panichella
Delft University of Technology, Delft, The Netherlands;
JetBrains Research, Amsterdam, The Netherlands;
Kotlin编译器模糊测试
Dodrio: Parallelizing Taint Analysis Based Fuzzing via Redundancy-Free Scheduling
Jie Liang; Mingzhe Wang; Chijin Zhou; Zhiyong Wu; Jianzhong Liu; Yu Jiang
模糊测试的并行调度技术
污点分析大大提高了模糊处理的能力,使其能够驾驭错综复杂的约束条件,并深入目标程序的状态空间。然而,在实际应用中,基于污点分析的模糊器采用普通并行模式,在总体吞吐量方面仍有局限性。这些限制主要源于不同模糊器实例之间的冗余污点分析和突变。在本文中,我们提出了Dodrio,这是一个基于污点分析的模糊处理并行化框架。其主要思想是通过利用实时的全局状态来均衡安排模糊任务。它由两个模块组成:实时同步和负载平衡任务调度。实时同步利用双全局覆盖位图更新所有实例的全局状态,以减少数据竞赛。根据全局状态,负载平衡任务调度会将不同的任务有效地分配给不同的实例,从而最大限度地减少冗余行为,最大限度地提高计算资源的利用率。
When Fuzzing Meets LLMs: Challenges and Opportunities
Yu Jiang; Jie Liang; Fuchen Ma; Yuanliang Chen; Chijin Zhou; Yuheng Shen; Zhiyong Wu; Jingzhou Fu; Mingzhe Wang; Shanshan Li; Quan Zhang
NUDT, Changsha, China;
综述,LLM-based fuzz的挑战
模糊测试(Fuzzing)是一种广泛使用的错误检测技术,它通过大型语言模型(LLM)取得了进步。尽管LLMs潜力巨大,但在模糊处理中却面临着特殊的挑战。在本文中,我们确定了LLM辅助模糊处理的五大挑战。为了支持我们的发现,我们重新研究了顶级会议的最新论文,证实这些挑战是普遍存在的。作为补救措施,我们提出了一些可行的建议,以帮助改进在模糊中应用LLM,并对DBMS模糊进行了初步评估。结果表明,我们的建议有效地解决了所发现的挑战。
Test Case Generation for Simulink Models using Model Fuzzing and State Solving
Zhuo Su; Zehong Yu; Dongyan Wang; Wanli Chang; Bin Gu; Yu Jiang
Hunan University, Changsha, China;
Beijing Institute of Control Engineering, Beijing, China;
面向simulink的模糊测试
Differential Fuzzing for Data Distribution Service Programs with Dynamic Configuration
Dohyun Ryu; Giyeol Kim; Daeun Lee; Seongjin Kim; Seungjin Bae; Junghwan Rhee; Taegyu Kim
The Pennsylvania State University, University Park, USA;
Pusan National University, Busan, South Korea;
Dartmouth College, Hanover, USA;
University of Central Oklahoma, Edmond, USA;
DDS模糊测试
数据分发服务(DDS)是一种广泛应用于网络物理系统的分布式网络协议。DDS 提供在正式设计规范中定义的灵活配置,以确保安全。然而,DDS程序既存在违反设计规范的语义错误,也存在传统软件错误。为了发现错误,网络协议模糊器主要通过改变输入数据包来测试客户端-服务器模型。然而,由于没有考虑到DDS特有的特征,如DDS 特有的输入空间(如动态网络拓扑结构、QoS和DDS安全配置)以及DDS特有的语义错误(如不正确的拓扑结构)的影响,它们并不适合模糊DDS程序。具体来说,我们开发了一个DDS动态网络配置输入生成器,并将其与定制的最先进的数据包输入突变器集成在一起。这种配置输入生成器在生成输入时,会考虑DDS特有的输入空间、DDS 拓扑以及参数配置和依赖关系。这种方案使DDSFuzz能够测试可在特定DDS网络配置中执行的代码。此外,我们基于差分模糊的错误检测器还能发现DDS特有的语义错误,这些错误建立在DDS特有的应用程序接口和监听器上。我们用三个主要的DDS程序对DDSFuzz进行了评估:Fast DDS、Cyclone DDS和OpenDDS。结果,DDSFuzz发现了20个漏洞,并分配了7个CVE。此外,DDSFuzz的代码覆盖率比现有模糊器平均高出6.44倍,显示了DDS错误检测的有效性。
Mutation-Based Deep Learning Framework Testing Method in JavaScript Environment
Yinglong Zou; Juan Zhai; Chunrong Fang; Jiawei Liu; Tao Zhang; Zhenyu Chen
State Key Laboratory for Novel Software Technology, Nanjing University, China;
JavaScript-based DL框架模糊测试
近年来,深度学习(DL)应用在JavaScript环境中变得越来越流行。作为DL应用的基础设施,JavaScript深度学习框架在开发和部署中起着至关重要的作用。因此,确保JavaScript深度学习框架的质量至关重要。然而,JavaScript环境中的有限计算资源瓶颈给框架测试带来了新的挑战。具体而言,JavaScript深度学习框架配备了各种优化机制(如缓存重用、推理加速),以克服计算资源的限制。这些优化机制被现有方法忽视,导致许多JavaScript深度学习框架中的bugs被遗漏。为了应对这些挑战,我们提出了一种基于变异的JavaScript深度学习框架测试方法,称为DLJSFuzzer。DLJSFuzzer设计了13条针对缓存重用机制的张量变异规则,用于生成测试输入张量。此外,DLJSFuzzer设计了8条针对推理加速机制的模型变异规则,用于生成测试输入模型。为了评估DLJSFuzzer的有效性,我们在最广泛使用的JavaScript深度学习框架TensorFlow.js上进行了实验。实验结果表明,DLJSFuzzer在有效性和效率方面均优于现有的最先进方法。DLJSFuzzer成功检测到21个独特的崩溃和126个独特的NaN和不一致性bugs。所有检测到的崩溃已报告给开源社区,其中12个已被开发者确认。此外,DLJSFuzzer在模型生成效率上提高了超过47%,在bug检测效率上提高了超过91%,相较于所有基线方法。
Magneto: A Step-Wise Approach to Exploit Vulnerabilities in Dependent Libraries via LLM-Empowered Directed Fuzzing
Zhuotong Zhou; Yongzhuo Yang; Susheng Wu; Yiheng Huang; Bihuan Chen; Xin Peng
库漏洞,定向模糊测试
开源第三方库的广泛使用可能会通过依赖链将原本存在于第三方库中的漏洞传播到下游项目。为降低这一安全风险,漏洞利用分析被提出,用以进一步减少漏洞可达性分析中的误报。然而,当易受攻击的库中的漏洞函数通过多个步骤的调用链间接地被客户端项目调用时,现有方法的效果较差。为了解决这个问题,我们提出了一种逐步的方法,名为Magneto,通过大语言模型(LLM)增强的定向模糊测试,利用客户端项目依赖库中的漏洞。其核心思想是将针对整个调用链(从客户端项目到易受攻击函数)的定向模糊测试分解为一系列针对调用链每一步的逐步定向模糊测试。为了增强定向模糊测试,它利用LLM来促进初始种子的生成。我们的评估结果表明,Magneto相较于现有技术表现出了更高的有效性;即,Magneto在成功利用漏洞方面提高了至少75.6%。
Seeding and Mocking in White-Box Fuzzing Enterprise RPC APIs: An Industrial Case Study
Man Zhang; Andrea Arcuri; Piyun Teng; Kaiming Xue; Wenhao Wang
Beihang University, Beijing, China;
Kristiania University College and Oslo Metropolitan University, Oslo, Norway;
Meituan, Beijing, China;
微服务自动化测试
微服务如今成为构建大规模Web服务的有前景的架构。由于企业微服务的高复杂性,业界迫切需要一种解决方案,以实现对这类系统的自动化测试。EvoMaster是一款开源模糊测试工具,采用了最先进的技术,支持Web API的系统级自动化测试。在最近的两项实证研究中,EvoMaster在行覆盖率和故障检测方面被评为表现最优的工具。本文中,我们进行了实证实验,探讨如何在工业环境中更好地应用这一最先进的学术原型(即EvoMaster)。我们扩展了该工具,支持现有工业测试的种子生成,并对外部服务进行模拟,将它们的数据作为输入的一部分进行模糊测试。我们在美团的40个基于RPC的企业API(涉及560万行核心业务逻辑代码)上,使用两种时间预算配置对EvoMaster进行了研究。结果显示,与现有的手动系统级测试方法和通过在线流量记录重放生成的测试相比,EvoMaster 展示了明显的额外优势。在最佳配置下,EvoMaster能够覆盖多达32.4%的代码行,并在40个案例中(90%的案例)覆盖超过10%的代码行,平均识别出3520个潜在故障。此外,我们还识别并讨论了在对企业微服务进行模糊测试时需要解决的重要挑战。
Applying Fuzz Driver Generation to Native C/C++ Libraries of OEM Android Framework: Obstacles and Solutions
Shiyan Peng; Yuan Zhang; Jiarun Dai; Yue Gu; Zhuoxiang Shen; Jingcheng Liu
OPPO, Chengdu, China;
模糊测试驱动生成
模糊测试驱动生成(FDG)是模糊测试库软件的基础技术。现有的FDG方法在开源库中取得了很大的成功。然而,在现实实践中,由于OEM Android框架的复杂性(例如,定制的编译工具链、庞大的代码库、多样化的C/C++语言特性),将现有的模糊测试驱动生成工具与OEM Android库集成并不简单。为了解决这个问题,我们首先系统地总结了现有工具(例如,FuzzGen)在OEM Android库(即ColorOS)中的应用障碍,包括兼容性、可用性和有效性问题。接着我们开发了一种新的模糊测试驱动生成工具——FuzzGen++,专门设计用来逐一解决这些障碍。在我们的评估中,我们展示了FuzzGen++在实际OEM Android框架中的优势。FuzzGen++与OEM Android兼容,并能够为其所有库生成模糊测试驱动,而这些库是现有工作所不支持的。对OEM Android代码的额外分析也增强了它在系统中的可用性。总体而言,FuzzGen++帮助自动生成了21,457个模糊测试驱动。此外,通过模糊测试驱动排名和选择方案,FuzzGen++筛选出了95%的无用模糊测试驱动。FuzzGen++在代码分析中支持复杂的C/C++特性,确保了其有效性。与手写的模糊测试驱动相比,FuzzGen++能够生成并选择模糊测试驱动,提供了107.92%的覆盖率提升。此外,FuzzGen++还发现了6个漏洞,展示了其发现实际问题的能力。
Industry Practice of Directed Kernel Fuzzing for Open-source Linux Distribution
Heyuan Shi; Shijun Chen; Runzhe Wang; Yuhan Chen; Weibo Zhang; Qiang Zhang; Yuheng Shen; Xiaohai Shi; Chao Hu; Yu Jiang
Alibaba Group, Hangzhou, China;
Tsinghua University, Beijing, China.
定向内核模糊测试
定向灰盒模糊测试是一种广泛使用的自动化测试技术,它帮助开发人员测试目标程序中的特定代码空间。尽管许多定向模糊测试工具已经设计用于测试Linux内核,但由于工业需求和部署环境的复杂性,仍然存在一些挑战。本文中,我们与来自阿里巴巴和OpenAnolis社区的开发人员合作,进行了一次针对开源Linux发行版的定向内核模糊测试的行业实践。我们强调了在部署定向内核模糊测试时面临的典型挑战,包括与目标相关的内核配置选项被禁用、无关的初始种子限制了模糊测试启动性能、缺乏对内核特性接口模糊测试的支持、独立模糊测试执行限制了模糊测试的有效性、大量手动工作用于分流和分析崩溃信息,以及难以集成到现有的模糊测试框架中。我们提供了这些挑战的解决方案,这使我们能够发现11个与云原生特性、io_uring和OpenAnolis Linux发行版中的其他组件相关的之前未知的内核漏洞。
Olympia: Fuzzer Benchmarking for Solidity
Jana Chadt; Christoph Hochrainer; Valentin Wüstholz; Maria Christakis
TU Wien, Vienna, Austria;
ConsenSys, Brooklyn, USA;
智能合约模糊测试器的评估方法
在过去几年里,对智能合约的黑客攻击导致了数十亿资产的损失。为了有效识别此类漏洞,学术界和工业界的研究人员开发了几种流行的智能合约模糊测试工具。然而,客观比较这些工具在漏洞发现方面的有效性一直是一个挑战。在本文中,介绍了Olympia,这是第一个专为智能合约(而非通用)模糊测试工具设计的基准生成工具。本文使用Olympia评估了四种知名的开源Solidity智能合约模糊测试工具的有效性。
Syntactic Resilience in Greybox Fuzzing: Automated Error Recovery
Bachir Bendrissou
Imperial College London, London, United Kingdom;
模糊测试有效性输入的生成和变异
模糊测试是一种通过向系统输入随机数据来自动检测漏洞的技术,已展现出显著的效果。其可扩展性和自动化特性使其成为学术界和工业界关注的焦点。然而,传统的模糊测试技术往往难以生成符合程序输入规范的各种罕见的输入,从而限制了其潜力的充分发挥。为了应对这些挑战,本文提出了AFLRepaiR,这是一种新颖的方法,通过对程序输入进行随机变异并修复由此产生的无效输入的语法。AFLRepaiR利用字节级变异生成大量测试用例,同时确保其有效性,从而促进对程序关键区域中多样化执行路径的探索。这显著提高了发现隐藏漏洞的可能性。初步实验发现,Lua解释器上出现了一个崩溃。未来计划通过对多个开源软件进行全面的模糊测试实验来进一步验证AFLRepaiR,并报告发现的任何漏洞。
以上就是本次分享的全部内容,欢迎各位读者留言交流!