软件漏洞已成为主要的网络安全威胁,目前检测漏洞的一个重要方法是基于深度学习技术,将程序的每个函数视为一个整体进行检测,称为函数级漏洞检测器,这种方法的局限性目前尚无系统性研究。本文研究了函数级漏洞检测器在检测跨函数漏洞方面的局限性,这里跨函数漏洞是指漏洞的待修补语句和漏洞触发语句属于不同函数的漏洞。为此,构建了第一个基于C/C++开源软件的跨函数漏洞数据集InterPVD,并提出一个用于识别跨函数漏洞触发语句工具VulTrigger。实验结果表明,VulTrigger可以有效识别漏洞触发语句和跨函数漏洞。实验结果包括:跨函数漏洞普遍存在平均2.8个跨函数层数;函数级漏洞检测器在检测跨函数漏洞的待修补函数方面,比检测非跨函数漏洞的有效性要低得多。
该成果“On the Effectiveness of Function-Level Vulnerability Detectors for Inter-Procedural Vulnerabilities”发表在Proceedings of the 46th International Conference on Software Engineering (ICSE 2024)上,是实验室在软件安全领域的研究成果。ICSE与ASE、ISSTA和FSE并称为软件工程领域的四大顶级会议,是中国计算机学会CCF推荐的A类会议,会议于2024年4月14日至2024年4月20日在里斯本举办。
论文链接:https://dl.acm.org/doi/10.1145/3597503.3639218
代码链接:https://github.com/CGCL-codes/VulTrigger
背景与动机
目前针对软件源代码的漏洞检测可以分为静态检测和动态检测两种。动态漏洞检测具有高漏报和高时间开销的特点,静态漏洞检测主要包括基于规则的静态应用安全测试 (SAST)工具和基于深度学习的函数级漏洞检测器。其中SAST工具误报率和漏报率都较高,而基于深度学习的函数级漏洞检测器可以有效检测函数内漏洞,但对于跨函数漏洞的检测效果目前没有进一步研究。同时,现有的漏洞数据集通常提供漏洞补丁,研究者可以从补丁中获取漏洞的待修补函数/语句信息,但没有提供任何关于漏洞触发函数/语句的标签。
跨函数漏洞指的是修补语句与漏洞触发语句属于不同函数的漏洞。相应地,非跨函数漏洞指的是修补语句与漏洞触发语句属于同一个函数的漏洞。
设计与实现
为了解决上述问题,对函数级漏洞检测器在检测跨函数漏洞方面的有效性进行研究。具体来说,提出并实现了一种名为VulTrigger的新方法,用于自动识别带有补丁的已知漏洞的漏洞触发语句。VulTrigger实现了10种流行的漏洞类型(涉及16个CWE),通过利用漏洞补丁获得关键变量和新提出的程序切片方法来识别19种漏洞触发类型。如图1所示,VulTrigger的设计和实现分为三个步骤:识别关键变量、生成程序切片和识别漏洞触发语句。
图1 VulTrigger实现过程
在识别关键变量步骤,根据C/C++源代码的语法规则,将常见的代码行分为6种类型:变量赋值、函数调用、变量定义、函数定义、控制语句和其他。对于变量赋值类型,选择被赋值的变量作为关键变量;对于函数调用类型,选择函数内的参数作为关键变量;对于变量定义类型,选择被定义的变量作为关键变量;对于函数定义类型,选择被定义函数的参数作为关键变量;对于控制语句类型,选择控制条件内的变量作为关键变量。
在生成程序切片步骤,生成与关键变量相对应的程序切片。为了实现这一目标,通过程序依赖图,首先提取待修补函数的直接和间接依赖文件,这些文件包含待修补函数内调用的其他函数或变量,然后生成与关键变量相对应的函数间程序切片。与现有的切片方法SySeVR相比,对切片流程进行了三项改进:
(1)增加对控制语句的依赖关系处理。如果修补行是控制语句,原有的切片方案直接执行前向切片会丢失部分数据依赖关系,因此需要提取控制语句的关键变量,先执行后向切片,获取关键变量的定义行,从定义行执行前向切片,最后删除定义行到修补行的噪声语句,得到数据流完整的切片。
(2)函数调用的隐式返回值处理。SySeVR在处理函数调用语句时,如果函数调用没有显式返回有效数据或返回错误,则生成的程序切片将以函数调用语句结束。但如果函数的参数中包含指针类型,该变量将会带回隐式的返回值,造成数据依赖关系的缺失。我们提取函数调用语句中的指针类型变量参数,通过后向切片到达该指针变量的定义语句,然后执行前向切片获取与该指针变量具有数据依赖关系的语句集合,最后从程序切片中删除指针变量定义语句和函数调用语句之间的语句,以排除不相关的冗余信息。
(3)漏洞函数执行返回语句后的切片流程处理。SySeVR在漏洞函数结束时将停止程序切片流程,但是有时候需要在漏洞函数返回后继续执行程序切片,才能到达漏洞触发位置。通过源代码的函数调用图,筛选出调用目标函数的函数,以其中调用漏洞函数的语句为起点提取漏洞函数返回之后与其具有数据依赖关系的程序语句。
在识别漏洞触发语句步骤,对主流的10种漏洞类型(涵盖16个CWE)的触发语句特点进行总结和归纳。表1给出了这10种漏洞类型涵盖的19种触发语句类型,表2给出了每种漏洞类型所对应的触发语句类型。
表1 19种漏洞触发语句类型
表2 漏洞类型与触发语句类型的对应关系
对于第一大类漏洞(CWE-835、CWE-772和CWE-401),直接在漏洞源文件中根据触发语句规则进行识别和定位;对于其他漏洞类型,首先根据步骤 I得到的关键变量和步骤 II得到的程序切片,按照对应的CWE规则,寻找包含关键变量、符合该规则且最近的触发语句。如果上一步无法确定触发语句,则对关键变量进行下一级转换。
实验结果
实验首先对VulTrigger的有效性进行了验证。鉴于现有方法中没有针对给定补丁识别漏洞触发语句的工具,我们利用SAST工具来检测漏洞触发语句。这些工具不需要补丁作为输入,因为它们旨在检测开发过程中的程序缺陷或安全漏洞,但具有检测漏洞触发语句的附加能力。根据是否需要编译程序,SAST工具可以分为两类:对于不需要程序编译的SAST工具,考虑Flawfinder和Checkmarx;对于需要程序编译的SAST工具,考虑Infer、CodeQL和Fortify。
在实验所用的数据集上,对于不需要编译的SAST工具,在构建的InterPVD数据集上进行测试,使用准确率作为指标,与VulTrigger进行对比。由于对InterPVD的所有漏洞构建编译环境所需的开销巨大,因此对于需要编译的SAST工具,仅在Magma数据集上进行测试和指标对比。
表3给出了不需要编译的SAST工具与VulTrigger的测试结果,测试集中的样本为InterPVD中的769个漏洞样本。可以观察到,Flawfinder支持9个CWE,涉及520个漏洞,其他工具支持全部16个CWE;Flawfinder和Checkmarx对每个CWE的准确度非常低,平均准确度为11.9%。
表3 InterPVD数据集上的测试结果
表4通过来自Magma数据集的72个漏洞比较了VulTrigger和SAST工具。可以观察到,Flawfinder支持9个CWE,涉及51个漏洞;CodeQL支持15个CWE,涉及58个漏洞;Fortify支持13个CWE,涉及49个漏洞;其他工具支持16个CWE。实验结果表明,所有这些SAST工具的准确性都非常低。相比之下,VulTrigger利用了补丁语句,平均精度比SAST工具高55.8%。
表4 Magma数据集的测试结果
针对当前最先进的 5个函数级漏洞检测器VulBERTa、LineVul、Devign、ReVeal和VulCNN,进行统一的训练和测试,来评估这些漏洞检测器在检测非跨函数漏洞和跨函数漏洞方面的有效性。训练集使用Reveal公开的数据集,测试集使用InterPVD数据集,为了进行更加具体的结果分析,将InterPVD数据集进一步分为“跨函数”和“非跨函数”两个测试子集。
为了确保公平的比较,通过在确定一段代码是否含有漏洞时调整概率阈值,将每个检测器的FNR设置为20.0%。选择这个值是因为它对应于达到最高F1的模型的FNR。表5通过InterPVD测试集总结了实验结果。
表5 函数级漏洞检测器有效性比较
可以观察到,在检测待修补函数和触发漏洞函数时,5个检测器的每个评估指标几乎没有变化。与检测待修补的函数相比,除FNR外,这5个检测器在检测漏洞触发函数方面的有效性都显著降低。检测漏洞触发函数的总体有效性F1得分比检测待修补函数平均低18.7%。这是因为待修补函数在训练集中被标记为有漏洞,意味着从该数据集训练的检测器在测试集中检测漏洞触发函数方面的有效性往往较低。
表6给出了基于跨函数和非跨函数漏洞测试集的实验结果。可以观察到,检测待修补函数的有效性高于检测漏洞触发函数,这是因为现有的漏洞数据集只将待修补的函数作为漏洞标签进行标记,意味着与漏洞触发函数相关的学习能力有限。在检测待修补函数方面,跨函数漏洞的有效性始终低于非跨函数漏洞的有效性。跨函数和非跨函数的漏洞都有一些待修补函数,这些函数在Reveal数据集中被标记为有漏洞的样本,这意味着没有偏向有利于检测待修补函数的偏见。实验结果表明,检测跨函数漏洞的待修补函数比检测非跨函数漏洞的对应函数更具挑战性。
表6 函数级漏洞检测器对跨函数漏洞和非跨函数漏洞的有效性比较
对于跨程序漏洞,表7根据“caller”和“callee”两种跨函数类型的测试集比较了 5个检测器。可以观察到,漏洞检测器在检测“caller”测试集的待修补函数方面,F1的总体有效性比“callee”测试集平均高4.6%,在检测“caller”测试集的漏洞触发函数方面,F1比“callee”测试集低7.2%。
表7 函数级漏洞检测器对“caller”和“callee”两种跨函数类型漏洞的有效性
总结
本文研究了函数级漏洞检测器在应对C/C++开源软件中跨函数漏洞方面的有效性,提出了VulTrigger 方法来识别带有补丁的已知漏洞的触发语句。实验结果表明,跨函数漏洞在C/C++开源软件中很普遍。对于跨函数漏洞来说,检测待修补的函数和漏洞触发函数,特别是后者,比非跨函数漏洞更具挑战性,这解释了现有函数级漏洞检测器无法有效应对跨函数漏洞的原因。
详细内容请参见:
Zhen Li, Ning Wang, Deqing Zou, Yating Li, Ruqian Zhang, Shouhuai Xu, Chao Zhang, and Hai Jin. On the Effectiveness of Function-Level Vulnerability Detectors for Inter-Procedural Vulnerabilities. In Proceedings of the IEEE/ACM 46th International Conference on Software Engineering (ICSE'24). Association for Computing Machinery, New York, NY, USA, Article 157, 1-12.
https://doi.org/10.1145/3597503.3639218