随着软件开源化的不断发展,开源软件的复用导致克隆漏洞显著增加。这些漏洞通常是通过复制和粘贴存在漏洞的代码而产生的。现在已经提出了许多方法来检测克隆漏洞,但它们通常并不高效或很少考虑到漏洞和补丁的语义信息。在本文中,我们提出了 FIRE,一种可扩展的用于大规模克隆漏洞检测的方法。它利用多步过滤和差异污点路径来实现大范围的精确克隆漏洞扫描。在对10个开源软件项目的评估中,FIRE以高达90.0%的准确率检测出了385个真实实例中的298个克隆漏洞。比现有先进的克隆漏洞检测工具VUDDY多31.4%,比MOVERY多47.0%。在检测大型软件中的漏洞时,FIRE的效率相较于先进的克隆漏洞检测工具MOVERY,节省了大约两倍的时间,能够实现对超大规模的项目进行快速克隆漏洞扫描。
该成果“FIRE: Combining Multi-Stage Filtering with Taint Analysis for Scalable Recurring Vulnerability Detection”已被CCF-A类会议Security 2024(The 33rd USENIX Security Symposium)录用。USENIX Security是网络安全与隐私计算领域的顶级学术会议,也是中国计算机学会(CCF)推荐的A类会议,录用率仅为19%。
论文链接:https://www.usenix.org/conference/usenixsecurity24/presentation/feng-siyue
背景与动机
漏洞是指软件中的错误、缺陷等安全问题。它们的产生是由于逻辑错误、不遵守编码标准、代码编写过程中代码质量低下或缺乏安全测试。漏洞使软件面临信息泄露、远程控制和拒绝服务攻击等威胁。黑客可以通过利用漏洞危害软件系统和网络的安全,从而导致严重后果。因此,及时发现漏洞对于增强软件安全来说至关重要。目前存在多种漏洞检测方法,包括传统方法,如手动检查、静态分析、模糊测试、符号执行和基于深度学习的方法。
然而,传统的漏洞检测方法通常需要手动定义规则,并且严重依赖漏洞相关领域的专业知识。基于深度学习的智能漏洞检测方法需要大量标记数据集进行训练,其效果取决于标记数据集的数量和准确性。因此,他们很难实现大规模的漏洞检测。事实上,随着软件开源的不断发展,复用开源软件已经成为软件开发中的普遍做法。这种趋势导致重复出现的漏洞数量不断增加。这些漏洞表现出相似的特征,共享代码逻辑,甚至可能完全相同,因此也被称为克隆漏洞。传统的漏洞检测技术只能利用大多数漏洞的一般行为,缺乏对重复使用特定行为漏洞的克隆漏洞的精确识别,不适合检测大规模开源软件中的漏洞。因此,当已知某些漏洞时,有必要设计新颖的技术来快速识别大规模现实代码环境中广泛流行的克隆漏洞。
现有专为检测克隆漏洞而设计的方法从已知漏洞中提取富含漏洞信息的词法、句法或语义签名。与这些签名匹配的克隆被认为是潜在的漏洞。这些方法依赖于提取的漏洞特征的准确性。如果提取的特征过于简单或无法精确捕捉漏洞行为,则可能导致误报或漏报。除了考虑漏洞特征之外,添加对补丁信息的考虑对于区分该功能是已修补的漏洞(误报)还是真正的漏洞至关重要。而且,随着开源社区规模的不断增长,需要投入大量的时间来处理大规模代码检测。漏洞出现和发现之间的时间间隔可能会导致漏洞的进一步传播。因此,当前需要一种能够:1)快速检测极大规模克隆漏洞的方法。2) 支持检测存在语法不同但语义相同的更改的漏洞。3)考虑漏洞和补丁之间的差异。
设计与实现
为了解决现有工具的局限性,我们利用污点分析来最大化漏洞和补丁之间的行为差异。为了使较慢的污点分析适用于超大规模漏洞扫描,我们提出了一种多步过滤方法。该方法从简单漏洞特征、词法特征和语法特征三个层面对目标函数进行过滤,使污点分析适用于超大规模的漏洞扫描。如图1所示,我们提出的方法FIRE包括两个阶段:过滤阶段和漏洞识别阶段。过滤阶段通过减少候选函数的数量来提高效率,漏洞识别阶段通过富含语义信息的污点路径来区分漏洞和补丁,从而提高了有效性。
首先介绍FIRE的过滤阶段。图1概述了过滤阶段的三个步骤:布隆过滤器,标记过滤器,AST过滤器。
图1 FIRE的系统架构
布隆过滤器是一种简洁的数据结构,它使用位数组来表示一个集合,并有效地确定一个元素是否属于该集合。它以高空间和时间效率而闻名,并在各种网络相关任务中得到应用。如果我们将克隆漏洞检测抽象为集合包含问题,那么判断一个函数是否存在漏洞就相当于检查它是否属于漏洞集合。为了实现克隆漏洞的过滤,我们提取关键特征来构造特征向量,而不是对函数的整个代码信息进行处理。这些不同的关键特征对应于不同的漏洞类型。例如,缓冲区溢出漏洞与格式化字符串和内存分配函数(例如“malloc”、“alloc”)更相关。未经身份验证的用户输入漏洞与格式化字符串函数(例如“printf”、“sprintf”)更相关。越界写入和越界读取漏洞与“copy”和“sizeof”等敏感API以及指针相关操作有关。我们关注这177个关键特征,初始化一个177维的特征向量,每个函数的特征向量初始化全为零。然后,如果存在某个特征,则将向量中相应位置的值设置为1。此过程为每个函数创建特征向量,输入布隆过滤器中过滤潜在的漏洞函数。
作为第二个过滤阶段,我们考虑提取函数的标记以增加对词汇信息的考虑。在这个阶段,我们解析函数并提取它们的标记集。例如,代码“int a = bc”的标记集合由“int”、“a”、“=”、“b”、“”和“c”组成。然后,我们计算待检查函数的标记集与漏洞函数之间的相似度得分,并保留相似度得分高于阈值的函数以及所有相应的相似漏洞。我们使用简单的相似度计算方法(即Jaccard相似度)来计算token集合之间的相似度,保证了高效率。
在过滤阶段的最后,我们引入补丁函数来进一步计算目标函数、漏洞函数和补丁函数之间的语法相似度。这有助于根据语法相似性过滤候选函数。与之前的工作类似,在进行语法相似性分析之前,我们首先根据两个条件进行行级过滤:1)目标函数必须包含所有补丁中被删除的语句,2)目标函数不得包含补丁中任何添加的语句。然后,我们使用从源代码生成的AST进行相似性比较。具体来说,我们通过计算两个AST之间共享的节点数量来衡量相似度(即 Jaccard 相似度)。我们还考虑了补丁函数的语法信息并同时计算目标函数与漏洞函数和补丁函数的AST之间的相似度。如果与漏洞的相似度更高且超过阈值,我们保留目标函数进行进一步细粒度的语义分析,否则我们丢弃目标函数。
接下来介绍FIRE的漏洞识别阶段。漏洞识别阶段包括签名提取和漏洞检测。在签名提取阶段,我们对目标函数、漏洞函数和补丁函数进行污点分析,以提取污点传播路径。在漏洞检测阶段,计算目标函数的污点路径与漏洞和补丁之间的污点路径的差异部分之间的相似度。
图2 提取污点路径
污点分析是一种用于检测程序漏洞的程序分析技术。污点分析重点关注程序中的敏感数据(例如用户输入),准确追踪数据流以查明潜在的漏洞。污点传播的分析与信息的敏感性密切相关,数据的流动反映了数据的依赖关系,在代码中携带了大量的语义信息。因此,我们使用污点分析来提取签名。图2中的函数包含三个变量:“size”、“result”和“buffer”,其中两个变量(“size”和“buffer”)由两个不同的函数“malloc”和“bar”使用。因此,我们可以提取三个元组,即,和。我们分析每个元组的传播过程,即每个变量在最终传播到函数之前经历了哪些操作。例如,变量“size”出现在“if”语句的条件语句中,然后由“malloc”函数使用。这就完成了变量“size”的第一个污点传播路径(图2右上角的第一条路径),然后,变量“size”通过“malloc”函数的返回值传播到变量“buffer”,并最终被“bar”函数使用。这就完成了变量“size”的第二条污点传播路径,即图 2 中的第三条路径。提取所有污点传播路径后,我们将路径中的每个节点替换为相应的完整代码行。例如,我们使用第4行的语句“if (size <= 0)”来替换图2的第一个路径中的节点“size <= 0”。这些污点路径构成了函数的签名。与提取目标函数的污点路径类似,我们还提取漏洞和补丁函数的污点路径。不过,我们并没有利用所有路径,因为漏洞和补丁功能中的大部分内容都是相似的,只有几行代码不同。因此,我们提取不同的部分,将漏洞特有的路径视为漏洞签名,将补丁特有的路径视为补丁签名。
对于获得的函数签名,以及漏洞和补丁的签名,我们通过比较签名之间的相似度来判断目标函数是否存在漏洞。我们提取所获得的签名中包含的所有路径的向量表示。然后我们分别计算目标函数向量集与漏洞函数和补丁函数向量集之间的相似度。当目标函数与漏洞函数具有更高的相似度时,其被识别为克隆漏洞。
性能测试
为了评估FIRE的实际性能,我们在检测性能和检测速度上评估FIRE。首先,我们分别运行VUDDY、MOVERY和FIRE来检测目标项目中的克隆漏洞。表1展示了这三种方法的有效性,第二列和第三列显示了项目名称和真实实例个数,其余列显示每个工具的测量值。总体来说,FIRE对298个克隆漏洞的检测精度达到90.0%,查全率为77.4%,遗漏了87个漏洞。相比之下,VUDDY和MOVERY仅检测到177个和117个克隆漏洞,查全率分别为46%和30.4%,准确率分别为66.8%和49.6%,均低于FIRE。总体而言,FIRE在检测克隆漏洞方面优于 VUDDY和MOVERY,准确率平均提高了31.8%,查全率平均提高了39.2%。
表1 VUDDY、MOVERY和FIRE的TP、FP、FN、准确率和查全率
此外,我们通过比较FIRE和对比工具的运行时开销来分析系统的可扩展性。我们测量了FIRE、VUDDY和MOVERY在检测十个目标软件项目中的漏洞时的时间开销并记录在图3中,其中x轴根据目标软件中的代码行数从小到大排列,y轴表示以秒为单位的时间开销。总体而言,除了T6(PHP)之外的所有工具的时间开销都随着项目规模的增大而增加。这是因为尽管PHP的代码行数较多,但解析出的函数较少,因此检测速度相对较快。在这三个工具中,VUDDY的检测时间最少,因为它只是从文件中提取函数并执行规范化和抽象操作。由于它不考虑任何语义信息,因此速度更快。相比同时考虑数据流和控制流信息的MOVERY,我们的检测速度更快。这是因为MOVERY需要对函数进行语义分析,通过提取数据流和控制流并以行粒度进行匹配来生成签名。虽然MOVERY也通过比较路径信息的措施来缩小搜索范围,但只能减少软件代码库大约一半的搜索空间。FIRE通过多重过滤方法可以减少99.96%的搜索空间,从而获得更高的效率。另外,当目标程序从小程序变成大程序时,我们的时间开销的增加比较温和。例如,T10(OpenMVG)是十个目标程序中最小的程序,有490,103行代码,T1(FreeBSD)是最大的程序,有15,573,896行代码,是T10程序大小的31.77倍。FIRE检测T1的时间仅比T10长4.22倍。作为对比,MOVERY检测T1的时间比T10长93倍,VUDDY也长45.51倍。这些数据清楚地证明FIRE可以有效减少大型软件的检测时间,并且随着程序规模的增大,这种优势更加明显。即使项目规模达到38.6M代码行,我们仍然可以在不到两个小时的时间内完成检测。这表明FIRE可以扩展到大型软件项目,满足实际应用中的实际需求。
图3 VUDDY、MOVERY和FIRE的时间开销
详细内容请参见
Siyue Feng, Yueming Wu, Wenjie Xue, Sikui Pan, Deqing Zou, Yang Liu, and Hai Jin. FIRE: Combining Multi-Stage Filtering with Taint Analysis for Scalable Recurring Vulnerability Detection. In Proceedings of the 33rd USENIX Security Symposium (USENIX Security’24), August 14–16, 2024, Philadelphia, PA, USA. 18 pages.
https://www.usenix.org/conference/usenixsecurity24/presentation/feng-siyue