← 返回列表

实时缺陷预测工具调研

聚合站 SecWiki技术 作者 拨开云雾 发布 2022年7月25日 16:56 入库 2026-11-18T14:03:08

这是一篇来自International Symposium on Software Testing and Analysis 2021的论文,题目为:“Deep just-in-time defect prediction: how far are we?”。

文章的代码和数据已开源:https://github.com/ZZR0/ISSTA21-JIT-DP。

【Just-in-Time缺陷预测】:识别存在缺陷的补丁代码。

缺陷预测旨在以最少的人工干预自动识别潜在的缺陷代码,与传统的文件级或模块级缺陷预测方法相比,实时(Just-in-Time,JIT)缺陷预测关注的是程序的变化而不是整个程序。CC2Vec是目前最为先进的JIT缺陷预测工具,本文作者对CC2Vec工具的有效性和局限性进行了研究,将其与传统JIT缺陷预测模型进行对比,发现CC2Vec不能持续优于DeepJIT;同时,CC2Vec和DeepJIT也不能持续优于传统JIT缺陷预测模型。在研究过程中,作者发现“add-line-number”特征在JIT缺陷预测过程中表现出色。进一步,作者构建了一个简单的、基于逻辑回归的JIT缺陷预测模型,采用“add-line-number”特征,该模型能够胜过CC2Vec和DeepJIT,同时训练和测试过程也更快。

首先介绍下CC2Vec模型。CC2Vec学习代码添加和删除的向量表示,然后将其与DeepJIT方法集成,构建用于JIT缺陷预测的深度神经网络。更具体地说,CC2Vec首先应用HAN来传递代码添加和删除的分布式向量表示。同时,利用DeepJIT方法,通过CNN获得两个表示提交消息和整体代码更改的嵌入向量。接着,将CC2Vec和DeepJIT的结果向量连接起来,并输入到一个全连接的网络中,以进行最终的缺陷预测。以两个总共有37k次提交的开源项目(有3.6k个缺陷)为例,就AUC分数而言,CC2Vec可以比DeepJIT高出7%以上。结构如图1所示。

Fig. 1 CC2Vec + DeepJIT模型

文章构建的测试数据集结构如图2所示,使用SZZ算法识别有缺陷的提交。具体流程如下:

分析提交消息来识别用于修复缺陷的提交;

使用Diff命令定位修复缺陷的提交更改的行;

使用Blame命令检测导致修改的行成为有缺陷的提交的提交。

将未被SZZ算法标记的提交作为正例;

基于文章参考文献22和31的流程过滤:空白提交、注释提交、合并提交和其他可疑的提交。

Fig. 2 测试数据集结构

作者从对CC2Vec提出了以下4个研究问题:

为什么CC2Vec和DeepJIT有效?

CC2Vec和DeepJIT在其他数据集上的效果如何?

传统的缺陷预测特性在JIT缺陷预测中表现如何?

没有深度学习的简单化方法在JIT缺陷预测上能胜过DeepJIT/CC2Vec吗?

实验结果

For Q1:

图3是作者对DeepJIT和CC2Vec模型进行复现后,在QT和Openstack数据集下的测试结果。实验结果表明,发现1:利用抽象的代码更改的DeepJIT相比利用详细代码更改语义的DeepJIT性能更优。(有关不同DeepJIT版本的内容,详见文章)

Fig. 3 DeepJIT和CC2Vec模型复现实验结果

针对提交消息对模型性能的影响,作者使用Grad-CAM算法对CNN模型的最后一层特征图进行加权和求和,以传递每个单词对模型输出的贡献,进而分析提交消息中的哪些单词会显著影响模型的预测结果。图4 a是DeepJIT模型判断出有80.39%的可能性是缺陷的例子,在这个例子中,使用Grad-CAM算法计算每个单词对预测结果的贡献,并在颜色下标记它们,其中颜色越深表示关联单词的贡献越大。可以看出,“Task-number”和“QTBUG-27968”的贡献最大。先前的研究表明,修复一个bug或者添加一个新特性很可能会导致一个bug,因此,作者认为:DeepJIT认为“Task-number”和“QTBUG-27968”是有用的。

Fig. 4 单词贡献度示例

然而,在进一步的研究中,作者发现,发现2:DeepJIT和CC2Vec可以从提交消息中提取代码更改的意图,以帮助在某些情况下进行缺陷预测,但整体有效性仍然会受到许多其他单词的影响。

为分析CC2Vec采用的每个特征输入的影响,作者选择一次只采用/移除一个DeepJIT/CC2Vec输入特性来训练深度JIT模型,实验结果如图5所示。发现3:DeepJIT提交消息/代码更改向量表示比CC2Vec代码更改向量表示对深度JIT缺陷预测贡献更大。(那融入CC2Vec后“疗效”的轻微提升是为啥呢?是不是间接说明CC2Vec那篇文章的意义不大呢?哈哈,手动狗头)

Fig. 5 特征对模型的影响实验结果

For Q2:

图6是4种缺陷预测模型在作者采集的数据集上的实验结果。可以看出,CC2Vec对于真实世界的JIT缺陷预测效果有限。发现4:由CC2Vec提取的代码更改的向量表示在推进JIT缺陷预测方面没有太大贡献。(CC2Vec无话可说,表示很疲惫)

Fig. 6 4种缺陷预测模型在扩展数据集上的实验结果

发现5:DeepJIT和CC2Vec并不能在全所项目上都打赢传统缺陷预测模型。

Fig. 7 FDR和ACC相对于Recall的变化情况

发现6:简单地通过包括更多历史数据来扩展训练集并不总是能够提高基于深度学习的方法和传统方法的预测精度。过时的历史数据可能不符合最近数据的缺陷模式,因此有效性有限。

Fig. 8 不同数据集数量对ACC的影响

在跨项目缺陷预测的场景中(使用其他项目训练模型,用于预测目标项目,跨项目缺陷预测的目的是:解决预测项目数据不足的问题),基于深度学习的JIT缺陷预测模型也不能总是打赢传统模型。

发现7:JIT缺陷预测方法通常在项目内预测比跨项目预测表现更好。此外,深度JIT缺陷预测方法在跨项目预测中并不比传统方法更健壮。

For Q3:

从图9的实验结果中可以发现,仅仅使用一个单一的特征就可以为JIT缺陷预测任务建立一个性能良好的分类器。发现8:仅使用lai特性的项目内和跨项目JIT缺陷预测可以实现高预测精度和可忽略的性能差异。

Fig. 9 不同特征的有效性实验

For Q4:

仅使用“add-line-number”特征训练的逻辑回归模型与其他模型的性能对比如图10所示。可以观察到,LApredict不仅可以保留其相对于DeepJIT和CC2Vec的性能优势,而且还可以进一步扩大其相对于项目内预测的优势。作者认为,出现这种情况的原因可能是:虽然使用跨项目数据可能会给基于深度学习的方法带来额外的噪声,从而与项目内预测相比降低了预测精度,但是由于WP和CP的训练数据都反映了相同的规则--“add-line-number”越大,存在缺陷的概率越高。LApredict模型总是会预测具有较大“add-line-number”特征的提交为更容易存在缺陷的提交。此外,AUC分数仅基于预测结果的相对排名来计算。因此,即使在WP/CP中使用不同的训练数据,相同的测试数据将总是产生相同的AUC。

Fig. 10 各模型检测性能对比

发现9:LApredict模型在效率和实效方面都优于现有模型。

Fig. 11 各模型时间性能对比

其实,对于作者在文章中提出的LApredict模型,我不是特别能理解。正如作者所说:“add-line-number”越大,存在缺陷的概率越高。LApredict模型总是会预测具有较大“add-line-number”特征的提交为更容易存在缺陷的提交。但是,并不能只通过“add-line-number”特征就判定提交可能有缺陷吧?只能说代码更改的函数越多,存在缺陷的风险就越大,但这仅仅只是一个维度。反正我确实没理解为啥LApredict模型会有很好的性能。

原文链接:https://mp.weixin.qq.com/s/OkHvy5PV5bq6hVzqxoJx5g