← 返回列表

代码分类深度学习模型的鲁棒解释

聚合站 SecWiki技术 作者 穿过丛林 发布 2024年6月13日 09:55 入库 2026-11-18T07:04:14

深度学习已广泛用于源代码分类任务,如代码功能分类、代码作者归属和漏洞检测。然而,深度学习的黑盒性质使得很难解释为什么分类器对给定的样本做出特定的预测。现有的解释方法一方面不鲁棒,另一方面也不能处理分布外的样本。针对该问题,提出了一个为基于深度学习的代码分类器产生鲁棒解释器的新方法Robin。Robin的关键思想是:(1)设计了结合一个解释器和两个逼近器的耦合结构,使用逼近器来减轻分布外样本的影响;(2)使用对抗训练和数据增强来提高解释器的鲁棒性。实验结果表明,与评估的三个现有解释器相比,Robin产生的解释器平均保真度提高了6.11%(基于分类器评估),保真度提高了67.22%(基于逼近器评估),鲁棒性提高了15.87倍。此外,解释器受分布外样本的影响比现有方法LEMNA减少了47.31%。

该成果“Robin: A Novel Method to Produce Robust Interpreters for Deep Learning-Based Code Classifiers”发表在国际会议the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE 2023)上,是实验室在软件安全领域的研究成果。ASE与ICSE、ISSTA和FSE并称为软件工程领域的四大顶级会议,是中国计算机学会CCF推荐的A类会议,会议于2023年9月11日至9月15日在卢森堡举办。

论文链接:https://ieeexplore.ieee.org/document/10298318

代码链接:https://github.com/CGCL-codes/Robin

背景与动机

近年来,许多研究专注于利用深度学习来解决各种源代码分类问题,如代码功能分类、代码作者归属以及漏洞检测。虽然深度神经网络在该领域的准确性令人满意,但缺乏可解释性仍然是一个重大挑战。深度神经网络通常被认为是黑盒,这意味着它们无法解释为什么会做出特定的预测。缺乏可解释性是现实世界采用这些模型的一大障碍,特别是在高安全性的场景中,因为从业者不知道何时应该相信这些模型做出的预测。

现有的源代码分类器的可解释性方法可以分为两类:事前与事后。由于事前方法需要合并到分类器训练阶段,不适用于现有的或给定的分类器,因此本文关注事后解释方法。现有的事后方法存在以下两个问题:(1)对于基于扰动的特征显著性方法,扰动样本可能受到分布外样本的影响;(2)缺乏鲁棒性,这是局部解释方法所固有的。因为局部解释方法独立优化了每个样本的解释,这意味着很可能过度拟合与单个样本相关的噪声。因此,即使对一个样本进行轻微的修改,解释也会发生显著的变化,攻击者可以利用这种敏感性来破坏可解释性。现有方法存在的问题促使我们研究更好的方法来解释基于深度学习的代码分类器预测。

设计与实现

为了解决上述问题,我们提出了一个为基于深度学习的代码分类器产生鲁棒解释器的新方法Robin。Robin的基本思想是:(1)引入解释器-逼近器的耦合结构来解决上述分布外问题。具体来说,一个解释器用于识别对准确预测有用的重要特征,一个逼近器使用由解释器识别的重要特征进行预测,另一个逼近器使用非重要特征进行预测。为了提高解释器的保真度,同时训练两个逼近器,使得重要特征包含对预测最有用的信息,而非重要特征包含对预测最无用的信息。(2)利用对抗训练和mixup的思想来扩充数据集,解决解释缺乏鲁棒性的问题。其中,对抗训练在样本空间中生成扰动样本,mixup在特征空间生成扰动样本。使用扩充后的数据集对生成的解释器进行鲁棒性增强。

Robin的训练过程如图1所示,包括三个步骤:生成扰动样本、生成基础解释器和优化基础解释器。

图1 Robin训练过程

1

生成扰动样本

在生成扰动样本的过程中,对每个训练样本,识别与代码布局、词汇、语法和语义相关的编码风格属性,随机挑选若干属性,将其中每一个的值转换为其他语义等价的编码风格属性中的任何一个。在获得的候选扰动样本集合中,过滤预测标签与原始预测标签不同的扰动样本,获得用于增强解释器鲁棒性的扰动样本集合。

图2 生成基础解释器流程

2

生成基础解释器

生成基础解释器的流程如图2所示。解释器孪生神经网络包括两个具有相同结构并共享权重的解释器,其网络结构取决于待解释的代码分类器的结构,两个解释器分别用于识别原始样本和扰动样本的重要特征。两个逼近器与待解释的代码分类器具有相同的网络结构,分别使用重要特征和非重要特征来预测标签。逼近器可以视为分类器分别在重要和不重要特征的数据集上的微调版本。生成基础解释器的训练过程包含两个步骤:1)训练两个逼近器,同时最小化Ls和Lu。当训练逼近器时,仅更新逼近器的模型参数。训练目标是最小化近似器As和Au的损失:

2)训练解释器孪生网络,同时最小化Ls和Ldiff,最大化Lu。训练解释器孪生网络时,只更新解释器的模型参数。训练目标是最小化As的损失和两个解释器之间的输出差异,最大化Au的损失:

其中,Ldiff表示由解释器识别的原始样本重要特征和扰动样本重要特征之间的Jaccard距离:

在训练过程中,两个逼近器和解释器孪生网络迭代训练,直到解释器和逼近器都收敛。

3

优化基础解释器

在优化基础解释器的过程中,使用mixup进行数据扩充来优化解释器。首先生成虚拟样本。对于训练集中的每个代码样本,随机选择扰动样本,通过对原始样本和扰动样本进行线性插值生成虚拟样本,对原始样本的标签和扰动样本的标签进行线性插值生成虚拟样本的标签。然后,根据生成的虚拟样本更新解释器的参数。由于解释器的输出是代码示例中的重要特征,而不是分类标签,因此不可能单独训练解释器进行增强。因此,我们使用逼近器与解释器进行联合优化。在这种情况下,整个模型的输入是代码样本,输出是代码样本的标签,可以使用生成的虚拟样本直接进行训练和优化。在优化过程中,解释器的参数被更新,同时保持逼近器的参数不变。

实验结果

实验从保真度、对抗扰动的鲁棒性和处理分布外样本的有效性三方面来评估Robin生成的解释器。同时,Robin产生的解释器也在多个场景下与代表性解释方法进行对比,验证了Robin生成具有高保真度、高鲁棒性、减轻由扰动引起的分布外样本影响的解释器的有效性和先进性。

为了验证Robin在保真度上的有效性,首先训练了两个代码分类器:代码作者归属DL-CAIS和代码功能分类TBCNN。实验使用FS-M、FS-A指标来比较Robin在两个代码分类器上与其他解释方法的保真度。实验结果如表1所示。由于分类器更复杂的决策边界,LIME和LEMNA在代码多分类任务中表现不佳;Robin在FS-M和FS-A度量方面明显优于其他解释器(除了Zou等人的方法在DL-CAIS上的FS-M)。Robin以FS-M的减少为代价实现了高FS-A。然而,Zou等人的方法对扰动鲁棒性远不如Robin。与其他解释器相比,Robin平均提升了6.11%的FS-M和67.22%的FS-A,展示出了Robin的高保真度。

表1 不同解释器的保真度评估结果

对于解释器的时间成本,表2显示了每个代码样本的平均解释时间。Robin在时间成本方面明显优于其他三个解释器。虽然基线耗时更短,但它的保真度和鲁棒性比Robin低得多。其他解释器比Robin的时间成本高得多,因为它们是针对单个代码样本独立优化的,并且每次解释代码示例时都需要新的扰动和分析,而Robin直接构建适用于所有代码样本的解释器,并通过简单地将代码样本输入解释器模型来自动识别重要特征。

表2 不同解释器对每个代码样本的平均解释时间

为了评估Robin对扰动的鲁棒性,将测试集中的代码样本通过语义等价代码转换生成扰动样本,并过滤改变分类器预测标签的扰动样本,使用这些扰动样本来测试解释器的鲁棒性。表3总结了不同解释器的鲁棒性评估结果。LIME和LEMNA对代码分类器的鲁棒性非常差,仅略高于基线;Robin确定的原始样本的重要特征和扰动样本的重要特征之间的平均Jaccard相似性比评估的三个解释器平均高15.87倍。这表明Robin对语义等价的代码转换不敏感,并且对扰动具有更高的鲁棒性。

表3 不同解释器的鲁棒性评估结果

为了证明Robin在对抗分布外样本时的有效性,根据所有特征的数量,对DL-CAIS进行移除q(q∈Q={100,200,300,400,500,600,700})个非重要特征的实验,对TBCNN进行移除q(q∈Q={25,50,75,100,125,150,175})个非重要特征的实验。表4展示出了去除q个非重要特征的分类器与重新训练的分类器的准确率差异。虽然基线方法在DL-CAIS上优于Robin,但比Robin具有更低的保真度和鲁棒性。相比之下,LEMNA实现的精度的平均差异明显大于Robin和基线方法,因为LEMNA依赖于分类器精度的变化来计算特征的重要性。Robin与LEMNA相比,受分布外样本的影响平均减少了47.31%。Robin受分布外样本的影响最小,这归因于引入重新训练的分类器的预测精度来评估特征的重要性。

表4 去除q个非重要特征的分类器与重新训练的分类器的准确率差异

总结

我们提出了Robin方法为基于深度学习的代码分类器生成鲁棒的解释。与现有的使用对抗训练来实现分类器(而不是解释器)的鲁棒性提升的思想不同,Robin背后的关键思想是使用逼近器来减轻分布外样本的影响,以及使用对抗训练和数据增强来提高解释器的鲁棒性。实验结果表明,Robin实现了高保真度和高鲁棒性,同时减轻了由扰动引起的分布外样本的影响。Robin的局限性为未来的研究提供了有趣的开放性问题。

详细内容请参见:

Zhen Li, Ruqian Zhang, Deqing Zou, Ning Wang, Yating Li, Shouhuai Xu, Chen Chen, Hai Jin, "Robin: A Novel Method to Produce Robust Interpreters for Deep Learning-based Code Classifiers", In Proceedings of the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE 2023), September 11-15, 2023, Kirchberg, Luxembourg, pp. 27-39.

https://ieeexplore.ieee.org/document/10298318

原文链接:https://mp.weixin.qq.com/s/KITfS6IU2kyblVCvAfYuDg