← 返回列表

增强源代码模型鲁棒性的因果学习框架

聚合站 SecWiki技术 作者 穿过丛林 发布 2025年7月10日 09:55 入库 2026-11-18T04:05:39

深度学习模型已广泛应用于多个软件工程任务,如代码缺陷检测、代码功能分类、代码转换和代码修复。然而,研究表明这些模型容易受到对抗攻击的影响,攻击成功率可高达90%以上。这种脆弱性主要源于模型学习了虚假特征,即与模型预测有统计关联但没有因果关系的特征。在本文中,我们提出了一种新颖的因果学习框架CausalCode,利用因果推理原理来解决这一问题。CausalCode的核心是:(i)使用因果数据增强来生成干预样本,打破虚假关联;(ii)利用正则化来学习不变表示,使模型倾向于学习因果特征而非虚假特征。实验结果表明,CausalCode在两个常用模型(CodeBERT和GraphCodeBERT)上的四个软件工程任务中,均优于现有最先进方法,显著提高了模型的鲁棒性。

该成果"A Causal Learning Framework to Enhance the Robustness of Source Code Models"发表在国际会议2025 ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (FSE 2025)上,获得了ACM SIGSOFT杰出论文奖,是实验室在软件工程智能化方向的研究成果。FSE与ICSE、ASE和ISSTA并称软件工程领域四大顶级会议,是中国计算机学会CCF推荐的A类会议。

论文链接:https://doi.org/10.1145/3729387

代码链接:https://github.com/CGCL-codes/CausalCode

背景与动机

近年来,深度学习模型在软件工程领域取得了令人瞩目的成就。然而,这些模型面临着一个关键挑战:它们极易受到对抗攻击的影响。研究表明,通过对源代码进行微小的语义保留修改(如变量重命名或插入无用代码),攻击者可以轻易地欺骗这些模型,将其准确率从90%以上降低到10%甚至更低。

这种脆弱性主要源于深度学习模型在学习代码时的一个根本性局限:它们没有捕获决定程序行为的语义属性与模型预测之间的真正因果关系,而是经常学习到表层语法模式与模型预测之间的虚假相关性。例如,在软件漏洞检测中,模型可能错误地将特定的变量命名模式与漏洞关联起来,而不是捕获真正决定代码是否存在漏洞的不安全API使用模式或不当错误处理机制。

现有的解决方案主要有两种方法:对抗训练和对比学习。然而,这些方法存在三个关键局限性:

(i)它们只扩展训练数据的分布而非消除虚假相关来解决问题;

(ii)它们的扰动策略缺乏理论基础来区分因果特征和虚假特征;

(iii)它们的效果有限,研究表明即使经过对抗训练强化的模型仍有超过70%的攻击成功率。

设计与实现

针对当前深度学习代码模型容易受到对抗攻击的问题,我们提出了CausalCode框架,其核心思想是利用因果学习来增强模型的鲁棒性。CausalCode通过消除虚假特征与模型预测之间的相关性,显著提高了模型在面对对抗攻击时的表现。

CausalCode框架主要包含两个协同工作的核心阶段:

基于因果干预的数据增强:通过生成干预样本,主动打破代码中观察到的虚假特征与模型预测之间的非因果联系。

学习不变表示:训练模型,使其学习到的代码表示对那些与核心语义无关的、易受攻击的虚假特征不敏感,从而更关注决定程序行为的因果特征。

图1 CausalCode框架

在代码分析任务的上下文中,我们主要关注代码的真实语义、风格特征以及它们之间的关系。在许多实际场景中,代码的语义和风格特征并非相互独立。可能存在一些隐藏的混淆因子,它们同时影响开发者选择的编码语义和编码风格。这种共同原因会在语义和风格之间引入一条"后门路径",导致它们之间产生统计学上的虚假相关。如果模型在学习过程中不加区分地利用了这些虚假特征,那么模型就容易受到对抗攻击的影响。接下来,我们将详细阐述避免学习虚假特征的两个关键组件:

1

因果数据增强:打破虚假关联

CausalCode的第一个核心组件是因果数据增强。其目的是通过生成特定的"干预"样本来主动打破代码中观察到的虚假特征与模型预测之间的非因果联系。在CausalCode中,我们通过对代码的风格特征进行语义保留的变换来模拟这种干预,目标是使得干预后的风格特征与其原始的混淆原因以及代码语义解耦。

为了实现这种干预,CausalCode采用了一种迭代式的、基于梯度引导的增强策略来生成干预样本。该策略旨在生成那些与原始样本语义相同但在风格上不同,并且能够有效挑战当前模型、暴露其对虚假特征依赖的样本。其主要步骤如下:

识别干预点:首先,对给定的原始代码样本,通过静态分析识别出所有可以进行修改而不改变代码核心语义的潜在干预点。

生成候选干预样本集合:对于每一个识别出的干预点,应用一组预定义的、保证语义等价的代码转换规则,从而生成一批候选的干预样本。

选择高质量干预样本:通过评估候选样本在模型嵌入空间中与原始样本的差异方向是否与模型损失函数关于原始样本嵌入的梯度方向一致来选择样本。

迭代生成与随机性注入:为了模拟更复杂的、多步骤的风格扰动,并增加生成样本的多样性,CausalCode从选出的候选样本中随机选择一个作为当前迭代生成的干预样本。整个迭代过程会执行一个随机确定的次数。

通过上述过程,对于训练集中的每一个原始样本,我们都生成了一个或多个语义相同但风格各异的干预样本,构成新的数据集。

2

学习不变表示:专注因果特征

在通过因果数据增强获得了原始样本及其对应的、具有不同风格特征的干预副本之后,CausalCode的第二个核心组件是训练模型学习对这些风格变化不敏感的不变表示。其核心思想是:如果一个代码表示真正捕捉了决定代码行为的因果特征,那么无论其非因果的风格特征如何变化,这个表示都应该保持稳定。

为了在实际模型训练中逼近这一理想目标,CausalCode引入了一个特定的正则化项到总的损失函数中。这个正则化项旨在鼓励模型将那些具有相同核心语义的输入映射到表示空间中的非常邻近的点。

CausalCode的总体损失函数定义为两个部分的加权和:

LCausalCode=LTask+λ⋅LCausal

其中:

LTask是标准的任务特定损失函数,确保模型能够学习完成其预定的软件工程任务。

LCausal是因果正则化项,也称为不变性损失。它的目标是最小化在同一语义簇内任意两个样本的表示之间的距离。

λ是一个超参数,用于平衡任务学习的准确性和表示不变性的强度之间的权衡。

实验结果

我们在两个广泛使用的预训练模型(CodeBERT和GraphCodeBERT)上进行了全面实验,涉及四个软件工程任务:代码缺陷检测、代码功能分类、代码翻译和代码修复。为验证方法的有效性,我们还在大型语言模型StarCoder2上进行了补充实验。

在进行模型鲁棒性评估时,表1展示了CausalCode与其他鲁棒性增强方法在面对对抗攻击时的比较结果。对于函数分类任务,CausalCode将攻击成功率(ASR)从平均39.41%降低到平均9.25%,效果显著优于对抗训练方法CARROT-T(降低到平均28.82%)、ALERT-T(降低到平均25.05%)和对比学习方法ContraBERT(降低到平均35.13%)。对于缺陷检测任务,CausalCode同样表现最佳,将ASR从74.80%降低到平均24.92%。

表1 不同方法在面对对抗攻击时的攻击成功率(ASR)比较

为了进行代码表示空间可视化,我们通过t-SNE将模型学习的代码表示降维到二维空间进行可视化,以验证CausalCode增强模型稳健性的能力。如图2所示,CausalCode增强的模型使同类样本紧密聚集在一起,并在不同类之间形成清晰分隔,明显优于其他方法。

图2 不同模型学习的代码表示空间可视化

如表2所示,通过计算原始样本与其对抗样本在特征空间中的相似度,我们发现CausalCode达到了93.32%的top-1重叠率,比其他方法的平均值高出45.74%。这表明CausalCode能够有效学习不随扰动而改变的不变表示。

表2 对抗样本在特征空间中的相似度

通过CausalCode消融实验,我们分析了CausalCode中三个关键元素对模型稳健性的贡献:干预样本生成策略、正则化策略和数据集大小。表3实验结果表明:

(i) CausalCode的干预样本生成策略比随机扰动和对抗方法更有效,平均降低ASR 38.18%。

(ii) 因果正则化器对模型鲁棒性至关重要,移除它会导致ASR增加21.32%。

(iii) 增加干预样本数量可以进一步提高模型的准确率和鲁棒性。

表3 消融实验结果

在评估代码生成任务的性能时,发现CausalCode不仅在分类任务上表现出色,在代码翻译和代码修复等生成任务中也取得了显著成效。对于代码翻译任务,CausalCode在CodeBLEU指标上实现了平均1.18%的改进,同时将对抗攻击造成的性能下降(Δ_drop)减少了1.63%。对于代码修复任务,性能提升为0.43%,Δ_drop降低了0.76%。

最后,我们进行了大语言模型实验,进一步在大型语言模型StarCoder2-3B上评估了CausalCode的有效性。结果表明,大语言模型同样容易受到对抗攻击的影响。在缺陷检测任务中,StarCoder2-3B面对最强攻击(CARROT-I)时,准确率从77.60%下降到3.80%。应用CausalCode后,性能下降显著减少。

总 结

我们提出了CausalCode,这是一个基于因果学习的框架,用于增强深度学习源代码模型的鲁棒性。CausalCode的核心思想是:(i)使用因果数据增强来生成干预样本,打破虚假关联;(ii)利用正则化训练来学习不变表示,使模型专注于因果特征而非虚假特征。实验结果表明,CausalCode在提高模型性能和鲁棒性方面显著优于现有方法,为开发更可靠的软件工程智能化技术提供了新的解决方案。

详细内容请参见

Junyao Ye, Zhen Li, Xi Tang, Deqing Zou, Shouhuai Xu, Weizhong Qiang, Hai Jin, "A Causal Learning Framework to Enhance the Robustness of Source Code Models", In Proceedings of the 2025 ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (FSE), 2025.

https://doi.org/10.1145/3729387

原文链接:https://mp.weixin.qq.com/s/xuBvTgFQgJL_QXRYIQpsBw?scene=1