2022国庆限定!
分享一篇来自SIGIR '21的文章,题目为:"Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations"。
大量提取语义等同/不等同的代码片段的模式是代码检索的关键。然而,标记代码片段需要付出巨大的努力,而且是极具挑战性的。先前的研究工作中,有研究者尝试使用启发式的方法自动化标记代码片段。然而,这种方法会增加很多额外的开销,也会引入很多噪声。
为此,本文作者开发了一个基于对比学习的神经网络模型Corder。Corder本质上是一个pretext任务,能够使得神经网络的训练不需要不精确的启发式方法来识别语义等同的程序。本文中的pretext任务称作为实例判别,目标是将语义上等同的代码片段和语义上不等同的代码片段区分开来。根据不同的代码片断在向量空间中应该如何接近的知识来训练神经模型,这取决于它们在语义上的等同程度。
图1是同一代码片段的不同结构但语义等价的代码片段示意。Corder模型的目标是:使用语义等价的代码片段来训练神经网络,确保它们在向量空间中是接近的。
Fig. 1 语义等价的代码片段示意
模型使用对比学习的原因在于:
对比学习的目标是同时最大化同一原始片段的不同转换片段之间的一致性,最小化不同片段的转换片段之间的一致性。使用对比性学习更新神经网络的参数,会使语义等同的片段的表征相互接近,而非相似的片段的表征则相距甚远。
Corder模型完成pretext任务后,有两种使用方式:
(1)作为代码编码器,用于产生源代码的表示;
(2)通过少量的标记数据进行微调,为下游任务(如:代码摘要)提供支撑。
方法框架如图2所示,分为:代码转换模块、神经网络编码器、对比损失函数。代码转换模块用于从给定代码生成两个代码片段和。神经网络编码器用于将代码中间表示(如:AST)转换成向量。
Fig. 2 方法框架
模型的训练过程如算法1所示:
在一个mini-batch N中,每一个代码片段会被用两个随机选择的操作进行转换,进而得到2N个转换后的代码片段。
代码片段的两个转换片段和被送入神经网络编码器,得到相应的表示向量和。
使用Noise Contrastive Loss作为损失函数。
Algo. 1 模型训练过程
这里着重介绍下程序转换操作:
程序转换操作的目标是在不改变程序语义的前提下产生一个程序的多个版本。本文采用的转换方式为:
变量重命名:从训练集中随机抽取一组词以进行变量名替换。目标是改变AST的文本信息。
添加死代码:遍历AST,随机选择一个块并向其中插入死代码。目标是增加程序的多样性。
语句互换:将一个基本块中互不相干的两条语句互换。这里需要进行数据依赖分析。
循环交换:如将for替换成while。
switch转if:将switch块转换成if块。
作者在文章中解释了Corder模型在下游任务中的应用,如图3所示。分为:code-to-code retrieval,text-to-code retrieval和code summarization。
Fig. 3 Corder模型在下游任务中的应用
前面提到,Corder的两种用途分别是:(1)用作代码编码器为下游任务提供代码向量,(2)通过少量的标记数据进行微调,为下游任务提供支撑。接下来将具体解释这两种用途。
(1)用作代码编码器为下游任务提供代码向量
这里涉及的应用场景是code-to-code retrieval。如图4所示,通过pretext任务获取预训练模型作为代码编码器,用于将源代码转换成向量表示;然后基于该向量完成检索任务。具体来说:假设有一个代码库,首先使用预训练的代码编码器将整个代码库映射为向量,接着将目标代码(查询)也映射为向量,通过在向量空间中寻找k个最相似的代码作为检索候选项。
(2)少量的标记数据进行微调,为下游任务提供支撑
pretext任务通过大量未标记数据训练以获得预训练模型,接着对其进行微调。微调的好处是:(1)加速模型的训练,因为不需要随机初始化权重;(2)提高下游任务的通用性,即使只有少量的有标记数据。如图4所示,代码编码器被用作预训练模型,并在下游任务中进行微调。这里涉及text-to-code retrieval和code summarization任务。
text-to-code retrieval任务
任务的目标是给定一个自然语言作为查询,目标是从代码集合中找到语义上最相关的代码片段。为实现该任务,需要建立基于双塔结构的神经网络,用于同时处理代码和文本。其中,用于处理代码的神经网络使用已经预训练的代码编码器对其进行初始化,而用于处理文本的神经网络则是随机初始化。
code summarization任务
任务的目标是为代码预测一个简明扼要的描述以概括其功能。这是一个翻译任务,目的是将源代码片段翻译成一串文本。因此,需要建立encoder-decoder结构。预训练的代码编码器用于对encoder进行初始化。
在实验部分,作者对3个任务分别进行了评估。数据集使用的是JavaSmall和JavaMed。使用ScrML将源代码片段转换成AST。对于code-to-code retrieval任务的评估,使用OJ和BigCloneBench数据集;对于text-to-code retrieval和code summarization任务的评估,使用DeepCS数据集。