← 返回列表

ACM CSUR'24:基于深度学习的代码智能综述

聚合站 SecWiki技术 作者 穿过丛林 发布 2024年6月3日 09:55 入库 2026-11-18T07:12:06

代码智能利用机器学习技术从大量代码语料中提取知识,旨在开发智能工具以提高计算机编程的质量和生产力。目前,已经有一个蓬勃发展的研究社区专注于代码智能,其研究方向涵盖软件工程、机器学习、数据挖掘、自然语言处理和编程语言。在本文中,我们从代码表示学习、深度学习技术和应用任务等方面,对代码智能的深度学习进行了全面的文献综述。特别是,我们在代码表示学习的基础上检查了现有的代码智能模型,并提供了一个全面的概述,以增强对当前代码智能学科发展状态的理解。最后,我们还指出了未来研究的几个挑战和有前景的方向。

该成果“Deep Learning for Code Intelligence: Survey, Benchmark and Toolkit”,已被期刊 ACM Computing Surveys (CSUR) 录用。该期刊是美国计算机学会的旗舰期刊,也是计算机和信息科学领域的标志性期刊,2022年其影响因子为16.6。

论文链接:https://dl.acm.org/doi/10.1145/3664597

背景与动机

软件正在改变世界。随着人工智能(AI)的进步,是时候扩展这一格言了:软件已经改变了世界,而AI正在改变软件。由于软件主要由代码组成,我们将代码智能这一新兴概念定义为应用AI技术从大规模代码库中提取知识,旨在开发智能工具以提高计算机编程的质量和生产力。这一概念得益于不断扩展的源代码资源库,通常被称为“海量代码”,这些代码从GitHub和StackOverflow等平台收集。实现代码智能需要在软件工程、机器学习、自然语言处理(NLP)、编程语言和安全领域的协作研究。在本文中,我们通过代码表示学习、深度学习方法及其应用的视角来审视代码智能。

核心贡献

我们对代码智能深度学习进行了全面综述。具体而言,我们从各种顶级期刊和arXiv收集了276篇论文,涵盖了软件工程、人工智能、NLP、编程语言和安全等多个领域。

我们对4类领先模型、4类深度学习方法、5类代码表示方法,和10个不同代码任务进行了分类归纳,和系统性文献回顾,提供了代码智能领域的全面概述。

我们指出了未来在代码智能领域具有挑战和潜在研究价值的七个关键研究方向,为学术界和工业界的研究者提供了重要的参考。

研究框架

本文从代码表示学习的角度总结了现有的深度学习代码智能方法。如图1所示,研究人员首先提取描述代码语义的特征,然后通过各种神经网络将这些特征编码为分布式向量,作为不同下游应用的基础。下游应用分为三类:(1)基于分类的任务,如代码分类、漏洞检测和类型推断,使用分类器将代码嵌入映射到标签。(2)基于相似度的任务,如代码搜索和代码克隆检测,采用双编码器将代码和查询编码为嵌入向量,并通过约束来规范它们之间的相似性。(3)基于生成的任务,如代码补全、代码摘要、程序翻译、程序合成和程序修复,目标是从代码片段生成源代码或自然语言描述。这些任务通常遵循编码器-解码器范式。此外,我们将学习范式分为监督学习、无监督学习、自监督学习和强化学习。

图1. 基于代码表示学习的代码智能任务

文献回顾

代码智能深度学习研究的分类

代码智能深度学习研究的分类分为三个不同方面:代码特征、深度学习技术和应用。

(1)代码特征。代码表示是基于深度学习的代码智能的基石。我们根据当前方法所利用的输入代码特征进行分类,包括代码标记、中间表示(IRs)、应用程序接口(APIs)、抽象语法树(ASTs)和代码图(如控制流和数据流图)。

(2)深度学习方法。在深度学习领域,我们首先探索了一系列神经网络架构,即RNNs、CNNs、Transformers和GNNs。随后,我们考察了用于建模源代码的各种学习范式,即监督学习、无监督学习、自监督学习和强化学习。

(3)应用。我们研究了基于代码表示和深度学习技术的多个下游应用,包括代码分类、漏洞检测和错误发现、类型推断、代码搜索、代码克隆检测、代码补全、代码摘要、程序翻译、程序合成和程序修复。

代码特征

为了有效地表示源代码,第一步是确定要捕捉的方面。各种研究提出了从多个角度提取代码特征,如代码标记、中间表示(IRs)、抽象语法树(ASTs)和不同形式的代码图。图2全面展示了一个C代码片段及其相关的代码标记、IR、AST、控制流图、数据流图、代码属性图和基于IR的流图。

图2 一个详细的C代码片段及其对应的代码标记、IR、AST和基于IR的流图。

代码词素:代码词素通过函数名、关键字和变量标识符等组成,能够有效表示程序语义。分词可以在字符级、单词级和子词级进行。Cummins等[1]引入了字符级LSTM网络来解决词汇外问题,但字符级分词会增加序列长度,可能导致理解困难。相比之下,Byte Pair Encoding (BPE)等子词级分词技术可以显著减少词汇量[2]。

应用程序编程接口:分析API序列的方法包括API使用模式挖掘和API推荐。Gu等[3]提出了DeepAPI,通过序列到序列学习从自然语言描述生成API序列。Wei等[4]提出了一种对比学习方法来改进自然语言查询和API序列的语义表示。

抽象语法树:AST是代码的树状结构表示,捕获程序的词法和句法结构。Mou等[5]提出了基于树结构的CNN用于代码分类任务。Zhang等[6]将AST分割成基于句子的子树,用双向循环网络表示它们,以便更好地处理AST。

中间表示:IR是一种独立于编程语言和机器架构的结构,通常用于编译器中。Ben-Nun等[7]提出了inst2vec,通过LLVM-IR表示程序,并采用skip-gram模型表示指令。ProGraML是由Cummins等[8]提出的基于图的代码表示方法,可以用于程序优化和分析。

代码图:代码图如控制流图(CFG)和数据流图(DFG)可以表示代码的结构信息。Allamanis等[9]将数据流融入AST形成代码图,并开发了Gated Graph Neural Network (GGNN)来学习数据依赖关系。ProGraML将CFG、DFG和调用图结合,提供了统一的图表示[8]。

深度学习方法

深度学习方法在代码智能中的应用可以分为四类学习范式:监督学习、无监督学习、自监督学习和强化学习。

神经网络:代码可以被视为序列文本,直接应用自然语言处理技术来表示它。常用的神经网络包括循环神经网络(RNNs)和卷积神经网络(CNNs),用于捕捉代码的顺序结构。Allamanis等[10]使用CNN来捕获代码的层次结构。此外,为了表示代码的语义结构(如CFG和DFG),引入了图神经网络(GNNs),如Allamanis等[11]提出的使用数据流信息的GNN。

监督学习:监督学习通过输入输出对的训练数据来学习映射函数,是深度学习中广泛使用的范式。当前代码智能的深度学习方法主要依赖于监督学习,例如用于代码分类[5]、漏洞检测[12]、代码补全[13]和代码总结[10]。

无监督学习:无监督学习旨在从无标签的数据集中发现模式。例如,TransCoder[14]通过无监督机器翻译训练了一个完全无监督的源代码到源代码的翻译器。无监督学习为代码智能带来了挑战,需要进一步研究。

自监督学习:自监督学习结合了监督学习和无监督学习的特点,不依赖于标注数据,而是从数据本身推导出监督信号。例如,CodeBERT[15]是一种预训练模型,处理源代码和自然语言描述,采用了掩码语言模型(MLM),在代码搜索和代码补全等任务中表现出色。

强化学习:强化学习通过与环境的交互来学习代理,这种学习范式在代码总结[16]、代码搜索[17]和程序合成[18]等领域得到了应用。例如,Wan等[16]提出了一种基于强化学习的代码总结方法,通过与环境的交互不断改进代码总结的质量。

应用

我们研究了基于代码表示和深度学习技术的多个下游应用,可以分为基于分类的应用、基于相似度的应用和基于生成的应用。

基于分类的应用:基于分类的应用通过训练分类器,将源代码映射到特定的标签或类别,如漏洞状态或变量类型。例如,Mou等[5]提出了一个基于树结构的卷积神经网络(TBCNN),用于将程序表示为AST并进行代码分类。

基于相似度的应用:基于相似度的应用旨在评估查询(自然语言或编程语言)与候选代码片段之间的相似性。Gu等[19]提出了DeepCS,首次利用深度学习进行代码搜索,同时学习源代码表示(如函数名、参数和API使用)和自然语言查询在共享特征向量空间中的表示。

基于生成的应用:基于生成的应用旨在根据特定需求生成源代码、自然语言描述或另一种编程语言的程序。Svyatkovskiy等[20]提出了IntelliCode Compose,这是一个基于GPT-2的预训练语言模型,能够即时完成不同编程语言的代码。

挑战和机遇

尽管在代码智能的深度学习方面已经投入了大量努力,但这一研究领域仍处于初期阶段,存在许多未解决的挑战和机遇。为了激发未来的研究,我们提出了若干值得探索的潜在方向。

全面的代码理解:设计一种有效且高效的表示方法以保持程序语义是代码智能中的一个基本问题。主要挑战包括开放词汇、程序复杂结构以及如何将程序结构输入到大规模语言模型(LLMs)中。尽管已经有很多研究在尝试解决这些问题,但仍需进一步努力[21]。

数据饥渴和数据质量:现有的深度学习方法对大量标注良好的训练数据有很高的依赖性,这使得在数据不足的新兴编程语言上效果不佳。此外,数据质量也是一个关键问题,低质量的数据会加剧数据饥渴问题[22]。

多语言和跨语言:代码库中使用多种编程语言可以被视为一个多语言语料库,这带来了更多的研究机会和挑战。目前已经有一些尝试在多个编程语言之间共享和转移知识,如Zhang等[23]提出的方法,通过变分自编码器从多种编程语言中解开语义,以获得更好的可解释性和普遍性。

模型可解释性:深度学习技术通常是黑箱方法,缺乏可解释性。最近,一些研究致力于增加深度学习模型的可解释性。例如,Li等[24]提出了一种新方法,通过提取程序依赖图中的子图来解释基于GNN的漏洞检测结果。

模型的有效和高效使用:随着LLMs在代码智能方面的能力不断提高,如何充分利用LLMs成为一个重要挑战。研究主要集中在提示工程、参数高效调优和模型压缩三个方面,以减少计算资源的消耗和提高模型的推理性能[25]。

鲁棒性和安全性:尽管在代码智能模型的准确性训练上取得了显著进展,但这些模型的鲁棒性和安全性问题尚未得到充分探索。当前的深度学习模型容易被对抗样本攻击,这在自然语言处理和计算机视觉领域已经被广泛研究,同样的问题也存在于源代码模型中[26]。

隐私:LLMs虽然在代码智能中取得了显著进展,但也因其强大的记忆能力而引发了隐私泄露的担忧。例如,成员推断攻击和训练数据提取攻击就是两个主要的隐私问题,通过这些攻击可以推断出模型是否使用了特定的数据样本进行训练[27]。

参考文献

[1] Chris Cummins, Pavlos Petoumenos, Zheng Wang, and Hugh Leather. 2017. Synthesizing benchmarks for predictive modeling. In CGO, 86-99.

[2] Milan Cvitkovic, Badal Singh, and Animashree Anandkumar. 2019. Open vocabulary learning on source code with a graph-structured cache. In ICML. 1475-1485.

[3] Xiaodong Gu, Hongyu Zhang, Dongmei Zhang, and Sunghun Kim. 2016. Deep API learning. In Proceedings of the 2016 24th ACM SIGSOFT International Symposium on Foundations of Software Engineering. 631-642.

[4] Moshi Wei, Nima Shiri Harzevili, Yuchao Huang, Junjie Wang, and Song Wang. 2022. CLEAR: contrastive learning for API recommendation. In ICSE. 376-387.

[5] Lili Mou, Ge Li, Lu Zhang, Tao Wang, and Zhi Jin. 2016. Convolutional neural networks over tree structures for programming language processing. In AAAI, Vol. 30.

[6] Jian Zhang, Xu Wang, Hongyu Zhang, Hailong Sun, Kaixuan Wang, and Xudong Liu. 2019. A novel neural source code representation based on abstract syntax tree. In ICSE. 783-794.

[7] Tal Ben-Nun, Alice Shoshana Jakobovits, and Torsten Hoeler. 2018. Neural Code Comprehension: A Learnable Representation of Code Semantics. In NeurIPS. 3589-3601.

[8] Chris Cummins, Zacharias Fisches, Tal Ben-Nun, Torsten Hoeler, Michael O’Boyle, and Hugh Leather. 2021. ProGraML: A Graph-based Program Representation for Data Flow Analysis and Compiler Optimizations. In ICML.

[9] Miltiadis Allamanis, Marc Brockschmidt, and Mahmoud Khademi. 2018. Learning to Represent Programs with Graphs. In ICLR.

[10] Miltiadis Allamanis, Hao Peng, and Charles Sutton. 2016. A convolutional attention network for extreme summarization of source code. In ICML. 2091-2100.

[11] Miltiadis Allamanis, Marc Brockschmidt, and Mahmoud Khademi. 2018. Learning to Represent Programs with Graphs. In ICLR.

[12] Xiao Cheng, Haoyu Wang, Jiayi Hua, Guoai Xu, and Yulei Sui. 2021. DeepWukong: Statically detecting software vulnerabilities using deep graph neural network. TOSEM 30, 3 (2021), 1-33.

[13] Veselin Raychev, Martin Vechev, and Eran Yahav. 2014. Code completion with statistical language models. In ICPC. 419-428.

[14] Baptiste Rozière, Marie-Anne Lachaux, Lowik Chanussot, and Guillaume Lample. 2020. Unsupervised Translation of Programming Languages. In NeurIPS.

[15] Zhangyin Feng, Daya Guo, Duyu Tang, Nan Duan, Xiaocheng Feng, et al. 2020. CodeBERT: A Pre-Trained Model for Programming and Natural Languages. In Findings of EMNLP. 1536-1547.

[16] Yao Wan, Zhou Zhao, Min Yang, Guandong Xu, Haochao Ying, Jian Wu, and Philip S Yu. 2018. Improving automatic source code summarization via deep reinforcement learning. In ASE. 397-407.

[17] Ziyu Yao, Jayavardhan Reddy Peddamail, and Huan Sun. 2019. Coacor: Code annotation for code retrieval with reinforcement learning. In The World Wide Web Conference. 2203-2214.

[18] Victor Zhong, Caiming Xiong, and Richard Socher. 2017. Seq2sql: Generating structured queries from natural language using reinforcement learning. arXiv:1709.00103 (2017).

[19] Xiaodong Gu, Hongyu Zhang, and Sunghun Kim. 2018. Deep code search. In ICSE. 933-944.

[20] Alexey Svyatkovskiy, Shao Kun Deng, Shengyu Fu, and Neel Sundaresan. 2020. Intellicode compose: Code generation using transformer. In ESEC/FSE. 1433-1443.

[21] Nadezhda Chirkova and Sergey Troshin. 2021. A Simple Approach for Handling Out-of-Vocabulary Identiiers in Deep Learning for Source Code. In NAACL. 278-288.

[22] Yitian Chai, Hongyu Zhang, Beijun Shen, and Xiaodong Gu. 2022. Cross-Domain Deep Code Search with Meta Learning. In ICSE. 487-498.

[23] Jingfeng Zhang, Haiwen Hong, Yin Zhang, Yao Wan, Ye Liu, and Yulei Sui. 2021. Disentangled Code Representation Learning for Multiple Programming Languages. In Findings of ACL. 4454-4466.

[24] Yi Li, Shaohua Wang, and Tien N. Nguyen. 2021. Vulnerability detection with ine-grained interpretations. In ESEC/FSE. 292-303.

[25] Chaozheng Wang, Yuanhang Yang, Cuiyun Gao, Yun Peng, Hongyu Zhang, and Michael R. Lyu. 2022. No more ine-tuning? An experimental evaluation of prompt tuning in code intelligence. In ESEC/FSE. 382-394

[26] Goutham Ramakrishnan, Jordan Henkel, Zi Wang, Aws Albarghouthi, Somesh Jha, and Thomas Reps. 2020. Semantic robustness of models of source code. arXiv:2002.03043 (2020).

[27] Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov. 2017. Membership Inference Attacks Against Machine Learning Models. In S&P. 3-18.

详细内容请参见:

Yao Wan, Zhangqian Bi, Yang He, Jianguo Zhang, Hongyu Zhang, Yulei Sui, Guandong Xu, Hai Jin, Philip Yu, “Deep Learning for Code Intelligence: Survey, Benchmark and Toolkit”, in ACM Computing Surveys, Just Accepted (May 2024).

https://doi.org/10.1145/3664597

原文链接:https://mp.weixin.qq.com/s/XwhbffG85YglcrfYrg095w