在软件开发日益复杂的今天,修复层出不穷且代价高昂的安全漏洞,已成为开发者和安全工程师面临的一项核心挑战。今天要详细解读的这篇发表在 S&P'23 的论文《Examining Zero-Shot Vulnerability Repair with Large Language Models》,就系统性地探索了利用大型语言模型(LLMs)自动化这一棘手任务的潜力与现实。本文首次对现有的大型语言模型(LLMs)在“零样本(Zero-Shot)”设置下修复代码安全漏洞的能力进行了大规模的实证研究 。研究表明,尽管这些未经专门训练的“开箱即用”模型在简单的、人为构造的场景中可以100%修复漏洞 ,但在处理真实世界的复杂漏洞时,它们生成的补丁虽然能通过自动化测试,却往往存在功能性或逻辑上的缺陷,距离实际应用仍有挑战。
背景
软件开发过程中,程序员难免会引入安全漏洞,而手动修复这些漏洞通常是一个困难且成本高昂的过程 。近年来,以OpenAI Codex为代表的、在海量代码上训练的大型语言模型(LLMs)展现了强大的代码生成与理解能力,被广泛应用于辅助编程任务 。
这引发了一个自然的问题:这些通用的代码模型是否可以直接用于修复安全漏洞?。传统上,自动程序修复依赖于专门训练的翻译模型(NMT-based models),这些模型需要大量的“漏洞-补丁”对进行监督学习。而本研究探索的是一种“零样本”路径:不进行任何针对性的微调或训练,直接利用LLMs自身的上下文理解和生成能力,通过精心设计的“提示(Prompt)”来引导模型产出修复补丁 。研究旨在评估这种“开箱即用”方法的可行性、挑战和可靠性。
研究目标与方法
为系统性地评估LLMs的漏洞修复能力,研究团队设定了四个核心研究问题(RQs):
RQ1:“开箱即用”的LLMs能否生成既安全又功能正确的代码来修复漏洞?
RQ2:提示(Prompt)中包含的上下文信息量是否会影响模型的修复效果?
RQ3:在修复真实世界的漏洞时,会遇到哪些挑战?
RQ4:LLMs生成修复方案的可靠性如何?
为回答这些问题,研究者们搭建了一个自动化的评估框架 。其工作流程为:首先,通过安全工具(如CodeQL)识别并定位漏洞;接着,根据漏洞信息和原始代码,使用不同的模板生成提示;然后,将提示输入给多个LLMs以生成候选补丁;最后,将补丁合并回原程序,并通过一系列功能和安全测试来验证其正确性 。
核心设计:提示工程(Prompt Engineering)
由于LLMs并非为漏洞修复任务专门设计,如何“说服”或“引导”它们生成正确的修复方案至关重要,这就是提示工程的核心 。一个好的提示能为模型提供足够的上下文,引导其走向正确的修复方向。
研究团队设计并比较了多种提示模板,它们在提供给模型的信息量上有所不同 。主要模板包括:
n.h. (No Help):最简单的方式,直接删除有漏洞的代码行,不提供任何额外信息 。
s.1 / s.2 (Simple):在删除问题代码后,添加一句简单的注释,如“// bugfix: fixed [error name]” 。
c. (Commented Code): 不删除漏洞代码,而是将其注释掉,并在前后分别加上“// BUG: [error name]”和“// FIXED:”标记,为模型提供最丰富的原始代码上下文 。
c.m. (Commented Code with Message): 在c.模板的基础上,额外加入了从安全工具报告中提取的详细错误信息(// MESSAGE: [error message]) 。
通过对比这些模板的效果,研究团队得以量化分析上下文信息对LLM修复能力的影响(RQ2) 。
实验设计与过程
实验分为三个递进的阶段,从简单受控环境逐步过渡到复杂的真实世界场景。
第一步:合成与手写漏洞测试
研究首先使用LLM自身生成了大量包含两类常见漏洞(CWE-787内存越界写入和CWE-89 SQL注入)的合成程序,用于探索模型的最佳参数设置 。随后,他们手动编写了7个包含MITRE“Top 25”榜单中其他高危漏洞的程序,以进行更广泛的测试 。此阶段测试了包括OpenAI Codex系列、AI21 Jurassic-1以及两个本地模型在内的多个LLM 。
第二步:真实世界漏洞修复
为回答RQ3,研究团队选取了来自Libtiff、Libxml2等知名开源项目的12个真实历史漏洞(CVEs)进行修复尝试 。此阶段最大的挑战是,真实项目的源文件通常远超LLMs的输入长度限制(Token Limit) 。为此,他们设计了一套“代码缩减”策略:在保留文件头部的宏定义和漏洞所在函数的上下文的同时,逐步删减代码,直到提示的长度符合模型要求 。
第三步:评估与验证
所有生成的补丁都经过严格验证。一个修复方案被认为是成功的,必须同时满足三个条件:1) 程序能够成功编译;2) 通过项目自带的完整功能性回归测试套件;3) 在最初触发漏洞的输入下,不再触发安全工具(如CodeQL、ASAN)的警报 。
实验验证
合成与手写场景:在受控环境下,LLM的表现极为出色。综合所有模型和提示模板的结果,它们成功修复了100%的合成及手写漏洞场景 。研究发现,提供更丰富上下文的提示(如c.m.)通常效果更好,因为这有助于模型在修复安全问题的同时,保持原有的程序功能不被破坏 。
真实世界场景:面对真实世界的复杂漏洞,LLM的修复成功率为8/12,这一数字与顶尖的自动化修复工具ExtractFix的表现相当 。甚至在EF20案例中,LLM成功修复了ExtractFix未能解决的漏洞 。
然而,一个关键的发现是:通过人工定性分析,许多“成功”的修复方案实际上是“貌似合理但实则错误”的 。这些补丁虽然能碰巧通过现有的测试用例,但其逻辑并不正确,甚至可能引入了新的、更隐蔽的缺陷 。此外,研究发现他们自训练模型gpt2-csrc生成的一个正确补丁,其修复代码恰好存在于模型的训练数据中,这表明记忆效应可能对黑盒模型的表现有所贡献 。
讨论与局限性
综合来看,大型语言模型(LLM)在漏洞修复方面的可靠性好坏参半 。它们在简单场景中展现出的潜力令人惊讶 ,但目前还不足以在真实世界场景中进行可靠、全自动的漏洞修复,其生成的补丁正确性仍需人类专家严格审查 。该研究也指出了当前方法的一些固有局限性。首先是功能测试不充分,自动程序修复领域普遍面临“测试用例过拟合”的风险,项目自带的回归测试可能不够全面,从而导致错误的补丁被误判为正确 。其次是上下文限制,当前方法仅限于修复单个文件内的单点漏洞,尽管许多安全补丁确实是局部性的,但这仍是一个限制,如何在有限的Token内为模型提供最有效的上下文依然是一个开放性挑战 。最后,在提示工程方面,尽管研究测试了多种模板,但提示设计的可能性是无穷的,可能存在更优的策略有待发现 。
总结
该研究系统性地证实了,通用的、黑盒的大型语言模型在零样本条件下具备生成代码安全补丁的能力,尤其是在上下文清晰的场景中表现出色 。然而,研究也揭示了当前技术在应用于复杂、真实世界软件时的严峻挑战,尤其是在保证功能正确性和逻辑合理性方面。目前,LLMs尚不能作为一套全自动的程序修复框架来可靠地交付价值 。这项工作为该领域提供了一个全面的基准评估,并为未来的研究指明了方向,包括改进bug定位、增强测试评估以及开发更先进的上下文处理技术等 。