原文标题:Give LLMs a Security Course: Securing Retrieval-Augmented Code Generation via Knowledge Injection原文作者:Bo Lin, Shangwen Wang, Yihao Qin, Liqian Chen, Xiaoguang Mao原文链接:https://arxiv.org/pdf/2504.16429发表会议:ACM CCS 2025主编:黄诚@安全学术圈编辑:张贝宁@安全学术圈
1、背景介绍
大型语言模型 (LLMs) 极大地推动了软件开发的智能化进程。其中,检索增强代码生成 (Retrieval-Augmented Code Generation, RACG) 范式通过引入外部知识库,显著提升了代码生成的质量和准确性,已成为众多智能开发系统的核心技术。然而,现有RACG系统普遍将功能正确性置于首位,而对安全性的考量相对欠缺。
我们的前期研究系统性地揭示了RACG范式中存在的“知识库投毒”安全风险:攻击者通过向外部知识库中恶意注入包含安全漏洞的代码样本,能够显著影响模型的生成结果,诱导模型产生含有严重安全缺陷的代码。在某些场景下,即便知识库中仅存在一个“投毒”样本,也可能导致多达48%的生成代码包含安全缺陷。这一发现暴露了当前生成式代码模型在知识获取与利用环节的内生脆弱性。面对这一新型威胁,构建主动、有效的防御机制已成为保障下一代软件开发安全性的迫切需求。
2、研究动机
现有RACG系统在设计上对功能性的侧重,使其在面临对抗性攻击时,更容易生成不安全的代码。下图展示了一个具体的案例:当用户的指令是“生成一个函数,用以显示给定结构体的所有字段”时,一个被投毒的RACG系统检索到了一个包含sprintf函数的不安全代码示例。
在这一不安全参考的引导下,大型语言模型(GPT-4o)为了满足用户请求,也采用了sprintf函数来构建代码,从而引入了潜在的缓冲区溢出 (Buffer Overflow) 安全缺陷。
为应对这一挑战,我们的核心思想是:在生成提示 (Prompt) 中主动注入相关的外部安全知识,引导模型规避已知的安全陷阱。如下图所示,当我们在提示中明确指出sprintf函数的风险后,模型便选择了更安全的替代方案snprintf,在保持原有功能的同时,有效规避了缓冲区溢出风险。这个案例不仅凸显了当前RACG系统面临的关键风险,也指明了我们提出的解决方案: 通过注入安全知识来强化RACG系统。
3、本文方法
为应对上述挑战,本研究提出了一个名为CodeGuarder的生成式代码模型安全强化框架。它通过在代码生成过程中显式注入从真实世界安全缺陷中提炼的安全知识,旨在赋予模型一种内生的安全防御机制,从而在保证代码功能性的同时,实现代码生成过程的安全性。
CodeGuarder 的工作流程包含两个主要阶段:离线构建安全知识库和在线安全强化。
第一阶段:安全知识库的自动化离线构建
我们基于一个汇集了真实世界常见安全漏洞的大规模数据集ReposVul,自动化地构建了一个结构化的安全知识库。对于数据集中每一个“缺陷-修复”代码对,我们从三个关键维度提取结构化安全知识:
功能性:描述含缺陷代码的预期功能,用于后续的精确检索。
根因:包含对缺陷根因的自然语言描述和具体的缺陷代码示例,帮助模型理解“问题是什么”。
修复模式:包含对修复方案的自然语言描述和修复后的安全代码示例,指导模型“如何解决问题”。
下图展示了针对一个整数溢出安全缺陷 (CVE-2012-6538) 提取的安全知识示例。
第二阶段:上下文感知的细粒度知识在线检索与注入
在接收到用户的代码生成指令后,CodeGuarder 会执行在线安全强化流程,该流程包含以下核心步骤:
指令分解:用户的复杂指令可能对应多个潜在的安全问题。因此,我们首先利用大型语言模型将原始指令分解为若干更细粒度的子任务,以实现更精确的知识检索。例如,一个复制字符串的指令被分解为内存分配、字符串复制等子任务。
安全知识检索:针对每个分解后的子任务,使用基于向量相似度的检索器,从安全知识库中初步筛选出最相关的安全知识条目。
安全知识重排序与过滤:考虑到大型语言模型对不同类型安全缺陷的易感性存在差异,我们引入了一种重排序与过滤机制。该机制会根据不同子任务的风险画像(基于相关缺陷在大型语言模型生成代码中的出现频率进行量化)进行排序,优先保留与高风险子任务相关的知识,并过滤掉相关性较低的内容,以优化提示的效率和效果。
安全增强的代码生成:最后,将经过筛选和排序的安全知识与分解后的子任务一起,显式地注入到最终的生成提示中,引导大型语言模型在充分融合安全考量的同时,生成满足功能需求的代码。
4、实验评估
我们在多种场景下对 CodeGuarder 的有效性进行了严格的实验评估,涵盖4个主流大型语言模型 (GPT-4o, DeepSeek-V3, CodeLlama, DS-Coder) 和4种编程语言 (C, C++, Java, Python)。
4.1 实验场景
标准RACG场景:知识库不含投毒样本的常规代码生成场景。
投毒场景I(编程意图暴露):模拟攻击者了解用户意图并发起定向投毒攻击。
投毒场景II(意图无关的投毒):模拟攻击者进行泛化投毒攻击。
4.2 主要实验结论
结论1:CodeGuarder 能在标准的RACG场景下有效提升大模型生成代码的安全性。实验表明,在标准场景下,CodeGuarder 能够在不牺牲功能正确性的前提下,显著提升生成代码的安全性。在四种编程语言上的平均安全增益为20.12%,其中在Java语言上的提升尤为显著,达到了47.72%。
结论2:CodeGuarder 对知识库投毒攻击表现出强大的抵御能力。在两种投毒攻击场景下,CodeGuarder 同样表现稳健。在编程意图暴露的定向攻击(场景I)下,安全增益达到31.53%;在与意图无关的泛化攻击(场景II)下,安全增益达到21.91%。这些结果证明,CodeGuarder 能够有效缓解知识库投毒带来的负面影响。
结论3:CodeGuarder 具备强大的泛化能力。
对直接代码生成的泛化:在没有外部功能代码库、仅依赖模型自身知识生成的场景下,CodeGuarder 的性能超越了当前最先进的Safecoder等多种专为此场景设计的基线方法,平均安全率达到75.54%。
对未知语言的泛化:即便在安全知识库中缺乏目标语言特定知识的场景下,CodeGuarder 依然能够利用跨语言的通用安全原则(如避免使用弱随机数生成器),在标准和投毒场景中分别带来15.69%和13.50%的稳定安全提升。
5、总结与贡献
本研究针对检索增强代码生成 (RACG) 系统中严峻的知识库投毒威胁,提出了一种名为 CodeGuarder 的主动安全强化框架。该框架通过构建结构化安全知识库,并在线进行指令分解、上下文感知知识检索与注入,有效引导大型语言模型生成功能正确且不含安全缺陷的代码。
本章的研究贡献可归纳为以下三点:
重要性:率先将研究重心从被动识别风险转向主动构建防御机制,对于保障作为现代大语言模型驱动软件开发基石的RACG技术具有开创性意义。
先进的框架设计:提出了通过在提示中显式注入安全知识来增强RACG系统安全性的 CodeGuarder 框架,在有效缓解安全风险的同时,保证了生成代码的功能性不受影响。
全面的实证研究:通过在标准、两种投毒以及直接代码生成等多种场景下的实验评估,充分证明了 CodeGuarder 框架在不同设置下均具有较强的性能与泛化能力。
安全学术圈招募队友-ing有兴趣加入学术圈的请联系secdr#qq.com
专题最新征文
期刊征文 | 暗网抑制前沿进展(中文核心)
期刊征文 | 网络攻击分析与研判(CCF T2)
期刊征文 | 域名安全评估与风险预警(CCF T2)