← 返回列表

利用大语言模型优化 CodeQL 漏洞挖掘

单站 RedTeam 发布 Fri, 12 Dec 2025 21:10:00 +0800 入库 2026-11-18T15:42:15

原创 tonghuaroot 2025-12-12 21:10 日本

针对CodeQL海量误报痛点,利用按需上下文提取与引导式提问技术,引入LLM进行精准二审。该方案将误报率降低超90%,仅以极低成本在Linux Kernel等项目中挖掘出8个高危CVE。

主题:针对 CodeQL 海量误报痛点,利用按需上下文提取与引导式提问,引入 LLM 进行精准二审。该方案将误报率降低超 90%,仅以极低成本在 Linux Kernel 等项目中挖掘出8个高危 CVE。

关键词:SAST、CodeQL、SARIF、C/C++、上下文索引、Prompt Engineering、误报治理、漏洞复现流水线

在现代软件供应链的复杂生态中,安全研究人员面临典型的不对称挑战:代码库规模快速膨胀,而可用于审计的人力长期稀缺。传统静态应用程序安全测试(SAST)工具(例如 GitHub CodeQL)虽然能够构建抽象语法树(AST)、控制流图(CFG)与数据流信息,对潜在缺陷进行大范围扫描,但其设计通常更偏向高召回(Recall)而非高精确(Precision),从而带来规模化场景下的核心痛点:误报(False Positive)过高。

2025 年 12 月 Black Hat Europe 上,CyberArk Labs 的高级安全研究员 Simcha Kosman 在议题《Flaw and Order: Finding The Needle In The Haystack Of CodeQL Using LLMs》中提出了一种名为 Vulnhalla 的混合架构:以 CodeQL 提供广度(覆盖),以大语言模型(LLM)提供深度(验证),并通过两项关键机制连接两者:

本文将从安全研究与工程落地的视角,对该方法论进行分析:解释其为什么有效,并给出可复现的端到端流程(数据库构建 → 上下文索引 → 告警生成 → LLM 过滤 → 人工复核)。

CodeQL 将代码数据库化:通过 Extractor 将源代码转换为关系型数据库,数据库中包含语法结构(AST)、控制流(CFG)与数据流/污点传播(DFG/Taint)等事实,分析者使用 QL 查询语言表达漏洞模式,从而检索可疑路径与调用点。

然而,基于模式匹配与数据流近似会引出误报:

对主流开源项目运行标准 CodeQL 扫描,原始告警数量往往非常庞大:

项目 代码规模 CodeQL 告警数量(Raw Issues)
Linux Kernel 30M+ LOC 36,361
FFmpeg 1M+ LOC 46,589
Redis 150k+ LOC 6,409
curl 150k+ LOC 929

四个项目合计约 90,288 条。如果按每条 3 分钟人工初筛(偏乐观):

按每天 9 小时工作,约 501 个工作日,接近 2 年满负荷筛查。这揭示了现实:原始 SAST 输出在规模化漏洞挖掘中不可直接消费,必须先解决误报治理。

将 LLM 引入漏洞挖掘并非把代码喂给模型那么简单。研究中将困难拆解为两个基本问题:

因此,CodeQL + LLM 的合理分工是:

难点在于:如何以低成本、低噪声把最小充分的上下文交给 LLM,并让它按正确思路推理。这对应下面两项核心技术:Context on Demand 与 Guided Questions。

把 CodeQL 告警交给 LLM 时,最关键的问题是:提供多少上下文?

对 C/C++ 来说,从文本中抽取函数体也不可靠:宏、嵌套大括号、字符串/注释中的括号等都会让基于正则/简单解析的提取器崩溃。

最巧妙的解法是:CodeQL 为分析已经完成了解析与结构化建模,并把函数、位置等信息存入数据库。与其再做一次脆弱的外部解析,不如直接从 CodeQL 数据库导出位置索引,再据此精确切片源文件。

做法:编写一个工具型查询,导出所有函数(以及可选的全局变量/类型定义)的:

示例(重构版)extract_context.ql:

/**
 * @name Extract Function Metadata
 * @description Extract function locations to build a context index for LLM prompts
 * @kind query
 * @output csv
 */
import cpp
from Function f
select
  f.getName(),
  f.getFile().getAbsolutePath(),
  f.getLocation().getStartLine(),
  f.getLocation().getEndLine()

导出的 context.csv 形如:

process_data,/src/utils.c,10,55
main,/src/main.c,60,120
...

当 CodeQL 报告 main.c:42 存在问题时:

  1. 定位:在 context.csv 中查找满足 start_line <= 42 <= end_line 且文件匹配的函数记录。
  2. 切片:直接读取源文件的 [start_line, end_line] 行范围作为上下文(通常就是函数体 + 局部上下文)。
  3. 按需扩展(关键):当 LLM 表示需要更多信息(例如缓冲区定义在别处、宏展开、调用者约束、全局变量大小等),再去索引里追加相关实体(callee/caller、定义点、宏定义所在头文件片段等)。

这样做的收益:

研究观察到一种常见偏差:当提示词里写着 CodeQL Alert:这里可能溢出,LLM 会倾向于确认问题存在(顺着扫描结果推理)。

例如 memcpy(dest, src, len) 被标记为使用源大小复制,但漏洞是否成立取决于:len 是否可能超过 dest 容量,而不是 len 是否来自 src。

因此需要通过结构化问题把注意力从关系拉回到约束与数值。

在给出最终结论前,强制模型回答四类基础问题(等价于让 LLM 走一遍人类审计流程):

  1. 声明与大小:它们在哪里声明?大小是多少?大小是否会变化?
  2. 来源追踪:若值来自其他变量,那些变量在哪里声明、大小多少?
  3. 约束检查:是否存在任何边界检查、sanitization、条件分支约束?
  4. 其他操作:还有哪些操作会影响这些变量(写入、截断、重分配、状态变更)?

为了便于自动化过滤与后处理,建议给 LLM 约束一个稳定输出结构,例如:

(研究中也采用了类似标签化分类的做法来驱动流水线决策。)

本节给出一个可复现的工程化流程:数据库构建 → 上下文索引 → 告警生成 → LLM 过滤 → 人工复核。你可以把它理解为把研究员的筛查流程做成自动化管道。

以 Redis 为例(C/C++ 项目通常需要可成功编译):

git clone 
cd redis
codeql database create ../redis-db \
  --language=cpp \
  --command="make"

https://github.com/redis/redis.git
运行工具型查询生成 context.csv:

codeql database analyze ../redis-db extract_context.ql \
  --format=csv \
  --output=context.csv

提示:你可以扩展查询,额外导出全局变量、宏定义位置、类型定义位置等,以提高按需扩展命中率。

对数据库执行安全规则包或单个查询,输出 SARIF:

codeql database analyze ../redis-db \
  codeql/cpp-queries/Security/CWE/CWE-119/OverflowDestination.ql \
  --format=sarif-latest \
  --output=issues.sarif

以下是实现要点(伪代码风格):

defload_index(context_csv):
# file_path -> list of (start, end, function_name)
    ...
deffind_enclosing_function(index, file_path, line_no):
# return best match where start <= line_no <= end
    ...
defslice_file(file_path, start, end):
# 读取 [start, end] 行(1-based 记得转换)
    ...
defbuild_prompt(alert, code_snippet):
returnf"""
You are a security researcher. Validate whether this CodeQL alert is a real vulnerability.
Alert: {alert['message']}
Location: {alert['file']}:{alert['line']}
Code:
{code_snippet}
Guided Questions:
1) Where are the relevant buffers/variables declared? What are their sizes? Do sizes change?
2) If values come from other variables, where are those declared and what sizes do they have?
3) Are there any checks/constraints/sanitizers on source/destination/assigned variables?
4) What other operations act on these variables (writes, realloc, truncation, etc.)?
Return a structured answer with:
- Verdict: TRUE_POSITIVE / FALSE_POSITIVE / NEED_MORE_CONTEXT
- Confidence: 0-1
- Why: short bullet points
- Need: if NEED_MORE_CONTEXT, list exact symbols/files/lines to fetch
"""defrun_pipeline(issues_sarif, index):
for alert in parse_sarif(issues_sarif):
        fn = find_enclosing_function(index, alert.file, alert.line)
        code = slice_file(alert.file, fn.start, fn.end)
        prompt = build_prompt(alert, code)
        resp = call_llm(prompt, temperature=0.2)
        verdict = parse_verdict(resp)
yield alert, verdict, resp

工程建议:把 NEED_MORE_CONTEXT 作为一等公民处理:它不是失败,而是模型在做审计式提问。你可以根据 Need 字段二次拉取定义点/调用点,再拼接增量上下文重新提问(多轮但仍然可控)。

LLM 的价值不在替你做最终确认,而在于把 90%+ 的误报筛掉,让人工精力集中在:

研究对多类查询进行了实验,呈现出一致趋势:原始告警数巨大,LLM 过滤后显著收敛。示意如下(以报告中的典型类别为例):

漏洞类型(Query Type) 原始 CodeQL 告警数 LLM 过滤后数量 误报减少率(近似) 最终确认漏洞(示例)
Missing Check for Scanf(缺少返回值检查) 549 162 \~70% 101
Incorrect Check for Scanf(错误返回值检查) 52 19 \~63% 1
Copy Using Source Size(使用源大小进行复制) 189 16 \~91% 2
Scanf No Length Spec(未指定长度的 %s) 84 42 \~50% 35

洞察:

以下总结了该方法在不同漏洞类别上常见的命中逻辑:

该路线的成本优势来自按需上下文:

因此在大规模项目上可把 LLM 预算控制在可接受范围(研究报告给出了低于 80 美元级别的量级结论,取决于模型单价与调用策略)。

《Flaw And Order: Finding The Needle In The Haystack Of CodeQL Using LLMs》的关键贡献不是用 AI 找漏洞,而是把 LLM 用在更高杠杆的位置:验证(triage)与去噪(debias)。

其方法论可以概括为一句话:

让确定性工具负责覆盖,让概率性智能负责解释与裁决,把注意力当成稀缺资源进行调度。

对安全团队而言,这意味着:

原文链接:https://mp.weixin.qq.com/s?__biz=Mzg5NjAxNjc5OQ==&mid=2247484622&idx=1&sn=ff55a9a5b177d2e872df3a11e43de02f