原创 tonghuaroot 2025-12-12 21:10 日本
针对CodeQL海量误报痛点,利用按需上下文提取与引导式提问技术,引入LLM进行精准二审。该方案将误报率降低超90%,仅以极低成本在Linux Kernel等项目中挖掘出8个高危CVE。
主题:针对 CodeQL 海量误报痛点,利用按需上下文提取与引导式提问,引入 LLM 进行精准二审。该方案将误报率降低超 90%,仅以极低成本在 Linux Kernel 等项目中挖掘出8个高危 CVE。
关键词:SAST、CodeQL、SARIF、C/C++、上下文索引、Prompt Engineering、误报治理、漏洞复现流水线
在现代软件供应链的复杂生态中,安全研究人员面临典型的不对称挑战:代码库规模快速膨胀,而可用于审计的人力长期稀缺。传统静态应用程序安全测试(SAST)工具(例如 GitHub CodeQL)虽然能够构建抽象语法树(AST)、控制流图(CFG)与数据流信息,对潜在缺陷进行大范围扫描,但其设计通常更偏向高召回(Recall)而非高精确(Precision),从而带来规模化场景下的核心痛点:误报(False Positive)过高。
2025 年 12 月 Black Hat Europe 上,CyberArk Labs 的高级安全研究员 Simcha Kosman 在议题《Flaw and Order: Finding The Needle In The Haystack Of CodeQL Using LLMs》中提出了一种名为 Vulnhalla 的混合架构:以 CodeQL 提供广度(覆盖),以大语言模型(LLM)提供深度(验证),并通过两项关键机制连接两者:
- 按需上下文提取(Context on Demand):利用 CodeQL 已生成的数据库作为索引,精确提取与告警相关的函数、变量上下文,避免正则提取 C/C++ 代码的不可靠性。
- 引导式提问(Guided Questions):用结构化问题约束 LLM 的注意力与推理路径,减少依据 CodeQL 的扫描结果直接定义为有效漏洞的偏差与幻觉。
本文将从安全研究与工程落地的视角,对该方法论进行分析:解释其为什么有效,并给出可复现的端到端流程(数据库构建 → 上下文索引 → 告警生成 → LLM 过滤 → 人工复核)。
CodeQL 将代码数据库化:通过 Extractor 将源代码转换为关系型数据库,数据库中包含语法结构(AST)、控制流(CFG)与数据流/污点传播(DFG/Taint)等事实,分析者使用 QL 查询语言表达漏洞模式,从而检索可疑路径与调用点。
然而,基于模式匹配与数据流近似会引出误报:
- 缺乏语义理解:工具很难理解业务逻辑、隐式约束与复杂不变量(例如多步数学约束、状态机约束、协议层约束)。
- 上下文缺失与路径爆炸:跨函数/跨文件深度分析成本高,实际工程配置往往会做抽象或截断,从而产生看起来像问题的噪声。
- 高召回策略的副作用:为了避免漏报,规则趋向保守,把形似漏洞的代码大量纳入候选集。
对主流开源项目运行标准 CodeQL 扫描,原始告警数量往往非常庞大:
| 项目 | 代码规模 | CodeQL 告警数量(Raw Issues) |
|---|---|---|
| Linux Kernel | 30M+ LOC | 36,361 |
| FFmpeg | 1M+ LOC | 46,589 |
| Redis | 150k+ LOC | 6,409 |
| curl | 150k+ LOC | 929 |
四个项目合计约 90,288 条。如果按每条 3 分钟人工初筛(偏乐观):
按每天 9 小时工作,约 501 个工作日,接近 2 年满负荷筛查。这揭示了现实:原始 SAST 输出在规模化漏洞挖掘中不可直接消费,必须先解决误报治理。
将 LLM 引入漏洞挖掘并非把代码喂给模型那么简单。研究中将困难拆解为两个基本问题:
- Where(定位):LLM 不知道应该看哪里。即便上下文窗口变大,也无法一次吞下 Linux 内核级别代码库,更关键的是超长上下文会出现注意力衰减(Lost in the Middle),噪声会淹没关键信号。
- What(定性):LLM 在判断是否存在漏洞时容易出现幻觉或偏置。如果只给一句
memcpy(dest, src, len);,模型可能凭函数名或经验直接下结论,忽略真实约束(例如长度被限制、缓冲区大小固定、调用路径受限等)。
因此,CodeQL + LLM 的合理分工是:
- CodeQL 负责广度(Recall):在全仓库范围内找到所有可疑热点(hotspots)。
- LLM 负责深度(Precision):对每个热点做近似人类审计式的逻辑验证,将误报大规模剔除。
难点在于:如何以低成本、低噪声把最小充分的上下文交给 LLM,并让它按正确思路推理。这对应下面两项核心技术:Context on Demand 与 Guided Questions。
把 CodeQL 告警交给 LLM 时,最关键的问题是:提供多少上下文?
- 过少:只给告警行,LLM 无法判断边界条件与约束,会倾向输出 Unknown 或产生幻觉。
- 过多:给整个文件或大量调用链会带来 token 成本上升与噪声上升,反而降低准确性。
对 C/C++ 来说,从文本中抽取函数体也不可靠:宏、嵌套大括号、字符串/注释中的括号等都会让基于正则/简单解析的提取器崩溃。
最巧妙的解法是:CodeQL 为分析已经完成了解析与结构化建模,并把函数、位置等信息存入数据库。与其再做一次脆弱的外部解析,不如直接从 CodeQL 数据库导出位置索引,再据此精确切片源文件。
做法:编写一个工具型查询,导出所有函数(以及可选的全局变量/类型定义)的:
- 名称
- 文件路径
- 起止行号
示例(重构版)extract_context.ql:
/**
* @name Extract Function Metadata
* @description Extract function locations to build a context index for LLM prompts
* @kind query
* @output csv
*/
import cpp
from Function f
select
f.getName(),
f.getFile().getAbsolutePath(),
f.getLocation().getStartLine(),
f.getLocation().getEndLine()
导出的 context.csv 形如:
process_data,/src/utils.c,10,55
main,/src/main.c,60,120
...
当 CodeQL 报告 main.c:42 存在问题时:
- 定位:在
context.csv中查找满足start_line <= 42 <= end_line且文件匹配的函数记录。 - 切片:直接读取源文件的
[start_line, end_line]行范围作为上下文(通常就是函数体 + 局部上下文)。 - 按需扩展(关键):当 LLM 表示需要更多信息(例如缓冲区定义在别处、宏展开、调用者约束、全局变量大小等),再去索引里追加相关实体(callee/caller、定义点、宏定义所在头文件片段等)。
这样做的收益:
- 稳定:避免 C/C++ 文本解析的各种边界问题。
- 便宜:只发送与告警强相关的切片,token 成本可控。
- 快:索引查找 + 读文件行切片通常是毫秒级。
研究观察到一种常见偏差:当提示词里写着 CodeQL Alert:这里可能溢出,LLM 会倾向于确认问题存在(顺着扫描结果推理)。
例如 memcpy(dest, src, len) 被标记为使用源大小复制,但漏洞是否成立取决于:len 是否可能超过 dest 容量,而不是 len 是否来自 src。
因此需要通过结构化问题把注意力从关系拉回到约束与数值。
在给出最终结论前,强制模型回答四类基础问题(等价于让 LLM 走一遍人类审计流程):
- 声明与大小:它们在哪里声明?大小是多少?大小是否会变化?
- 来源追踪:若值来自其他变量,那些变量在哪里声明、大小多少?
- 约束检查:是否存在任何边界检查、sanitization、条件分支约束?
- 其他操作:还有哪些操作会影响这些变量(写入、截断、重分配、状态变更)?
为了便于自动化过滤与后处理,建议给 LLM 约束一个稳定输出结构,例如:
Verdict:TRUE_POSITIVE/FALSE_POSITIVE/NEED_MORE_CONTEXTConfidence: 0–1Why: 关键推理要点(短)Need: 若需要更多上下文,明确列出需要补充的代码片段、定义点或调用链
(研究中也采用了类似标签化分类的做法来驱动流水线决策。)
本节给出一个可复现的工程化流程:数据库构建 → 上下文索引 → 告警生成 → LLM 过滤 → 人工复核。你可以把它理解为把研究员的筛查流程做成自动化管道。
- Python:3.10–3.13(推荐 3.11)
- CodeQL CLI:安装并加入
PATH - LLM API Key:OpenAI / Azure OpenAI(建议选择代码推理能力强、价格可控的模型;
temperature低一些) - GitHub Token(可选):用于下载/管理数据库或自动化工作流
以 Redis 为例(C/C++ 项目通常需要可成功编译):
git clone
cd redis
codeql database create ../redis-db \
--language=cpp \
--command="make"
https://github.com/redis/redis.git
运行工具型查询生成 context.csv:
codeql database analyze ../redis-db extract_context.ql \
--format=csv \
--output=context.csv
提示:你可以扩展查询,额外导出全局变量、宏定义位置、类型定义位置等,以提高按需扩展命中率。
对数据库执行安全规则包或单个查询,输出 SARIF:
codeql database analyze ../redis-db \
codeql/cpp-queries/Security/CWE/CWE-119/OverflowDestination.ql \
--format=sarif-latest \
--output=issues.sarif
以下是实现要点(伪代码风格):
defload_index(context_csv):
# file_path -> list of (start, end, function_name)
...
deffind_enclosing_function(index, file_path, line_no):
# return best match where start <= line_no <= end
...
defslice_file(file_path, start, end):
# 读取 [start, end] 行(1-based 记得转换)
...
defbuild_prompt(alert, code_snippet):
returnf"""
You are a security researcher. Validate whether this CodeQL alert is a real vulnerability.
Alert: {alert['message']}
Location: {alert['file']}:{alert['line']}
Code:
{code_snippet}
Guided Questions:
1) Where are the relevant buffers/variables declared? What are their sizes? Do sizes change?
2) If values come from other variables, where are those declared and what sizes do they have?
3) Are there any checks/constraints/sanitizers on source/destination/assigned variables?
4) What other operations act on these variables (writes, realloc, truncation, etc.)?
Return a structured answer with:
- Verdict: TRUE_POSITIVE / FALSE_POSITIVE / NEED_MORE_CONTEXT
- Confidence: 0-1
- Why: short bullet points
- Need: if NEED_MORE_CONTEXT, list exact symbols/files/lines to fetch
"""defrun_pipeline(issues_sarif, index):
for alert in parse_sarif(issues_sarif):
fn = find_enclosing_function(index, alert.file, alert.line)
code = slice_file(alert.file, fn.start, fn.end)
prompt = build_prompt(alert, code)
resp = call_llm(prompt, temperature=0.2)
verdict = parse_verdict(resp)
yield alert, verdict, resp
工程建议:把 NEED_MORE_CONTEXT 作为一等公民处理:它不是失败,而是模型在做审计式提问。你可以根据 Need 字段二次拉取定义点/调用点,再拼接增量上下文重新提问(多轮但仍然可控)。
LLM 的价值不在替你做最终确认,而在于把 90%+ 的误报筛掉,让人工精力集中在:
- 高置信
TRUE_POSITIVE - 低置信但影响面大的候选(例如解析逻辑、网络输入路径、内存管理相关)
研究对多类查询进行了实验,呈现出一致趋势:原始告警数巨大,LLM 过滤后显著收敛。示意如下(以报告中的典型类别为例):
| 漏洞类型(Query Type) | 原始 CodeQL 告警数 | LLM 过滤后数量 | 误报减少率(近似) | 最终确认漏洞(示例) |
|---|---|---|---|---|
| Missing Check for Scanf(缺少返回值检查) | 549 | 162 | \~70% | 101 |
| Incorrect Check for Scanf(错误返回值检查) | 52 | 19 | \~63% | 1 |
| Copy Using Source Size(使用源大小进行复制) | 189 | 16 | \~91% | 2 |
Scanf No Length Spec(未指定长度的 %s) |
84 | 42 | \~50% | 35 |
洞察:
- 复杂逻辑类漏洞过滤更有效:例如缓冲区复制类往往依赖对大小约束/宏定义/分配路径的语义理解,LLM 在 Guided Questions 约束下更容易把看似危险但实际受限的路径判为误报。
- 真正的价值是把人工时间从 10 万条告警压到 10–100 条候选:从审计 ROI 分析,这是范式改变。
以下总结了该方法在不同漏洞类别上常见的命中逻辑:
- 栈溢出 / 格式化读取:
sscanf/scanf使用%s且无宽度限制,LLM 验证目标缓冲区大小固定、输入受控程度不足 → 真阳性。 - 拷贝/拼接类溢出:
memcpy/strcpy/strncpy/sprintf等,LLM 追踪len的上界是否真正受约束,是否存在重分配、截断、分支遗漏 → 真阳性。 - 返回值检查逻辑错误:调用约定通常为负数表示错误、正数表示成功、0 表示特殊含义,但上层只做
if (ret)或比较方向错误,LLM 结合上下文与 API 约定验证 → 真阳性。
该路线的成本优势来自按需上下文:
- 不喂全仓库:只发送告警附近的函数代码片段 + 必要定义点。
- 按需扩展:只有当 LLM 明确提出缺失信息时才追加上下文。
- 稳定推理:减少重复调用与不稳定输出。
因此在大规模项目上可把 LLM 预算控制在可接受范围(研究报告给出了低于 80 美元级别的量级结论,取决于模型单价与调用策略)。
- 语言/生态依赖:实现细节高度依赖 CodeQL 的语言包与数据库 schema,从 C/C++ 迁移到 Java/Python/Go 需要重做索引提取与上下文策略。
- 深调用链与隐式状态:当漏洞依赖跨多个模块的全局状态、配置、协议语义时,单函数代码片段可能不足,需要多轮上下文补全。
-
LLM 仍可能出错:尤其是未定义行为、竞态条件、位运算边界、宏展开导致的真实大小难以推理等场景,必须保留人工复核。
-
建议 1:把需要更多上下文做成闭环
- 让 LLM 明确输出
Need(符号/文件/行号/调用者/定义点),编排器自动拉取后再问一次。 - 建议 2:让输出可机器解析
- 统一 JSON 或固定字段格式,避免自由散文导致后处理脆弱。
- 建议 3:把 CodeQL 告警做聚类与去重
- 同一函数内多条告警可能共享上下文,可以合并后一次提问降低成本。
《Flaw And Order: Finding The Needle In The Haystack Of CodeQL Using LLMs》的关键贡献不是用 AI 找漏洞,而是把 LLM 用在更高杠杆的位置:验证(triage)与去噪(debias)。
其方法论可以概括为一句话:
让确定性工具负责覆盖,让概率性智能负责解释与裁决,把注意力当成稀缺资源进行调度。
对安全团队而言,这意味着:
- 同等人力下可审计的代码规模显著扩大
- 告警筛查从人肉翻海量噪声转为人审少量高价值候选
-
小团队也能以可控成本具备接近工业级变体分析的能力。
-
A1. 生成数据库:
codeql database create ... --command="make" - A2. 导出上下文索引:运行
extract_context.ql→context.csv - A3. 生成告警:
codeql database analyze ... --format=sarif-latest→issues.sarif - A4. 编排过滤:SARIF 解析 → 行号命中函数切片 → 构造 Guided Questions Prompt → LLM 判定
- A5. 人工复核:只复核
TRUE_POSITIVE与关键低置信候选漏洞