开篇
由于deepseek的爆火,AI大模型的热度在24年的基础上又迎来了新的高潮,据统计,全球大模型相关市场规模预计在未来三年内增长超过50%,各行各业正加速推进其在垂直领域的应用落地。
在安全攻防方向,无论是借力DeepSeek的CoT或更高级的推理增强机制,还是通用大模型庞大的知识储备量,都可以做一些攻防方向的赋能,提升攻防技术的智能化水平。
红队在研究大模型赋能中的热点方向
智能化渗透
代码审计
木马制作
报告编写
社工钓鱼
此次任务是研究代码审计中,主要是攻防场景下AI赋能Java语言漏洞挖掘工作。
思路与设计
首先,一个简化的审计工具流程
这个过程中,工具审计经常会出现漏报的问题,导致准确度严重下降
问题
基于规则的Source导致不能覆盖更多的框架场景
基于规则的Sink导致依赖工具开发者或规则开发者的审计经验
基于本地变量表和JVM栈帧模拟的参数流动分析导致“断链漏报”
基于方法调用的漏洞链检测导致较高的误报率
基于ASM/AST做结构化分析是否覆盖所有的代码场景(如匿名函数/方法、lamdba等)
那么AI是否可以应对这些场景,又该如何设计,那么使用AI大模型也分为几个阶段
文本/CV问答:基础层,侧重于信息提取和辅助分析。
智能工作流:中间层,强调流程自动化和效率提升。
智能Agent:高级层,实现自主决策和复杂任务处理。
根据目前AI大模型应用的分析,我们无法将一个项目完整的让AI进行分析,不仅Token受限,而且也会导致严重核心任务的权重偏移,因此我们初步设计一个工作流来借力AI大模型的能力。
任务测试
这里不过多的展开各个细节,文章从未知Sink的识别和污点分析处相比自动编排的审计工具,AI大模型的在这些任务中的表现和能力
Sink
以某应用的一个漏洞点为例
如代码所示,基于传统的Sink规则无法发现该漏洞,我们先通过对话的方式测试AI对该漏洞的识别
输入信息:提示词 + 整个源码文件
GPT-o1 正确的识别了漏洞,但Poc不是我们想要的,不过这个可以通过提示词来引导完成
相比较之下,DeepSeek R1的同样准确,且Poc更符合红队人员的习惯,但这个问题似乎也还好
后面还做了一系列测试,这些测试都证明,目前Top级别的通用模型在代码分析层面都可以完成未知sink的漏洞挖掘,不过也不免存在一些问题
问题
思路
对于代码量较大的项目,调用商业API的费用较高
通过测试发现和一些coder模型相比,主要在于推理能力,通过大模型辅助生成带有推理过程的数据集,微调一些优秀的coder类模型
输出的Poc质量不高
- 通过RAG的方式引入一些更高级的Poc;2. 拆分任务,将Poc生成解耦到Exp生成器中
漏洞链校准
在最初的研究中,我们将一个完整漏洞链相关的所有源码文件和提示词一起作为输入让大模型推理,测试结果中,只有Grok3 + 推理模式下能稳定的输出想要的结果。
但是在另一项测试中,某个较大的源码文件,导致输入内容权重偏移,AI错误的输出了代码分析的结果;
我们使用qwen的分词器观察某个java源码文件的token数量,单个已经约8000+
优化思路
问题
思路
输出结果不稳定
细化任务,分步调用
API调用费用较高
细化任务,尽量通过开发处理线性任务,将需要借力推理/知识储备量的任务通过大模型处理
其他模型的表现
测试不同参数大小的模型;测试coder能力强的模型
因此我们在研究中继续拆分该任务,首先验证使用AI分析参数流动的能力,反向优化Prompt,验证不同参数模型对特定任务的推理能力
DeepSeek-R1-70B模型的推理测试
DeepSeek-R1-32B模型的推理测试
DeepSeek-R1-7B模型的推理测试
使用deepseek-coder-7B模型进行推理,同样输出了正确结果,但是由于该模型没有推理过程,通过提示词的构造让他输出了正确结果,推理过程也都一起在返回结果中(不过这个结果相比上面的测试输出上体现在思维链通过包裹,即思维链的表现不同)。
这里我们使用LLama将HF中deepseek-coder模型转换为INT8量化的GGUF格式,使用ollama调用模型进行推理,通过不断的调整Prompt,发现7B模型也输出了正确的结果;避免使用INT4量化的模型,因为结果太不稳定,当然如果有资源的话,可以使用FP32量化的模型
这里附一个资源配比的参考
选项
说明
适用场景
推荐显卡
推荐显存
f16FP16(半精度浮点数),精度高,适合 GPU 运行
需要高精度但显存较多的设备
RTX 3090 / 4090 / A100
≥ 24GB
q8_08-bit 量化,比 FP16 小,但推理速度更快
适用于高效 CPU 计算
RTX 3080 / 4080 / Apple M2 Ultra
≥ 16GB
q6_k6-bit 量化(更先进的算法)适用于 CPU 但仍然追求较高精度
Apple M2 Max / RTX 3060
≥ 12GB
q5_05-bit 量化,精度比q4_0高
适用于中等显存设备
Apple M2 Pro / RTX 3060
≥ 8GB
q5_1改进的 5-bit 量化,精度更高适用于高效推理,兼顾精度
Apple M2 Max / RTX 3070
≥ 10GB
q4_04-bit 量化(最常用)适用于低显存设备,如 MacBook M1/M2
Apple M1 / M2 / RTX 3050
≥ 6GB
q4_1改进的 4-bit 量化,精度更好适用于需要更好精度但显存有限的设备
Apple M1 / M2 / RTX 3050
≥ 6GB
q3_k3-bit 量化,超低显存占用
适用于极低显存的设备
Intel UHD / Apple M1
≥ 4GB
q2_k2-bit 量化,极限压缩,推理速度极快
适用于超低端 CPU
无需独立显卡
≥ 2GB
通过上面的测试表明,任务细化后使用一些小参数的大模型也能正确的完成该任务,不过在基准测试中,发现>32B模型的结果相对7B的模型更为准确。
实现
基于上面的设计和测试,在首次对接工作流任务中,我们重点测试AI对污点分析的能力,可以通过多种方式实现工作流。
模型选择:采用大模型与小模型相结合的策略,其中小模型专注于处理简单任务,而大模型则用于执行依赖推理的复杂任务。
实现平台:
Coze/Dify/LangChain设计工作流,调用脚本 + 模型跑通流程
开发审计工具在流程中调用模型处理相关任务
如下是AI大模型代码审计在Java字节码审计中的应用和效果
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏九指的安全笔记已关注
分享视频
,时长01:10
0/0
00:00/01:10
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/01:10
01:10
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
AI大模型代码审计-Java漏洞挖掘
观看更多
转载
,
AI大模型代码审计-Java漏洞挖掘
九指的安全笔记已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
最终的漏洞挖掘报告
后续
目前已经完成线性漏洞链漏洞挖掘和检测,但从漏洞挖掘角度仍需要考虑到非常规漏洞的场景。
例如:
组合拳漏洞的挖掘,比如Source不一定都是Servlet/Controller/Action这类web入口点,也可能是某个分布式任务调度等等。
全局&局部sanitizer的组合分析。
逻辑漏洞的建模分析能力。
整体思路:
完成框架落地。
建立不同的任务流程,针对完整攻击链和代码安全性分析等不同业务场景开发不同的审计流程。
完善各类RAG的配置及基准测试。
通过知识蒸馏,定制各类任务的专家模型,结合CoE落地代码审计智能体。