本文聚焦大模型在漏洞分析领域的应用,针对漏洞类型繁多、攻击手法复杂、传统方法效率低下及现有模型准确度不足等问题,提出了提升大模型漏洞分析准确度的实现流程,包括数据准备、人工打标、自动化工作流创建、数据生成与分析等关键环节。通过实验对比,得出 prompt 分类方式优于 classifier、思维链大模型更适用于复杂问题判断等结论,为优化大模型在漏洞分析中的性能提供了实践参考。
0x01挑战和现状
挑战:
漏洞类型众多,如代码执行、SQL注入、XSS等,每种漏洞都有独特特征,传统方法难以全面覆盖。
以RCE(远程代码执行)为例,其攻击手法复杂多样,涉及多种编程语言和运行环境,难以用单一规则判断。
*图片来源:https://www.cvedetails.com/browse-by-date.php
现状:
传统的漏洞分类方法主要依赖人工分析和经验判断,效率较低且容易出错,难以应对大规模的漏洞数据。
随着漏洞数量的不断增加和攻击手段的日益复杂,现有分类方法在准确性和及时性方面逐渐暴露出不足,无法满足实际需求。
直接依赖模型自身的能力,对漏洞分析准确度低,无法实际应用到生产。
0x02大模型提升准确度实现流程
0x03准确度提升具体实现
1、数据准备
一、选择恰当的案例
漏洞分类:代码执行、SQL注入、任意文件上传、认证绕过、其他类型、任意文件读取、xss漏洞、SSRF漏洞、反序列化漏洞。
在数据选取时,数据需具备以下特征:
1、相关的CVE漏洞,原始数据字段不出现缺失。
2、数据案例对上述类型尽可能的完成覆盖(确保大模型对各类型漏洞的识别率)
3、代码执行考虑:间接代码执行和代码执行,对模型的简单推理能力进行检测。
是否RCE:
根据漏洞描述判断RCE情况案例需尽可能覆盖齐全
1、漏洞表述直接RCE
2、漏洞表述间接RCE
3、优化前模型判断错误
4、优化前模型判断正确
二、对案例进行人工打标
漏洞分类案例打标:
1.通过cweId和漏洞的描述对漏洞类型进行分类(可包含多个类型)。
这里以主要漏洞类型为主(暂不考虑间接导致的漏洞)
2.创建cweId映射表
什么是 cweId:
CWE ID 是 Common Weakness Enumeration Identifier(通用缺陷枚举标识符)的缩写。它是由 MITRE 公司维护的一个标准化列表,用于唯一标识和分类软件安全漏洞和缺陷。CWE ID 是安全领域的重要参考工具,帮助开发者、测试人员和安全研究人员识别、描述和修复软件中的常见问题。
实现cweId和漏洞类型分类一一对应,方便工作流的自动化读取。
是否RCE案例打标:
这里逻辑比较简单,根据漏洞描述人工给出判断即可。
0x04自动化工作流的创建
一、漏洞类型工作流的创建及调试
漏洞分类classifier工作流创建的思路:
CVE编号-->获取结构化数据--> AI分类器+ cweId映射-->数据聚合-->输出漏洞分类
cweId映射工作流实现-->结构化信息-->比对cweId映射表-->格式化输出对应cweId的漏洞分类
分类器工作流实现-->结构化数据信息-->仅提取description字段至大模型分类器-->输出结果
漏洞分类prompt工作流创建的思路:
数据传入-->判断漏洞描述是否存在-->格式化传入大模型数据-->大模型通过提示词对原始数据进行翻译和RCE判断-->格式化输出
二、漏洞类型分类准确度工作流的创建及调试
漏洞分类准确度:
webhook节点-->格式化数据-->比对数据表重复数据-->获取编号-->调用数据分类工作流-->写入表格
是否RCE准确度:
webhook节点-->格式化数据-->获取原始漏洞数据-->大模型通过提示词对原始数据进行翻译和RCE判断-->写入表格
三、数据生成
漏洞分类数据生成:
是否RCE数据生成:
五、总结
1、在大模型对准确度表现方面prompt的分类方式比classifier准确度更高。
2、思维链大模型相较非思维链大模型可以更好的应用在复杂问题的判断方面。
提示词优化技巧:
需要什么类型的提示词,可以先问思维链大模型,让大模型给一个基本的思路,通过给的思路,分条写出需要大模型做的任务。
拿到大模型的提示词,运用在实际的工作中,将工作中得到的结果人工进行查看,针对性的喂给大模型,让大模型进行提示词的优化,即可得到准确度较高的提示词。
https://security.pingan.com/
点赞、分享,感谢你的阅读▼
▼ 点击阅读原文,进入官网