现有的漏洞库以及各类开源社区提供了丰富的漏洞信息,给安全研究人员进行漏洞分析与检测研究提供了便利。但是不同的数据源造成的漏洞知识良莠不齐、不同数据源的知识重复、知识间的关联不够明确等问题,往往需要大量人工工作来管理与分析漏洞数据,为漏洞分析提出了挑战。为了解决传统漏洞库中漏洞数据分散异构、缺乏关联等问题,本文提出了漏洞知识图谱的构建方法,并构建了包含百万级别实体节点和关系的漏洞知识图谱,将多源漏洞数据进行有效聚合,可以更方便地管理漏洞数据,为安全研究人员减少人工开销与开发成本。
该成果已在实验室github组织下开源,请访问https://github.com/CGCL-codes/SCVDT/VKGGen、https://github.com/CGCL-codes/SCVDT/VKGServe获取相关内容。
背景与动机
现有的漏洞数据库往往分散管理着各种不同的漏洞数据,具有数据分散、信息单一、结构各异等缺点,尚不能提供足够的漏洞数据来满足漏洞检测的需求,研究者往往需要根据自身需求来自行建立漏洞库。知识图谱是一种表征实体之间关系的语义网络模型,具有极强的表达能力与建模灵活性,能够对现实世界的各种抽象概念及其相互关系进行形式化描述,已经广泛应用于金融、互联网、工业、医疗等多个领域,给各行各业带来了巨大的便捷。大数据环境中海量的漏洞信息及漏洞代码属性蕴含了丰富的漏洞知识,基于这些漏洞知识构建漏洞知识图谱,能够对多种漏洞数据进行聚合分析,发掘不同来源的漏洞知识实体信息以及相互的关联关系信息,为进行漏洞检测安全研究提供了技术支持。
设计与实现
- 架构简述
我们基于漏洞知识图谱的研究主要包含两个方面的工作:研究多源漏洞数据的采集与分析,采用智能化爬虫、信息抽取、文本解析等技术采集多维漏洞数据;研究漏洞知识图谱的构建,利用采集的漏洞数据进行漏洞知识图谱的构建。
图1 整体架构
- 多源漏洞数据的捕获与分析
针对大数据环境中数据来源多、分布零散、结构各异,漏洞数据具有多维以及漏洞代码数据难以搜集等特点,我们有针对性地对多维漏洞数据进行采集与分析,提出了多源漏洞数据的采集与分析模型。主要包括漏洞信息智能化提取、软件依赖信息提取以及软件补丁信息提取三个方面。
1) 漏洞信息智能化提取
漏洞信息智能化提取是针对互联网上NVD(National Vulnerability Database)、CNVD(China National Vulnerability Database)、SecurityFocus等漏洞库,Exploit-DB、PacketStorm等漏洞利用代码库,github代码仓库等不同的漏洞数据源,采取网页自动化爬虫技术获取文本信息等非结构化漏洞信息,然后对文本数据进行解析与整理,提取出漏洞知识、软件知识等结构化信息。漏洞信息智能化提取过程如图2所示。
图2 漏洞信息智能化提取
2) 软件依赖信息提取
在开源软件中,库依赖和组件复用的情况普遍存在,为漏洞分析提出了挑战,同时也为分析软件依赖的漏洞是否影响软件本身提供了思路与前提。Java软件项目引用库依赖的现象更为常见,并且已经有了系统的依赖管理工具,给项目开发提供了巨大的便利。我们针对依赖管理工具——Maven管理的Java项目,提取项目不同版本的项目依赖文件——pom.xml,并对xml文件进行文本解析与数据抽取,提取出软件项目依赖相关的知识。软件依赖信息提取过程如图3所示。
图3 软件依赖信息提取
3) 漏洞补丁信息提取
Java漏洞源代码含有丰富的语义信息,可以针对补丁代码进行漏洞代码属性分析,进一步检测软件的漏洞。然而,Java漏洞补丁代码具有来源少、难收集等特点,很难用统一的自动化方法来搜集。我们针对NVD漏洞库、github等代码仓库以及bugzilla、issues report等漏洞代码管理平台,分别采用不同的自动化方法来采集Java漏洞补丁代码,利用文本过滤筛选与漏洞修复相关的补丁代码,构成漏洞补丁知识。漏洞补丁代码信息提取过程如图4所示。
图4 漏洞补丁代码信息提取
- 漏洞知识图谱的构建
传统的漏洞库所包含的漏洞信息冗杂、缺失,部分漏洞信息之间关联不明确,不能很好地用于漏洞分析。而基于漏洞数据构建漏洞知识图谱,能够把多源漏洞信息聚合起来,并能清晰地展示不同漏洞知识之间的关联关系。我们基于采集与分析的漏洞数据,结构化地构建漏洞知识图谱,并利用多源漏洞知识融合、漏洞知识自动更新等技术,维护知识图谱数据的信息积累与更新。
1) 漏洞知识图谱结构设计
漏洞知识图谱的实体结构如图5所示,主要包含漏洞本体和软件依赖本体两大本体,两大本体内部包含多个实体结构,不同实体之间通过不同的关联关系建立连接。知识图谱中的本体结构定义如下:
(1)
其中,漏洞本体中包含漏洞基本信息、漏洞类型CWE、漏洞等级CVSS、漏洞利用Exploit、影响到的软件、影响到的软件版本、漏洞补丁等实体结构。软件依赖本体包含软件项目、项目版本、项目集合、项目依赖、依赖版本等实体结构。
图5 漏洞知识图谱实体结构
2) 漏洞本体构建
漏洞本体的数据主要来源于我们采集的漏洞信息,通过知识抽取、知识融合技术,将不同漏洞知识源知识在统一框架规范下进行异构数据整合、消歧、加工和推理,并提取漏洞知识中不同信息之间的关联关系,构建知识图谱中的漏洞本体。漏洞本体的定义如下所示:
(2)
漏洞本体有9个实体结构,包含漏洞基本信息、漏洞类型、漏洞补丁、影响的软件版本等信息。每一项实体又都包含着着自己的属性,如漏洞基本信息包括漏洞标识、描述信息、披露时间等属性。
漏洞本体将海量的漏洞数据统一聚合,能够体现出不同漏洞信息之间的关系,例如同一种漏洞对不同软件造成的影响、漏洞的代码属性体现等,为以类型为引导的漏洞检测研究提供了帮助。
3) 软件依赖本体构建
软件依赖本体的构建依赖于采集的Java软件项目中抽取的各类资源与数据,组成知识图谱中软件项目、项目版本、项目依赖等相关实体。软件依赖本体的定义如下所示(为了与漏洞本体中的软件相区分,我们将软件依赖本体中的软件定义为项目):
(3)
软件依赖本体有5个实体结构,包含了项目、项目版本、父项目、项目依赖、依赖版本等信息。实体中包含了项目名、项目版本、项目描述、项目组group_id、项目链接等属性。
软件依赖本体通过图的方式可以呈现出丰富的信息,例如,不同项目版本所引用的项目依赖之间的关系,同一个项目依赖被不同的项目引用的关系等,对于分析与检测软件依赖漏洞有着巨大的帮助。
- 漏洞知识图谱构建成果
我们采用了漏洞数据自动化更新引擎来实现漏洞知识图谱的定期更新与扩充。截止到2021年5月20日, 本文构建的漏洞知识图谱总共包含505767个实体节点以及2003532条关系边的规模。基于知识图谱的结构,漏洞本体和软件依赖本体的数据规模分别如表1和表2所示。
表1 漏洞本体数据规模
表2 软件依赖本体数据规模
同时我们也将漏洞知识图谱在《软件源代码安全审查公共服务平台》上做了可视化呈现,提供图谱查询、漏洞属性图生成、上传与下载漏洞信息等功能。用户可以通过知识图谱查询并下载相应的漏洞数据,以用于相关安全研究工作。
如图6所示,是以漏洞编号“CVE-2016-4432”为例作导航查询该漏洞的关系网图。其漏洞实体节点为“CVE-2016-4432”,该漏洞的漏洞类型为漏洞类型实体节点,漏洞类型编号为“CWE-287”,是一种身份验证漏洞;漏洞实体节点指向的漏洞等级实体节点表示该漏洞的级别,其分数为5.0,属于中等级别漏洞;从图中漏洞实体所关联的软件相关实体可以看出,该漏洞是在Apache旗下的qpid_java软件的6.0.2版本中出现的;该漏洞有两个漏洞补丁指向该软件版本,是在qpid_java软件项目的SVN仓库中提交的,说明该漏洞已经在该软件中进行了相关修复。
图6 CVE-2016-4432的漏洞关联信息网