← 返回列表

威胁情报聚合查询平台及安全运营的设想

聚合站 SecWiki技术 作者 莫哥谈安全 发布 2021年8月9日 21:00 入库 2026-11-18T18:22:36

大概在6,7年前,安全威胁情报是个时髦的名词,出现了各种包装成威胁情报的产品、安全威胁情报为主议题的安全大会,好不火热。不过近几年,随着其他新概念的不断出现,安全威胁情报的热度下降了不少。但是,这并非因为大家抛弃了威胁情报这个概念,相反,各安全厂商已经从吹嘘概念到踏踏实实的在把威胁情报的能力落地到各个适合的应用场景,以此推动整个威胁情报产业的发展。

威胁情报的应用和使用场景很多,包括威胁情报查询平台、威胁情报网关等,现在威胁情报也已经作为各种安全产品的一个内嵌的基础能力,成为威胁情报+的体系,包括威胁情报+EDR、威胁情报+NDR、威胁情报+SIEM、威胁情报+SOC等等。如腾讯的产品:

本文讨论的主要对象是威胁情报应用的第一代应用产物:威胁情报查询平台。或者是威胁情报多维聚合查询平台、威胁情报追踪溯源平台等等。主要功能为根据某线索(如hash、ip、domain等)来查询对应的安全威胁情报或者关联的信息。该类平台主要的应用场景包括:安全运营人员的安全运维服务、安全运营人员的分析溯源、大甲方(国家监管机关)的情报拓线和安全态势监控等等。

有该类产品的厂商主要有很多,公开发布的厂商如下:

国内:微步在线、奇安信、360、安恒、启明、绿盟、深信服、天际友盟等

国外:virustotal、alienvault、IBM X-Force Exchange等

截取几个用的比较广泛的

奇安信:

360:

微步:

Virustotal:

可以看到,这些ti查询平台的功能其实大差不差,该有的基础能力基本大家都有。基本能覆盖到一些常规的产品需求。不过,虽然在产品形态上类似,但是真正考验产品能力的是:数据能力。包括情报标签、数据的遥感数据、数据的聚合、数据的时效性、周期性管理等等。这也是考察一个厂商真正威胁情报能力的一些硬指标。

本文就从以下一些维度来谈谈对威胁情报查询平台的理解,以及如何使用这些平台来完成或者指导相关的安全运营方面的工作。

1、怎么建设一个理想中的威胁情报查询平台;

2、影响平台能力的一些关键要素;

3、如何使用这些平台来进行安全运营工作。

01

如何建设威胁情报查询平台

在描述如何建设威胁情报查询平台前,必须指出,不同的使用人群,对威胁情报查询平台的使用需求是不一样的。如:

针对甲方的安全运营人员:主要是查询IOCs的标签和一些基础的信息,用来定位是否发生攻击事件、事件的性质等等;

针对乙方的安全运营人员:除了标签查询和定性外,更多的用来做线索拓线、溯源等。此外还需要具备一定的事件发现(挖掘)能力。

针对大甲方:除了乙方安全运营人员所使用的功能外,更关注的事件的态势、落地设备、设备分布等。

鉴于此,我们可以分为基础能力和定制能力两部分来设计主要功能。

一、基础功能

基础功能主要是针对输入具体线索的查询能力,具体的输入线索包括文件hash、ip、domain等。

不同的输入,查询的内容会有所区别,不过也存在一些通用的内容。

1、通用

无论哪个查询维度,都需要存在的一些要素

属性:安全、恶意、未知、高风险、低风险等等

开源情报:输入的内容,是否命中某个开源情报,如某篇文章、某条微博或twitter等,相应的标题和链接

标签:输入内容对应的标签,如所归属组织、家族、类型等

活跃度:广度、热度

搜索度:搜索次数统计等

多引擎扫描信息:多引擎的扫描结果展示。由于存在版权问题,可以不存在该项。

可视化:展示各个维度间的关联,用图来展示。

2、hash

该维度是针对文件的,输入的内容为文件的hash,可以是md5、sha1、sha256等,可以是三选一,选二,或者全都支持。

针对文件维度,基本的查询内容主要需要有:

文件的基本属性:文件hash(md5、sha1、sha256都显示)、文件大小、文件类型、文件名、文件路径、文件创建时间、文件入库时间等;

文件信息:不同的文件有不同的信息。如PE文件,一些PE信息,如节信息、文件描述、数字签名、导入导出表、pdb信息等;如office文档,创建时间、修改时间、创建者、修改者、是否有宏、标题等等;如apk文件,包名、签名信息、相关权限、打包时间等。总之,不同的文件类型,需要展示不同的文件信息。

文件动态行为信息:沙箱报告

文件关系数据:父子文件、文件在野下载链接(文件传播地址)、文件中包含的域ip/domain/url、文件会发起的网络请求ip/domain/url等。

3、ip

ip基本信息:地理位置、所属ASN、ip whois、ip下开放的端口或服务、ip证书信息等;

关系信息:访问过该ip的文件(hash)、包含该ip的文件(hash)、ip下的url、ip域名反查

4、domain

domain基本信息:whois信息(当前+历史)、解析的dns信息(当前+历史)、子域名、Alexa排名等;

关系信息:访问过该domain的文件、包含该domain的文件、该domain下的url、来自该domain的文件。

二、扩展功能

上面描述的,是该平台最原始的查询需求。但是,这些内容并不能满足各类人员的需求。因此还需要针对不同的人群,增加扩展甚至是个性化的需求。

扩展功能主要包括以下几类:

1、主动样本提交

该功能主要解决要查询的文件,不在查询平台的数据库里的时的场景。

主要分两种:多引擎扫描和沙箱。

然后基于结果,产生一定的情报信息,归属到上面的基础信息里。

2、情报信息的富化

该功能主要解决一些情报的简单性来给分析、判断带来难度或者难以实际展开工作的能力。

来看个实际的案例:

某甲方的安全运维工程师发现ids有一个可疑ip的报警,然后来威胁情报平台进行查询。发现该ip是境外的ip,并且平台的标签是恶意ip,后门。于是,该安全运维人员立马掐断了内网对该ip的访问,然后排查访问过该ip的终端。结果,未发现任何异常,并且对某业务也产生了一定的影响。

针对该事件,最终的结论当然是一起因对威胁情报"误判"引起的误处理事件。

事实上,该情况也是甲方的安全运维人员,乙方的安全运营人员等普遍存在的一个"困境":

该情报是否正确?是不是真的是xx木马?是不是真的是xx组织的攻击?如果是xx攻击,该怎么指导甲方运维人员去进行后续的响应的工作?

当然,这也是运营级情报的一个通病。因此,这里就更加的需要战术级情报,或者说把查询到的情报的信息更加的丰富化。

因此可以在以下几点来进行完善:

把端口当做一个必要的条件,如ip+端口、domain+端口等做为一个整体的情报项;

ip或者domain扩展到具体的url

情报信息的丰富,包括包括上下文信息、TTPs、网络流量、相应的日志数据、攻击链上的样本等信息。用更多的信息来让运营人员来印证是否跟自己的场景一致;

对应的指导建议,包括怎么防御、怎么监测、怎么清理、怎么加固等;

3、模糊输入或者威胁挖掘能力

乙方的安全运营人员、大甲方的某些部门的客户,可能需要利用平台来进行一些情报的挖掘工作。因此,需要输入一些模糊的条件来帮助这些人员展开工作。可以扩展以下维度:

增加除具体iocs外的搜索的非精确线索的搜索,搜索结果为相应的文件hash列表或者url信息:

包括但不限于(均需支持模糊匹配):

文件基础类:文件名、文件路径、包含的二进制或者串、多引擎的结果信息等;

文件格式化信息:如PE文件的pdb、数字签名;APK的包名、签名信息;文档类的作者信息、包含的宏内容等;

文件行为类:沙箱日志或真实端采集的行为数据中的格式化的行为信息

url:域名格式

当然以上所有的搜索都可以多条件组合,用AND、OD等逻辑条件连接。

如path:/intel/.exe AND behavior_network:/RguhsT/accept.php* AND

date:yes file

此外,为了应付更复杂的规则,或者用于狩猎推送或者回扫,可以支持相应的的规则文件,如yara、sigma、自定义引擎等。

4、文件的相似性

该功能主要是根据一个文件,搜索到相似度高的文件。用于运营人员进行线索的拓线、溯源等。

当然文件的相似性算法有很多,包括使用模糊hash(SSdeep)、导出表hash(imphash)、动态行为相似、字符串的相似度、代码块相似等等。具体的相似算法,专利和文章很多,这里就不再具体展开。

5、终端信息

该功能适用于乙方安全运营人员或者大甲方跟踪受控设备。

主要包含在:

当前ioc的走势:按日/月/季度/年等的终端数量走势图;

当前ioc的终端分布地图,包括世界、中国、甚至身份、单位等;

ioc落地的终端的信息,包括落地时间、终端所在ip、地域等

访问、终端文件等

ip类的会比较特殊,一种是属于出站访问的,ip多为C&C等,适用于上面所述的;还有一类为入站,扫描器、攻击者或者说感兴趣设备的对应ip,这类查询,还需要列出关联在该ip下的设备信息

终端信息:终端的基本信息(机器名、系统版本、主板信息、MAC、单位等)、ip轨迹、进程信息、网络等

6、协同合作平台

该功能适用于安全运营人员,在跟踪某一个事件时候,需要多人、多时间周期一起跟踪完成的一个场景。

如创建某次调查事件,所有参与的人员,都可以一起同步对应的线索、关联到的信息、描述、外部信息等。

形式可以为表格、思维导图、图谱等形式。

总得来说,具体的设计的思维导图参考如下:

02

影响平台能力的要素

除了平台的功能差异、易用性之外,影响平台能力最关键的要素必然是大数据的能力。抛来大数据谈威胁情报,是个很扯淡的事情。当然,光具有大数据还不够,还需要具有足够的威胁情报生产能力,包括大数据的处理、威胁情报生产的规则、模型、算法等。

综合来说,从目前的公开的几个威胁情报平台来看,C端数据最多最全的必然是360,C端上的威胁情报也必然是最丰富的,但是云、B端的数据相对会少一些;B端的数据奇安信有一定的优势,但是C端数据和云数据几乎没有;微步是社区化运营做的做好的,但是数据上相比360,还是存在劣势。VT是功能最多的,包括各种模糊搜索、挖掘等,数据类型也非常的丰富,数据源也来自于世界各地,同时也有一定的社区化,包括评论、协同等。但是VT的数据主要来源于用户上传,数据量相对较小,而且对中国的本地化数据其实并不多。

当然上面只是个人直观的感受,且也只能从公开版本来进行评估,并不代表厂商真实的能力,毕竟有些厂商在定制化场景有更加丰富的功能和能力。

下面具体谈谈一些关键要素:

1、大数据

做威胁情报的厂商很多,主要的安全数据的来源包括:终端数据采集、网络设备采集、PDNS、用户主动提交、开源数据源采集、社交媒体爬取、暗网等。

2、情报生产

有了大数据,必然要对大数据进行生产,产生最终的安全威胁情报。

威胁情报的生产方式有很多,包括最基础的规则、模型、机器学习的算法等。

这块下次单独展开再来讲。

3、标签和情报内容

查询的情报是否有情报标签、标签是否正确、情报的内容是否丰富,也是影响平台能力的关键要素。

标签有与否、正确,主要由威胁情报的生产能力决定。当然很多情报都有一定的周期,因此需要有个周期的管理。

比如,某次APT攻击活动中,使用水坑攻击,攻陷了某个政府网站。因此在攻击活动周期内,该网站应该标注为失陷站点。但是,随着该政府网站的人员发现站点失陷,必然会对网站进行应急响应,消除恶意代码等。因此,超过了时限再查询该政府网站域名时,再标注为恶意,那显然不合适。

又比如某ip,几年前被攻击者用于C&C服务器,但是一段时间后,该ip又分配给了其他的正常使用者。因此再把该ip标注为C&C,也显然不合适。

又比如,域名和ip的解析关系是多变的,如果一直根据解析关系关联情报,那显然也是不合适。

因此除了在情报库中需要有表现外,标签中还需要标注具体的攻击活动日期来进行区分。

此外,还要对情报有具体的介绍,包括组织信息介绍、家族介绍、危害等。

03

使用平台来进行安全运营工作

如上所述,这些威胁情报平台主要面向安全运营人员用来进行威胁的分析、拓线、溯源等。下面主要介绍下如果用这些情报平台来开展安全运营工作。

1、简单的查询

该项比较简单,主要是安全运营人员有一条线索,在这些平台进行查询,根据查询的结果来进行相应的处置。

如某个ip,查询到的标签是僵尸网络,就需要把ip添加到防火墙的阻断列表中;

如某个文件是勒索病毒,就需要删除该文件。

2、拓线和溯源

当输入的线索无法查询到具体的标签时,就需要手动进行一些拓线和溯源的操作。

拓线的方式主要有两种:关系数据拓线;根据关联终端的进一步拓线和溯源。

1)关系数据拓线

如输入hash,未发现标签。然后查询关联数据:

父子关系,根据查找到的父或者子文件进一步拓线;

文件关联的ip、domain,根据对应的ip和域名进行进一步拓线;

文件的在野下载地址,根据下载url来进行进一步拓线;

pdb,根据pdb的信息,查询更多样本,再针对样本进行拓线;

搜索文件的相似文件,根据搜索到的相似文件,再进行拓线。

提取文件相应的字符串或者二进制特征,查询样本,根据查询到的样本再进行拓线。

如输入ip,未发现标签。然后查询关联数据:

访问过该ip的样本,根据样本进行拓线;

ip对应的域名,根据域名再进一步拓线;

如输入domain,未发现标签。然后查询关联数据:

访问过该domain的样本,根据样本进行拓线;

该domain解析到的ip,根据ip进行拓线;

domain的whois,根据whois进行拓线。

2)关联终端的拓线

根据输入的线索,若无法查找到对应的关联数据,或者根据关联数据也无法得出结论的时候,可以根据线索查找到对应的终端信息。然后在终端上去发现一些新的线索。

若关联到的终端是失陷机器,则查询机器上存在的一些文件和网络连接情况,看是否有更多的攻击样本和线索,再根据这些线索来进行拓线。当然有一种特殊的情况:该失陷主机被多个团伙进行攻击,则关联的数据会有一定的偏差,当然这需要分析人员有一定的判断能力;

若关联的终端是攻击者的,则可以根据主机文件、网络访问来查找更多的线索来进行拓线。即便未能完成溯源,也能通过一些终端信息,来针对攻击者进行一定的攻击者画像刻画。

大致的流程图如下(画的不好,仅供参考):

3、主动的威胁挖掘

很多时候,安全运营人员想进行威胁的挖掘,但又没有精确线索的时候,需要输入一些模糊的线索来进行挖掘。

如上面介绍所述,输出一些模糊的信息,来查找对应的样本。

如我们知道lazarus的某些攻击活动中,会使用名为Password.txt.lnk,因此可以在VT搜索Password.txt.lnk:

可见可以搜索到不少样本。

最后说一下很多平台里自带的可视化模块。这块本来应该是亮点功能,因为可以直观的展示各个元素之间的关联。但是,目前大部分的平台的可视化模块都已经成为了鸡肋,成为了各家pr自己报告的截图装逼工具。真正做的比较好的是VT,除此360的情报平台中的可视化也在往工程化发现发展。

个人觉得,可视化的真正意义在于:

1、可以直观的展示各原素之间的关联,样本、ip、域名、whois、ip反查等等;但是只是一层关联关系起始意义不大,不如直接看关联数据。但是,多层数据的关联,就能体现出可视化视图得价值了。这才能真正体验到几个团伙或者家族之间的关联,以及串起关联的要素;

2、图可以自定义扩展,并且运营人员可以一起协同合作。毕竟系统的拓线能力在某些成都会成为一定的瓶颈,人工介入,并且多人协同合作,才能发挥其最大的价值。

04

总结

安全威胁情报的能力,已经成为了一个安全厂商真实安全能力的非常重要的判断标准。其中威胁情报查询平台作为甲乙方安全运营人员最直观体现一个厂商安全威胁情报能力的平台,而该类型的平台也确确实实的能让安全运营人员更好的开展研判、分析、拓线、溯源、挖掘的工作,因此该类型平台的建设也是非常重要的。

诚然目前该类型的平台有很多,功能也大同小异,但是目前真正能做好数据丰富、功能强大易用的还是很少。因此还是有不少的进步空间。

本文描述的功能、要素、开展工作的方式仅作为自己对该平台的理解,其中也不乏考虑不全,甚至错误的地方,望大家海涵。

原文链接:https://mp.weixin.qq.com/s/dq-jL2t0nd9-F0_i7sU9_g