← 返回列表

Netflow 与 DNS 数据流的大规模关联

聚合站 SecWiki技术 作者 威胁棱镜 发布 2024年7月18日 09:00 入库 2026-11-18T06:41:35

工作来源

CoNEXT
2022

工作背景

单独看Netflow数据无法了解对应的服务,单独看DNS数据无法了解流量大小,那么将二者结合起来看呢?

工作设计

整体架构如下所示。由于Worker的多个实例会同时访问保存DNS数据的共享数据结构,需要将DNS数据拆分并分发到不同的分片,尽可能让分片间隔离。设计只关心来源IP地址,但修改为目的IP或者源IP与目的IP也是简单的。

99%的A/AAAA与CNAME记录的TTL都小于3600秒与7200秒。以此作为记录的过期时间,达到阈值即全部清除。保存DNS记录的数据机构为Hashmap,响应值为Key、请求值为Value。

设计了三级Hashmap结构,新数据都存在活跃Hashmap中,达到阈值后将活跃Hashmap的数据更新到非活跃Hashmap中,并清活跃Hashmap。如果TTL比阈值还大,会被放入持久Hashmap中。

DNS数据处理

首先要检查是不是有效的DNS响应数据,符合要求的放入FillUp队列。每个FillUp Worker从FillUp队列中拉取数据,如果是A/AAAA/CNAME记录就存入Hashmap:

IP-NAME Hashmap:IP与域名的对应关系

NAME-CNAME Hashmap:域名与CNAME域名的对应关系

Netflow数据处理

和DNS数据差不多的处理流程,只是要在Hashmap查IP与域名的对应关系。值得注意的是,CNAME的关系最多嵌套查六次(只有不到1%的CNAME链会超过6次)。

经过测试发现这些设计都是必要的,要么是可以提高关联率、要么是可以降低资源使用率。

No Split:Hashmap不被切分成多片

No Clear-Up:Hashmap永远在内存中不清除

No Rotation:Hashmap清除但取消非活跃Hashmap

No Long Hashmaps:取消持久Hashmap

工作准备

数据来自欧洲大型ISP:

①DNS数据:拆分成2条流,平均每秒7.5万条DNS记录

②Netflow数据:拆分成26条流,平均每秒1百万Netflow记录

在欧洲小型ISP也进行了测试,每秒11.5万条DNS记录、每秒13.8万条NetFlow记录。

设备为128核CPU、756 GB内存的Ubuntu 18.04.5 TLS服务器

工作评估

大型ISP场景下使用25核、15-30
GB内存,小型ISP场景下使用3核、6 GB内存。

只有81.7%的流量可以关联上,18.3%的流量无法进行关联。毕竟这种方式不能百分比覆盖所有的DNS请求,并且不是所有网络行为都必须要走DNS请求。分析数据可以发现,每20个DNS数据包(53/DNS、853/DoT)就有1个是请求公共DNS服务器的,也就是说DNS数据的覆盖率约为95%。

这样的关联方式,如果不同域名拥有相同的IP的话,所有流量都会关联到第二个域名。统计数据发现70%的DNS记录的TTL小于三百秒:

88%的IP地址仅映射到单个域名,因此一个IP对应多个域名的情况影响并不大。

流媒体服务S1的流量主要来自一个自治系统,流媒体服务S2的流量主要来自两个自治系统。

垃圾邮件域名

每小时的一百万个域名中,有612个域名被Spamhaus DBL认为是可疑域名。这些域名产生了数TB的流量,大量的流量来自垃圾邮件与僵尸网络,极少的域名就产生的很大的流量。

无效域名

不严格(RFC 1035)地验证DNS是否无效,只靠以下约束:

(1)域名总长度不超过255字节

(2)域名每部分最长63字节

(3)每部分以字母开头,以字母或者数字结尾,其中可以存在连字符

一天的流量中可以发现66.6万个无效域名。

工作思考

作者将Go的代码开源了,感兴趣的可以下载翻看。

https://github.com/maganiss/FlowDNS

原文链接:https://mp.weixin.qq.com/s/eMA2ZBnmEkEA7BP5SZyHBw