工作来源
CoNEXT
2022
工作背景
单独看Netflow数据无法了解对应的服务,单独看DNS数据无法了解流量大小,那么将二者结合起来看呢?
工作设计
整体架构如下所示。由于Worker的多个实例会同时访问保存DNS数据的共享数据结构,需要将DNS数据拆分并分发到不同的分片,尽可能让分片间隔离。设计只关心来源IP地址,但修改为目的IP或者源IP与目的IP也是简单的。
99%的A/AAAA与CNAME记录的TTL都小于3600秒与7200秒。以此作为记录的过期时间,达到阈值即全部清除。保存DNS记录的数据机构为Hashmap,响应值为Key、请求值为Value。
设计了三级Hashmap结构,新数据都存在活跃Hashmap中,达到阈值后将活跃Hashmap的数据更新到非活跃Hashmap中,并清活跃Hashmap。如果TTL比阈值还大,会被放入持久Hashmap中。
DNS数据处理
首先要检查是不是有效的DNS响应数据,符合要求的放入FillUp队列。每个FillUp Worker从FillUp队列中拉取数据,如果是A/AAAA/CNAME记录就存入Hashmap:
IP-NAME Hashmap:IP与域名的对应关系
NAME-CNAME Hashmap:域名与CNAME域名的对应关系
Netflow数据处理
和DNS数据差不多的处理流程,只是要在Hashmap查IP与域名的对应关系。值得注意的是,CNAME的关系最多嵌套查六次(只有不到1%的CNAME链会超过6次)。
经过测试发现这些设计都是必要的,要么是可以提高关联率、要么是可以降低资源使用率。
No Split:Hashmap不被切分成多片
No Clear-Up:Hashmap永远在内存中不清除
No Rotation:Hashmap清除但取消非活跃Hashmap
No Long Hashmaps:取消持久Hashmap
工作准备
数据来自欧洲大型ISP:
①DNS数据:拆分成2条流,平均每秒7.5万条DNS记录
②Netflow数据:拆分成26条流,平均每秒1百万Netflow记录
在欧洲小型ISP也进行了测试,每秒11.5万条DNS记录、每秒13.8万条NetFlow记录。
设备为128核CPU、756 GB内存的Ubuntu 18.04.5 TLS服务器
工作评估
大型ISP场景下使用25核、15-30
GB内存,小型ISP场景下使用3核、6 GB内存。
只有81.7%的流量可以关联上,18.3%的流量无法进行关联。毕竟这种方式不能百分比覆盖所有的DNS请求,并且不是所有网络行为都必须要走DNS请求。分析数据可以发现,每20个DNS数据包(53/DNS、853/DoT)就有1个是请求公共DNS服务器的,也就是说DNS数据的覆盖率约为95%。
这样的关联方式,如果不同域名拥有相同的IP的话,所有流量都会关联到第二个域名。统计数据发现70%的DNS记录的TTL小于三百秒:
88%的IP地址仅映射到单个域名,因此一个IP对应多个域名的情况影响并不大。
流媒体服务S1的流量主要来自一个自治系统,流媒体服务S2的流量主要来自两个自治系统。
垃圾邮件域名
每小时的一百万个域名中,有612个域名被Spamhaus DBL认为是可疑域名。这些域名产生了数TB的流量,大量的流量来自垃圾邮件与僵尸网络,极少的域名就产生的很大的流量。
无效域名
不严格(RFC 1035)地验证DNS是否无效,只靠以下约束:
(1)域名总长度不超过255字节
(2)域名每部分最长63字节
(3)每部分以字母开头,以字母或者数字结尾,其中可以存在连字符
一天的流量中可以发现66.6万个无效域名。
工作思考
作者将Go的代码开源了,感兴趣的可以下载翻看。
https://github.com/maganiss/FlowDNS