← 返回列表

全流量入侵检测系统的性能分析

聚合站 SecWiki技术 作者 leveryd 发布 2021年6月22日 22:59 入库 2026-11-18T18:18:53

问题背景

16年在房多多的时候参与开发nids,用bro[1]来做抓包、解包和规则引擎。

当时对bro解析http的成功率做测试,生产环境中发现差不多有10%-20%的http请求并没有解析成功。

我当时的测试思路如下:

客户端发送http请求,请求中带有特殊标记

统计bro http日志中有带有标记的数量

10%-20%的解析失败,意味着有可能有攻击行为没有检测到。因此需要提升http流量解析的成功率。

当时在网上也搜到一些提升抓包性能的方案,比如pf_ring、dpdk等。不过当时理解不了原理,最近补了一些网络方面的知识,所以就来回顾一下这个案例。

我主要想弄清楚以下问题:

pf_ring真的能提高抓包性能么?

pf_ring为什么能提高性能?

基于以下两点原因,本文只讨论pf_ring、不讨论dpdk:

端口扫描工具masscan支持pf_ring,而不支持dpdk。我后面要分析masscan

精力有限,而pf_ring技术点比dpdk似乎要少一些、简单一点

另外本文只讨论pf_ring的三种模式[2]中的默认模式

分析过程

先理解一下"问题背景"里场景的性能

从网卡上的流量到bro将http请求写到日志中,可以大概分成三个部分:

用一些性能工具(比如perf)结合代码 应该可以看出来bro每个阶段的cpu消耗占比。

这篇文章只关注"抓包"这个环节的性能。

为什么会丢包?

丢包的原因太多了,在网络传输 -> 网卡 -> 驱动 -> 内核sk_buff -> tcp/ip协议栈 -> 用户态每一个环节都有可能丢包。

可以看图解Linux网络包接收过程[3]这篇文章了解完整的收包过程。

关于"排查各个环节丢包的工具和思路",由于没有实践过多少,这里就不推荐啥文章了。

抓包过程中的性能和哪些因素有关?

目前我理解的主要和三个方面有关:

pf_ring的实现方式和文章中的差不多:

我对napi的理解:

pf_ring真的可以提高libpcap性能么?

新版本的libpcap采用PACKET_MMAP方式收包。

PACKET_MMAP是内核实现的一种机制,发包和收包都可以用这个技术。它同样使用mmap减少了内存拷贝和系统调用,因此提升了性能。

PACKET_MMAP的详细介绍推荐看内核文档[7],写得比较全(内容比较多,我也没完整过一遍)。

我对"基于pf_ring非零拷贝的libpcap"和"基于packet_mmap的libpcap"对比,结论如下:

为了验证自己的结论,就做个实验来看看。

实验验证

在自己实验前,看到PF_RING与NAPI结合的捕包性能优化和仿真.pdf[8]这篇实践文章,推荐阅读。此文章结论是pf_ring可以提高抓包性能

我做的实验过程见公众号中另一篇文章"验证pf_ring性能",结论是pf_ring可以提高抓包成功率。

实验结果上虽然可以看出来提高抓包成功率,但是看不出来是否有大幅度提升。

总结

实验的结论和我自己对原理的分析并没有对应上,也并没有完全解决我一开始想弄清楚的问题。

因为文章中的很多技术我在研究案例之前不怎么知道,另外也没有找到搞网络的大佬愿意帮我校对文章,所以不能保证文章中的结论都是对的。

如果读者发现有什么错误的地方,请公众号后台私信我。

参考资料

[1]bro:https://github.com/bro/bro

[2]pf_ring的三种模式:https://www.ntop.org/pf_ring/pf_ring-and-transparent-mode/

[3]图解Linux网络包接收过程:https://zhuanlan.zhihu.com/p/256428917

[4]文章中的示例1:https://nieyong.github.io/wiki_cpu/mmap%E8%AF%A6%E8%A7%A3.html

[5]napi官方文档:https://wiki.linuxfoundation.org/networking/napi

[6]Linux kernel 链路层帧接收:http://www.hyuuhit.com/2018/07/25/receive-packet/

[7]内核文档:https://github.com/torvalds/linux/blob/master/Documentation/networking/packet_mmap.rst

[8]PF_RING与NAPI结合的捕包性能优化和仿真.pdf:http://cea.ceaj.org/CN/article/downloadArticleFile.do?attachType=PDF&id=30309

原文链接:https://mp.weixin.qq.com/s/7_ZrnKVaWuBjXCgmqdaUAQ