← 返回列表

如何构建反入侵产品(Linux平台)

单站 灾难控制局 发布 Wed, 19 Jun 2024 21:14:00 +0800 入库 2026-11-18T05:14:02

原创 EBwill 2024-06-19 21:14 上海

本文主要系统性介绍在Linux平台下如何构建反入侵产品。

目前主流的方案还是基于Agent的方式,Agentless的限制比较明显。即Agent运行在端上负责数据采集、部分恶意行为判断和响应能力等,后端负责Agent管理和数据处理来发现恶意行为。

整体不详细展开,主要写一些设计过程中需要关注的问题或主要的设计思路。

通过签名特征或者静态特征检测,目前主流还是会结合动态行为进行准实时检测,比如结合open或者create file再追加静态检测插件进行扫描。

因为静态策略建设比较依赖积累,这部分特征库一般可以选择开源裁剪(如clamav),或者外部采购商业检测引擎以及采购威胁情报。

自建可以考虑通过:

长期看不仅仅要建立各种动态静态策略,更重要的是要建立内部对于的各种样本、家族、手法分析能力和方法,并且能够不断的沉淀下来,这可以帮助我们感知不同纬度的攻击者的手法和创新,来不断的提高整体的检测能力。

我给基本策略的定义是:即基于单一数据就可以判断该行为为恶意的策略,比如一些基本的反弹shell,常见RAT行为特征,常见的恶意工具特征,常见挖矿蠕虫特征等等,除此之外还有一些简单的无状态频率检测,如爆破,扫描等。

这里可以根据ATT&CK和自己内部的归纳方法先进行攻击手法的收集归类和自动化验证工具的准备,再逐步进行策略的编写,并且需要长期查漏补缺。

在高级的对抗中往往很难通过基本策略进行检测,这一部分是因为服务器端有些时候已经是攻击的末端了,攻击者可能已经可以通过合法身份的渠道登陆到服务器上进行一些操作了,另一方面更高明的攻击者也会有尽量降低暴露自己的可能,直接使用常见RAT或者反弹shell等操作并不是一个好的选择。

因此无论是什么场景的入侵检测产品,最终的目的是希望通过引擎+算法+策略实现对于行为本身的理解,然后再进行判断。

那么多个弱告警+告警关联+综合打分是一个比较容易想到的方案。

基本策略需要考虑误报问题,其策略编写主要侧重针对恶意行为所特有的特征,因此对于准确度和误报率是有较高要求的,而弱告警策略构建因为不需要考虑到误报问题,比如cat xxx.conf可以说是 Discovery行为,但是更多可能性是运维或研发同学的正常操作,不过没有关系,可以编写一个分数较低的弱告警策略。弱告警策略的编写方式就是针对ATT&CK的行为在不用考虑误报的情况下进行策略编写,力求全面而非准确,再举一些例子,比如tmp下创建文件,判断是否处于容器环境,java/php等web常见进程派生进程,访问配置文件,查找敏感配置,查看各种基础信息等。

我们有了自己的弱告警规则后,再基于进程,文件等关联关系将不同的告警进行关联,再进行聚合打分。

在早期的版本中,我们是混沌匹配的,即如果我们有3条来自同一进程派生的弱告警,并且有一个最基本的顺序性(比如符合 Initial Access -> Discovery的顺序性),那么会进行对应的弱告警累计并与告警阈值进行对比,如果高于则产生告警。注意这里实际上是不考虑弱告警与弱告警之间的逻辑的。该方案整体误报较高,可解释性较差,但是确实可以发现一些基本策略无法发现的恶意行为。

随着我们在这个方向的深入,我们发现比较明确的行为序列可以更好的降低混沌方案的缺点,因此相对窄化的但是明确的存在内在逻辑的弱告警关联方案逐步替代了之前的混沌方案。

行为序列检测(即通过跨越时空和主体,并通过多个明确的弱告警组合进行检测)带来了很好的可解释性,具体的行为序列需要从具体的攻击case中提炼,也可以从蜜罐中进行半自动化的提炼。比如:

提升行为序列检测能力需要:

需要注意的是行为序列检测需要规则引擎支持CEP,并且可以引入一些基准数据来影响单个告警的分数权重,比如x%的历史时间或相同镜像业务没有该行为,则该告警的分数 = 基础分数 * (1-x%) *100等(公示瞎写的)。

这里有一个没有来得及实践的问题,即局部的混沌是否会带来更好的检测效果?

关于行为序列检测我们还可以基于大量的公网蜜罐数据进行行为序列自动化学习和生成,然后通过人工评估和生产环境灰度后再发布策略,这样可以大大提升对于新型恶意行为的捕获能力。

异常检测不是一个新鲜概念了,在几年前伴随着机器学习大热的时候热过一段时间,早期方案是比较暴力的针对部分类型的原始数据进行全量的异常检测,但是效果不好,性能差,可解释性差,误报高。

第二个阶段是通过对行为进行打标,然后再进行传统的异常检测(异常点检测或者分类),这个思路本质是通过标签让机器更加理解行为。

这个方案的Demo效果是不错的,恰好Demo出来没多久ChatGPT3.5就发布了,基于LLM对行为进行自动化打标极大的提高了效率,最后的检测部分还是选择了传统的异常检测算法进行,以便提高效率并且更好的调整告警阈值。

具体的标签化例子:

然后根据数据的各种操作对象,来源,进程树信息,特殊环境变量等等进行标签化,标签种类越多越好,然后通过LLM高效打标。

打好标签后再基于行为组为最小单位进行模型生成(可以选择一些传统的聚类或分类的机器学习方案),然后再用恶意行为进行测试来不断调整,注意这里需要基于一组行为序列进行训练和检测。

我们的Demo最后表现是可以将生产环境的抽样的数据分为100多类,并且对于已知的恶意行为有不错的区分度。

数据关联在行为序列检测和告警发生后基于告警数据对原始数据溯源有用到。

Linux Process Group Session ID 是一个很好的选择,需要注意setsid会变更SID信息,简单场景下可以直接用SID作为溯源用Key,效果会明显好于PPID/PGID等其他ID。

由于任何Runtime数据都会采集SID,因此在告警溯源的场景下,仅使用告警数据的SID就可以非常方便的把一个该行为前后的进程、文件、网络、权限等行为进行关联,再对其进行基于时间的关联绘图将会非常实用。

在超大数据量并且有自研规则引擎的情况下,可以在规则引擎内集成一段时间的原始数据离线存储与查询能力:将SID作为唯一索引,保存为索引文件(近期的存储在内存中),原始数据的压缩文件和压缩字典进行分片保存,遇到需要进行查询的场景,先查询索引文件,如有匹配,再进行对应压缩文件的解压缩进行提取,可以参考下LSM-Tree方案。

这样的好处是可以实现非常高的存储和计算性能,压缩比可以做到很高,并且可以极大的减少存储成本的运维成本(私有化部署方便),并且这样相当于让规则引擎支持流数据处理的同时有了离线数据的处理能力,有了原生支持流+离线的能力,策略编写也会更加便利。

这里主要指告警后除了原始数据外的数据关联场景,目的是提升告警数据的丰富度和上下文,提高IR人员效率:

其中部分场景的数据需要从端上采集而非全量实时采集,如某Java进程产生某告警,Server需要调度Agent的数据采集插件对该进程的相关日志进行采集上报,比如采集告警前2分钟后5分钟的该进程日志,然后再告警详情页供IR人员查看。

这样不仅仅能有效的提高IR人员的效率,还能帮助IR人员查漏补缺。

无论是Runtime原始数据溯源还是其他数据溯源,最好可以提供整体的图关联展示+表格数据展示,便于IR人员观察和检索分析。

这部分最好可以设计在告警详情页面中以便IR同学快速查看。

主动防御应该是针对100%确认的恶意的行为进行阻断,这里出现了1-2例误报就会让业务和安全工程师失去信心。

因此通过大量外部蜜罐数据明确了某些自动化攻击家族的pattern,再通过自动化+人工确认的方案提炼成行为序列检测策略,然后通过行为序列检测方法进行阻断,阻断后给出也可以恶意家族报告证明阻断的合法性,并且通过自动化的方式提升蜜罐数据到自动化阻断策略的效率。

还有一些比较强的特征比如明确的静态指纹特征,明确的挖矿/勒索/DDOS行为或静态文件特征,明确的基于内部情报的特征等可以使用。

总之不能基于普通的入侵检测策略进行阻断,应该要有非常强的阻断依据,目标应该是误报率为0%。

该例子是在内核态实现了劫持指定连接并且实现接收控制者命令并执行然后基于劫持的连接返回执行结果的Case,从HIDS视角不会产生任何数据,用户态也不会有任何相关进程或后门文件。这种场景下如果投入足够高可以完美的避开所有主机安全的监控,并且可以完成非常丰富和复杂的功能。这部分的对抗成本非常高,而且不排除投毒的可能性,建议是先一步掌握主动权,即:内核模块需要签名才可以进入内核。

另外这里需要提一下,目前主机端的策略建设都太过于依赖进程创建了,很多场景下可能简单的mv bash abc或者mv nmap 123然后再执行相关操作都可以实现Bypass,这里我觉得可能是所有策略建设同学都需要思考的问题,一方面在实际生产环境确实不可能无限增加hook点来不断提升行为感知的覆盖率,另一方面各种针对绕过Execve的情况也越来越多,我之前有设想过一个方案:

最终还是需要增加新的数据感知能力来应对更复杂的场景,但是我们可以通过更加动态和精准的方式调整这些数据采集的开关或者检测模型,来尽可能降低成本和业务侧的影响。

还有一个问题是目前有些安全厂商构建策略的时候实际上考虑的并不是真正的对抗,而是面向竞品和招投标POC进行建设的,或者是噱头式的功能开发,很难真的在检测工程方面积累沉淀,在新型风险或者未知攻击行为面前能力很难说,不过实际上关注这部分的用户其实确实也很少就是了。

附很久之前画的一张草图:Linux下的对抗难度金字塔。

安全的本质是什么?这个问题我思考了很久,答案在几年前基本定型了,我的答案是:

保证业务在预期的环境内,执行预期的行为。

目前的基线检测,漏洞发现等是尽可能确保在预期的环境内运行。

而入侵检测是在不断尝试发现小部分非预期的行为。

如何更近一步?我觉得这个答案实际上很早就有了,就是所谓的MAC(mandatory access control),比如基于LSM的SeLinux,但是很显然,这不适用于现有的互联网公司的架构和需求。

我们设想一下,怎样的权限控制体系才是最优解,我们从一个发布到生产环境的二进制的视角看下:

如果是一个开发人员登陆到某台服务器上,那么他的视角是:

如果是一个运维人员的视角是:

这些场景下的推演我们可以发现,实际上目前Linux本身的权限体系是比较难支撑这种限制和管理的,因为目前主流的Linux下的权限还是依赖于Linux用户体系,这显然无法应对复杂的权限关系,我认为最佳实践应该是基于LSM(Linux Security Modules)的能力将系统权限上进行业务场景的细分,如分为文件权限,系统权限,特殊权限,网络权限,然后和服务发现,服务权限,人员权限三者进行结合,从而尝试实现人员和应用的最小权限控制。

如果从实际推进落地的角度,可能一开始是只保护系统关键配置如sshd配置,dns配置,网络配置等,然后再逐步扩大保护的范围,比如再扩大到数据库服务关键应用等。

(应用程序的权限控制的草图)

关于XDR主要想聊的问题主要是:目前有多少攻击是无法基于单一安全产品检测到的?XDR排除告警后数据关联能力外,基于检测工程部分有多少价值值得挖掘?我无法给出比例,并且不同厂家下的产品能力可能也不一致,但是我估计可能不会特别高。

当然XDR是有价值的,只是我觉得目前网络,主机,各种Runtime下的检测和产品对于行为本身的理解能力还有非常大的空间可以成长。

目前基于安全知识库的大模型的支持,能做哪些工作?

实在是没想到自从去年6月离开前团队后,我就基本算是离开反入侵建设领域了,这一年来也是感慨颇多。想到之前有太多未完成的工作和没来得及实践的想法,于是提笔写下了这篇文章,本来想尽可能详尽一些,但是没想到工作量要比预想的大得多,所以最后还是写成了一篇比较概括性的文章。总之希望这篇文章可以帮助其他还在这个领域的小伙伴,也在此感谢长期关注的小伙伴们。

也不知道是不是最后一篇主机安全或入侵检测相关的文章了,希望将来有缘再见吧。

原文链接:https://mp.weixin.qq.com/s?__biz=MzI1NTc1NTcwNg==&mid=2247484388&idx=1&sn=3673bea3696f50cd0a0e25d7d0481eee