← 返回列表

开源自研HIDS——AgentSmith-HIDS

聚合站 SecWiki技术 作者 字节跳动安全中心 发布 2020年12月28日 17:56 入库 2026-11-18T21:23:22

ByteDance Security

开源背景

2020年12月28日,

字节跳动基础安全和应用安全团队

开源了自研的主机层入侵检测系统

——AgentSmith-HIDS。

本次为AgentSmith-HIDS开源计划的

第一部分——数据采集层。

我们希望通过开源的方式

和大家分享我们踩过的坑,

向优秀同行学习,回馈行业。

字节跳动安全与风控

HIDS

Host-based Intrusion Detection System)

主机层入侵检测系统,主要通过收集主机层的信息来实现入侵检测/行为审计/攻击溯源/资产盘点/合规基线检测等能力,在企业安全建设纵深防御体系的过程中是必不可少的一个环节。

AgentSmith-HIDS简介

AgentSmith-HIDS是字节跳动安全风控基础安全团队自研的HIDS,目前,完整版本在字节跳动内部的部署规模已达到数十万量级,覆盖了包括今日头条、抖音、西瓜视频等多个业务场景,也包括边缘机房、CDN、分布式计算等基础设施。其稳定性/性能/数据采集能力/检测能力/溯源能力等均得到了实战验证,均有不俗表现;并且其天然支持容器化的特性也给HIDS系统带来了极大的能力提升。AgentSmith-HIDS内部的整体策略ATT&CK覆盖率目前已达到56%。

AgentSmith-HIDS整体架构

本次开源部分是数据采集层,即架构图中的Linux Kernel Driver和UserSpace Agent两部分。

内核态驱动

主要通过Kprobe实现,具有较好的性能和信息采集能力。相较于用户态HIDS,在Rootkit检测/网络层信息采集/进程注入/文件系统行为收集等核心能力上,表现出更好的覆盖性和性能。

用户态Agent

主要负责与Server通讯和采集用户态数据,其良好的插件化设计具有很强的扩展能力。

具体的使用方式/能力清单/测试报告/源码等细节信息请移步Repo查看。

数据质量

由于驱动的存在,数据质量层面相较于用户态HIDS得到了极大的提升,不仅可以低成本的获取到如进程相关网络连接信息/部分进程环境变量信息/进程树信息,还有诸如文件创建,网络连接+进程信息,进程注入信息,权限修改信息,DNS Query等信息;不仅帮助了主机安全策略和主机安全运营同学提升效率,丰富的数据也提供了和其他安全产品进行数据互补的更多可能,并且在短连接/短进程方面也有较大的数据完整性优势。

天然支持容器,仅需宿主机安装即可得到宿主机以及容器内行为

AgentSmith-HIDS Driver支持的数据采集列表如下:

(注:具体采集数据的字段信息请移步Repo查看)

性能表现

用户态Agent在内部使用平均CPU占用小于1%单核;内存小于30MB

内核态驱动极大的降低了数据获取成本,无需用户态程序过多的操作如访问/proc等,AgentSmith-HIDS Driver 关键性能表现如下:

(注:udp_recvmsg_handler 仅工作在端口为53 或 5353的场景下)

关于使用与拓展性

AgentSmith-HIDS此次开源仅开源数据采集层的相关能力,使用者可以根据需求进行定制开发,开源部分的能力可以支持入侵检测,行为审计,沙箱,攻击溯源的底层能力需求;用户态Agent也可以通过扩展实现如基线检查,资产盘点等其他主机侧安全需求。

开源地址与协议

开源地址:

https://github.com/bytedance/AgentSmith-HIDS

开源协议:

内核态驱动采用GPLv3协议

用户态Agent采用Apache-2.0协议

后续计划

AgentSmith-HIDS Agent/Driver 会长期维护更新;

后续会陆续开源AgentSmith-HIDS Server/服务发现模块。

致谢与交流

非常感谢项目开发/推动过程中来字节内部相关团队的支持与帮助。

欢迎大家通过GitHub或飞书群【 AgentSmith-HIDS交流群】进行交流讨论和建议反馈。

飞书扫描二维码

AgentSmith-HIDS飞书交流群

原文链接:https://mp.weixin.qq.com/s/sAh_VH5zTuxHRFawYMvuOw