ByteDance Security
开源背景
2020年12月28日,
字节跳动基础安全和应用安全团队
开源了自研的主机层入侵检测系统
——AgentSmith-HIDS。
本次为AgentSmith-HIDS开源计划的
第一部分——数据采集层。
我们希望通过开源的方式
和大家分享我们踩过的坑,
向优秀同行学习,回馈行业。
字节跳动安全与风控
HIDS
Host-based Intrusion Detection System)
主机层入侵检测系统,主要通过收集主机层的信息来实现入侵检测/行为审计/攻击溯源/资产盘点/合规基线检测等能力,在企业安全建设纵深防御体系的过程中是必不可少的一个环节。
AgentSmith-HIDS简介
AgentSmith-HIDS是字节跳动安全风控基础安全团队自研的HIDS,目前,完整版本在字节跳动内部的部署规模已达到数十万量级,覆盖了包括今日头条、抖音、西瓜视频等多个业务场景,也包括边缘机房、CDN、分布式计算等基础设施。其稳定性/性能/数据采集能力/检测能力/溯源能力等均得到了实战验证,均有不俗表现;并且其天然支持容器化的特性也给HIDS系统带来了极大的能力提升。AgentSmith-HIDS内部的整体策略ATT&CK覆盖率目前已达到56%。
AgentSmith-HIDS整体架构
本次开源部分是数据采集层,即架构图中的Linux Kernel Driver和UserSpace Agent两部分。
内核态驱动
主要通过Kprobe实现,具有较好的性能和信息采集能力。相较于用户态HIDS,在Rootkit检测/网络层信息采集/进程注入/文件系统行为收集等核心能力上,表现出更好的覆盖性和性能。
用户态Agent
主要负责与Server通讯和采集用户态数据,其良好的插件化设计具有很强的扩展能力。
具体的使用方式/能力清单/测试报告/源码等细节信息请移步Repo查看。
数据质量
由于驱动的存在,数据质量层面相较于用户态HIDS得到了极大的提升,不仅可以低成本的获取到如进程相关网络连接信息/部分进程环境变量信息/进程树信息,还有诸如文件创建,网络连接+进程信息,进程注入信息,权限修改信息,DNS Query等信息;不仅帮助了主机安全策略和主机安全运营同学提升效率,丰富的数据也提供了和其他安全产品进行数据互补的更多可能,并且在短连接/短进程方面也有较大的数据完整性优势。
天然支持容器,仅需宿主机安装即可得到宿主机以及容器内行为
AgentSmith-HIDS Driver支持的数据采集列表如下:
(注:具体采集数据的字段信息请移步Repo查看)
性能表现
用户态Agent在内部使用平均CPU占用小于1%单核;内存小于30MB
内核态驱动极大的降低了数据获取成本,无需用户态程序过多的操作如访问/proc等,AgentSmith-HIDS Driver 关键性能表现如下:
(注:udp_recvmsg_handler 仅工作在端口为53 或 5353的场景下)
关于使用与拓展性
AgentSmith-HIDS此次开源仅开源数据采集层的相关能力,使用者可以根据需求进行定制开发,开源部分的能力可以支持入侵检测,行为审计,沙箱,攻击溯源的底层能力需求;用户态Agent也可以通过扩展实现如基线检查,资产盘点等其他主机侧安全需求。
开源地址与协议
开源地址:
https://github.com/bytedance/AgentSmith-HIDS
开源协议:
内核态驱动采用GPLv3协议
用户态Agent采用Apache-2.0协议
后续计划
AgentSmith-HIDS Agent/Driver 会长期维护更新;
后续会陆续开源AgentSmith-HIDS Server/服务发现模块。
致谢与交流
非常感谢项目开发/推动过程中来字节内部相关团队的支持与帮助。
欢迎大家通过GitHub或飞书群【 AgentSmith-HIDS交流群】进行交流讨论和建议反馈。
飞书扫描二维码
AgentSmith-HIDS飞书交流群