← 返回列表

MITRE ATT&CK 第四轮评估结果发布

聚合站 SecWiki技术 作者 威胁棱镜 发布 2022年4月6日 09:00 入库 2026-11-18T15:18:19

MITER 每年会针对不同的攻击组织进行模拟,对参加的各个安全厂商进行评估。2022 年 3 月,MITER 发布了最新一轮的 ATT&CK 安全解决方案评估结果。这是继 2018 年测试评估检测 APT3、2019 年测试评估检测 APT29、2020 年测试评估检测 Carbanak/FIN7 后的第四轮评估。

评估目标

在 2021 年第四季度进行的 ATT&CK 第四轮评估的假想敌是 Wizard Spider + Sandworm,本轮评估的重点是对数据加密(T1486)部分进行测试。Wizard Spider 利用 Ryuk 勒索软件进行数据加密,Sandworm 利用 NotPetya 进行数据加密。

Wizard Spider

Wizard Spider 是一个以获取经济利益为目的的攻击团伙,从 2018 年 8 月开始一直在针对各种组织发起勒索软件攻击行动。

Sandworm Team

Sandworm Team 是一个被认为是俄罗斯的 APT 组织,该组织被美国司法部和英国国家网络安全中心归因为俄罗斯 GRU 74455 部队。

Sandworm Team 最典型的攻击案例包括 2015 年和 2016 年针对乌克兰电力公司的攻击以及 2017 年的 NotPetya,该攻击组织至少从 2009 年开始就一直保持活跃。

参评厂商

征集参评厂商从 2021 年 3 月中旬到 5 月末截止。如下所示,参与本轮评估的 30 个厂商依旧是全明星阵容。卡巴斯基依旧缺席,不知道是不是制裁的缘故。有一些新玩家,例如 Rapid7 和 Qualys。

评估环境

评估在 Microsoft Azure 云上进行,分为两个组织的网络。主机操作系统分别是 Windows Server 2019、Windows 10 Pro 和 CentOS 7.9,某些主机上禁用了 Windows Defender。

覆盖技术

两个组织使用的技术项如下所示,Wizard Spider 的技术项为紫色, Sandworm 的技术项为蓝色,二者都有的技术项目为灰色。

结果评估

实际上,ATT&CK 评估不仅会看检测数量,还会看是否捕获了攻击的子步骤、是否提供了有效告警、是否阻止了攻击。

本轮评估的两个场景下一共设计了九十个攻击步骤,其中 Linux 部分是可选参与的,但没有提供该系统上解决方案的厂商将无法得到该部分的可见性分数。

检测分为五级:

N/A(不适用):厂商并不支持检测 Linux 环境

None:厂商没有能够检测发现

Telemetry(遥测):通过遥测收集的数据在远端检测

General(通用):检测发现恶意行为,但没有提供更多细节

Tactic(战术):检测能够提供出攻击者战术意图的相关信息

Technique(技术):检测能够提供出攻击者技术方式的相关信息

告警分为三级告警:通用告警、战术告警、技术告警。

技术告警能够使得分析人员快速定位并处理,除了对安全事件的基本描述外还带有上下文。例如不仅仅告警恶意 PowerShell 脚本执行,还告知分析人员恶意脚本要通过更改注册表项利用 Winlogon 在登录时执行任意程序进行持久化。

评估结果

MITRE 的评估指标此前在第三轮评估中介绍过,可以移步查看:

MITRE ATT&CK 第三轮评估结果发布

Avenger,公众号:威胁棱镜MITRE ATT&CK 第三轮评估结果发布

整体的结果如下所示:

厂商检测数量分析覆盖遥测覆盖可见数量AhnLab83592483Bitdefender1151063106Check Point1171033103Cisco111742690CrowdStrike1129416105Cybereason1091081109CyCraft77641377BlackBerry Cylance97712489Cynet12310211107Deep Instinct76591563Elastic108713598ESET90691775Fidelis128852294FireEye9785689Fortinet9685987Malwarebytes8383083McAfee1138426107Microsoft11098598Palo Alto Networks1071070107Qualys81502366Rapid770234662ReaQta7162971SentinelOne1081080108Somma69284168Sophos99672788Broadcom Symantec9387592Trend Micro13310013105Uptycs97811592VMware Carbon Black90573390WithSecure83661783

注:检测数量项 MITRE 已经不再直接公布,本文采用数据中的 Total_Detections 进行统计。与原指标含义肯定存在统计口径上的差异,但仍沿用原指标的表述,不同轮次间该指标不具备可比性。

按照排名整理下前五名,乍一看没有明显的赢家,没有任何一个厂商表现出了异乎寻常的统治力。

分项来看,首先是检测数量,趋势科技夺魁:

接着是分析覆盖,由 SentinelOne 与 Cybereason 并列第一:

在可见数量上,Cybereason 险胜 SentinelOne:

最后是遥测覆盖,画风大变:

计算检测数量与遥测覆盖的相关系数的话,为-0.247。而与分析覆盖和可见数量则趋向正相关,可见绝大多数引擎都是不非常依赖遥测的。例如,Palo Alto Networks 与 SentinelOne 在遥测上均为零双双倒数,但检测数量的排名却均能排在中间。此类更为典型的厂商是 Bitdefender 与 Check Point,二者都强依赖就地检测而遥测并不擅长(注:下图橙色为遥测排名,蓝色为检测排名)。

另外,将遥测作为有力补充的厂商也不少,典型的是 Cisco 与 McAfee,此类厂商在两个领域的表现都很好。而出现遥测排名靠前而检测数量排名靠后的情况,可能表明该厂商更依赖遥测而非就地检出进行告警。例如,Rapid7、Somma。

再次强调一下,MITRE 官方表示不提供任何排名或者评级,只提供结果相关的原始数据。各方都可以基于这些数据按照不同的角度进行数据解读,本文探讨的也是笔者对数据的个人视角,不代表对各个厂商的好坏给出了最终排名,也并非 MITRE 给出的排名。

按照排名来统计的话,包含四个子项在内的整体平均排名的 TOP10 为:

McAfee

Cynet

Trend Micro

Fidelis

Cybereason/Bitdefender

Elastic

SentinelOne/Check Point

Cisco

而去掉遥测子项进行平均排名的话,排名的 TOP10 为:

Cybereason

Cynet

Bitdefender/SentinelOne

Trend Micro

Check Point

Palo Alto Networks

CrowdStrike

McAfee

Fidelis

不知道这两个排名,哪一个更符合你心里的排名预期。

产品

最后来看一下部分厂商的产品截图,在做 EDR、XDR 相关产品的同学可以取其精华去其糟粕。(注:微信公众号会压缩图片,大图看不清楚请移步官网)

Microsoft

Bitdefender

Cybereason

SentinelOne

Elastic

Trend Micro

CrowdStrike

Check Point

Palo Alto Networks

想要获取更多信息,点击阅读原文可查看评估结果页面。

原文链接:https://mp.weixin.qq.com/s/j6IuqWNXqon_hVLUH6blVA