(麻了,公众号这个md转过来的排版和动图怎么都有问题,放个网盘链接在这吧,aHR0cHM6Ly93d3NnLmxhbnpvdWIuY29tL2l5b0t0MWJ2cjlnYg==)
原文地址:https://blog.foxio.io/ja4-network-fingerprinting-9376fe9ca637
太长不看版
在这篇博客中, 我将介绍新的 JA4+网络指纹识别方法以及它们可以检测的点的示例。
JA4+提供了一个模块化的网络指纹套件,使得你能够简单的使用、分享以及替代 2017 年发布的 JA3TLS 指纹标准。这些方法对于人类和机器都是可读的,以便于更加有效的识别和分析恶意攻击。这些指纹的例子包含了恶意扫描行为、恶意软件检测、预防会话劫持、自动化合规性检测、位置追踪、DDoS 检测、危险用户分组、反向 shell 检测等等、
初始指纹包括:
JA4 — TLS Client JA4S — TLS Server Response JA4H — HTTP Client JA4L — Light Distance/Location JA4X — X509 TLS Certificate JA4SSH — SSH Traffic
更多的指纹正在开发中,当他们发布的时候将会添加到 JA4+家族中。
示例:
JA4+的内容可以在这里看到:https://github.com/FoxIO-LLC/ja4
JA4+是什么
JA4+是一组简单且强大的网络指纹集合,适用于人类和机器可读的多种协议,以便于识别和分析恶意攻击。如果你不熟悉网络指纹,我鼓励你阅读我的博客(JA3:https://medium.com/salesforce-engineering/tls-fingerprinting-with-ja3-and-ja3s-247362855967,JARM:https://medium.com/salesforce-engineering/easily-identify-malicious-servers-on-the-internet-with-jarm-e095edac525a),以及 Fastly 写的 State of TLS Fingerprinting(https://www.fastly.com/blog/the-state-of-tls-fingerprinting-whats-working-what-isnt-and-whats-next),其中介绍了 TLS 指纹的历史和一些问题。JA4+提供了专门的支持,并且会随着行业变化而不断更新。并且,根据主流需求,一个专门的 JA4+指纹数据库以及相关的应用程序、推荐的检测逻辑正在构建。
所有的 JA4+指纹都有着 a_b_c 格式,用于分隔指纹的不同组成部分。这让你可以只用 ac 或者 ab 或者 c 进行搜索和检测。如果人们只想分析传入 app 的 cookies,那可以查看 JA4H_c。这种新的局部保留格式可以在保持简易易用允许拓展的同时,更有助于更深入和更丰富的分析。
在这篇博客中,我们将发布 JA4/S/H/L/X/SSH,或者简称为 JA4+。更多的指纹正在开发中,一旦发布就会添加到 JA4+系列中。
JA4:TLS Client Fingerprint
TLS 被用来加密互联网上绝大多数的通信,从 web 浏览器到流媒体,再到 IoT 使用分析。甚至是恶意软件也使用了 TLS 来隐藏它的恶意通信。在开始 TLS 连接之前,客户端将会发送一个 TLS Client Hello 的数据包,该数据包会以明文的形式在开始加密通信之前发送。该数据包由客户端应用程序生成,通知服务器它支持哪些加密算法以及它首选的通信方式。因此,TLS Client Hello 包对于每个应用程序或者是其使用的底层 TLS 库来说都是唯一的。
JA4 按照以下格式来查看和构建一个易于理解和分享的 TLS Client Hello 包的指纹:
无论流量是通过 TCP 协议还是 QUIC 协议,JA4 都会对客户端进行指纹识别。QUIC 是被新的 HTTP3 标准使用的协议,它将 TLS1.3 封装到了 UDP 数据包中。因为 QUIC 是谷歌所研发的协议,如果一个组织大量使用谷歌的产品,QUIC 的流量可能占据其网络流量的一半,因为能捕获 QUIC 是非常重要的。
JA4 还清楚的展示了 ALPN(Application-Layer Protocol Negotiation)。它展示了应用在完成 TLS 协商之后想要使用的协议。“h2” = HTTP/2, “h1” = HTTP/1.1, “dt” = DNS-over-TLS,等等。咋这里“00”表示缺少 ALPN。注意,ALPN“h2”的存在并不表示这是一个浏览器,因为很多物联网设备也通过 HTTP2 进行通信。然而,缺少 APLN 表示客户端可能不是一个 web 浏览器。
更多技术细节的实现和原始指纹可以在这个 GitHub page(https://github.com/FoxIO-LLC/ja4)找到。
尽管流量通过 TLS1.3 进行加密,我们仍然能够获得大量关于客户端应用的有价值的信息。请记住,大多数自定义的客户端应用都有着其所使用的底层 TLS 库的指纹。因此,一个 Go 编写的项目可能会拥有和其他 Go 编写的项目相同的 JA4。对于 Python,Java 等等都适用。而像是魔法上网(译注:关键字打出来可能发不出来,大家知道是啥就行),Steam,Slack 和 Windows 功能的 JA4 将是独一无二的。
JA4 在大部分是静态资源的的生产网络中会非常有价值。如果你运行的是全 Linux 的基础架构,那么 Windows JA4 的出现就值得研究。如果你运行的是一个 Exchange 服务,那么突然出现的 python JA4 也就值得关注。JA4 在尝试了解网络流量的时候是一个很好的分析支点,并且 a_b_c 的格式也可以进行更深入的分析。
例如,GreyNoise 是一个正在实现 JA4+的网络监听器,它可以用来识别网络扫描。他们有一个 actor 用不断变化的单一 TLS cipher 来进行扫描。这会产生大量完全不同的 JA3 指纹,但对于 JA4 来说,只有其中的 b 部分发生了改变,而 a c 保持相同,对于 GreyNoise 的扫描可以通过查看 JA4_ac 指纹来进行跟踪。
JA4S: TLS Server/Session Fingerprint
在一个客户端发送它的 TLS Client Hello 包之后,这个服务器将会响应相应的 TLS Server Hello 包。这个包也是以明文形式发送的,并且是根据服务器在 Client Hello 数据包中的可用选项进行定制的。这包括了一个从可选列表中的一个加密算法,以及服务器想要设置的任意拓展。
因此,Server Hello 对于同样的服务端应用和发送给他的 Client Hello 也是独一无二的。一个不同的 Client Hello 可能会得到一个不一样的 Server Hello,因此,相同的服务器可能会产生不同的 JA4S。然而,同样的 Client Hello 对于来自同一服务器的同一应用将会得到一个相同的 Server Hello。例如,假设客户端的 JA4=a_b_c,并且服务端相应的 JA4A=d_b_e,那么服务端将总会是用 d_b_e 来相应 a_b_c。但是如果另一个应用发送了一个不同的 Client Hello 到那台同样的服务器,并且它的 JA4=x_y_z,这个服务器将会相应一个不同的 Server Hello,JA4S=t_y_v。因此,不同的应用将会产生不同的响应,而相同的应用总是会返回相同的响应。在我的这篇 JA3S(https://engineering.salesforce.com/tls-fingerprinting-with-ja3-and-ja3s-247362855967/)博客中阐述了更多细节。
(上图,JA4+和 JA4S 的组合示例)
JA4S 和 JA4 相结合的时候能够显著的提高检测的准确性。达到了从只是单纯的识别客户端所使用的底层库到标识客户端和恶意软件家族。除了应用识别以外,还可以通过 JA4S_b 来了解任何给定的网络环境下正在使用的加密算法,以确保其满足合规性要求。所有的这些检测都可以在不破解加密的情况下进行。
JA4H: HTTP Client Fingerprint
JA4H 指纹是基于 HTTP 请求的 HTTP 客户端指纹。由于绝大多数的网络流量都是被加密过的,因此 JA4H 最适合的场景是那些 TLS 被解密的地方,例如:servers, proxies, WAFs, TLS terminating load balancers。即便如此,JA4H 在那些 TLS 没有被解密的地方也是很有价值的,因为大量的驱动和项目,包括一些恶意软件都还在使用 HTTP 进行交流。例如 Iced ID 这个恶意软件就没有使用 TLS。这些恶意软件是非常容易被指纹标记出来的。
JA4H_ab 是一个使用给定 HTTP 方法的应用指纹。缺少 Accept-Language 可以清晰的表明交互对象不是一个人类,而是一个机器人。
JA4H_c 是一个 cookie 指纹,并且对于访问的每个网站来说都是不同的,但是对于该网站或者应用程序来说是相同的。例如,每个 Plex 服务或者是 Okta 服务器都会生成相同的 JA4H_c。
JA4H_d 是一个用户指纹,并且每个用户都不一样。这将允许在不登陆 SPII 的情况下追踪用户,从而保持日志系统的记录符合 GDPR 标准(译注,GDPR,通用数据保护条例)。
更多的技术实现细节可以在我们的 GitHub(https://github.com/FoxIO-LLC/ja4)找到。
(上图,JA4H 示例)
在服务端,可以使用 JA4H_c 作为一个重点监控点。因为服务器指定了客户端应该使用哪些 cookie 字段,因为所有的客户端应该都具有相同的 JA4H_c。这里出现的差异值得关注。还可以使用 JA4H_d 来追踪用户并使用 JA4H_ab 来追踪他们的客户端应用或者是仅仅使用 JA4H_ab 来标识机器人。
在客户端(proxy,NDR,zero trust),JA4H 结合 A4、JA4S 使用,能够极为可靠的识别应用和恶意软件检测。
JA4H 的应用场景还有很多例子,特别是当其与 JA4+的其余部分相结合的时候。我将会在博客的剩余部分介绍更多内容。
JA4L: Light Distance Locality
JA4L 通过在一个次链接中的前几个数据包之间的时间差来计算客户端和服务器之间的距离。我们使用前几个数据包来计算这个距离的原因是,它们都是由机器底层生成的,几乎不会收到客户端创建和发送数据包耗时带来的影响。时间的计算测量使用的是微秒,1ms=1000µs,微秒是数据包的捕获计时的标准单位。
如果 JA4L 在服务端运行,它将会测量从客户端到服务器的距离。如果在客户端运行,那么它将会测量服务器到客户端的举例。如果它在一个网络分流器(network tap)上运行,那么它将测量所有到达每一个访问者到达为网络分流器的距离。
JA4L 的测量可以分为两个部分,客户端和服务端。对于 TCP 来说,是通过 TCP3 次握手来确定的。对于 UDP 来说则是 QUIC 握手。
JA4L-C= {(C-B)/2}_Client TTLJA4L-S= {(B-A)/2}_Server TTL
在上面的例子中:JA4L-C= 11_128JA4L-S= 1759_42
距离计算:
在 JA4L 中,我们能够通过以下公式来确定客户端和服务器之间的距离:
D = jc/p
D = Distance j = JA4L_a c = 光在光纤中传播的速度 (0.128 miles/µs or 0.206km/µs) p = Propagation delay factor(传播延迟因子)
典型的传播延迟影响因素包括了地形以及由多少网络设备接入。
Poor terrain factor = 2 (附近有山有水) Good terrain factor = 1.5 (沿高速公路,海底电缆传播) SpaceX factor = … need to be tested
我们也能使用 TTL 来计算 hop count,这能够帮助我们了解传播延迟因子(下面的表格是一个很好的基本示例,但是还需要更多测试才行)
为了计算连接经过的 hops,需要从 TTL 总数中减去预估的初始 TTL。
Cisco, F5, 大多数网络驱动使用的 TTL 是 255。Windows 使用的 TTL 是 128。Mac, Linux, phones, 和 IoT 设备使用的 TTL 是 64。
网络上的大多数路由的 hops 数量都少于 64。因此如果观察到的 TTL 即 JA4L_b 小于 64,那么它的初始预估 TTL 数量就是 64。在 65-128 区间就是 128。如果 TTL 大于 128,那么预估的 TTL 就是 255。
比如 JA4L-S 2449_42,那么观察到你的 TTL42 意味着初始 TTL 可能是 64,是一个 Linux 服务。64 减去 42 得到的 22 就是 hop count。
2449x0.128/1.6=195
我们可以得出结论,该服务器距离客户端 195 英里以内。服务器可能比这更近,但是物理上不可能比这更远,因为光速是恒定的。如果同一个 host 有多个 JA4L,则应该取最低值最准确。
此外,JA4L_b(TTL)被动的促进了源操作系统的识别,这是执行取证分析时的绝佳数据点。此外,由于 JA4L 的应用点在 Layer 3 层的数据,所以它对任何加密或者未加密的流量均有效。
在服务端结合 JA4 JA4H JA4L 使得在服务端应用可以识别 session 劫持或者 MITM 攻击。如果一个 session 的 cookie(JA4H_d)突然间改变了位置或者操作系统(JA4L)或者应用程序(JA4 JA4H_ab),那应该拒绝 session token,要求用户使用 MFA 重新登陆。对于这种类型的检测逻辑,应该特别注意不要将特定的那些会随时间变化的指纹列入白名单,而是应该关注巨大的变化。darksail.ai(https://darksail.ai/)正在研究使用 JA4+来进行 session 劫持检测。
JA4X: X509 TLS Certificate Fingerprinting
贡献者: W.
JA4X 指纹是 TLS 证书生成方式的指纹,而不是证书的值的指纹。这能够用来表示创建证书时使用的应用程序和设置,这在恶意攻击检测中非常有效,因为恶意攻击方会创建大量不同的证书,但是会更倾向于使用相同的方式来创建证书,因此它们具有相同的 JA4X 指纹。
(译注:这里有句无关紧要的话被我省略了,大意就是利用 SoftEther 的两起网络攻击事件)。据微软所说,将那些网络攻击的连接与正常用户的流量区分开是非常困难的。然而,由于 Soft Ether 生成证书的方式,对于 Soft Ether 来说,他们的 JA4X 是 Soft Ether 所独有的。如果 JA4X 在防火墙中实现了,阻止来自 SoftEther 的流量也将是轻而易举的事。并且通过利用 JA4X,阻止来自 Soft Ether 的入站流量也将变得轻而易举。
绝大多数证书颁发挤沟都采用相同的底层程序来生成和签发证书。从我们的朋友 Hunt.io(https://hunt.io/)那里得到了丰富的 JA4X 信息。让我们来看一看微软公司的例子。
你可以看到 99.8%的证书都拥有相同的 JA4X。第二的看起来也是非常相似的,但是第三看起来就完全不一样。让我们来看一下这个异常的数据。
噢,原来这是 Cobalt Strike。事情就变得很清晰了。
使用 JA4X 去标识那些网络扫描的流量是更加有效的方法,因为相较于去比较恶意软件使用的证书中那些随机生成的值,JA4X 关注的是证书是怎样被生成的。
最后一个例子是 Sliver C2(https://github.com/BishopFox/sliver),它是一个比较新的渗透测试框架,正在取代最受欢迎的 Cobalt Strike。像绝大多数的渗透测试框架一样,Sliver 因为其难以被检测的设计,也被用来做恶意攻击。
Sliver 使用了超过 400 行代码来生成随机的 TLS 证书。因此,每个证书都是独一无二的,并且对其 hash 值的检测也是无用的。
然而,每个证书都是通过相同的应用生成的,所以它们具有相同的 JA4X。Havoc C2(https://github.com/HavocFramework/Havoc)使用了很多 Sliver 的代码,因此它也有一样的 JA4X,但是可以通过证书的 org Name 和 Postal Code 长度来区分。无论是哪种情况,这俩都是恶意软件,并且具有独一无二的 JA4X。我们的朋友 driftnet.io(https://driftnet.io/)提供了一个 JA4X feed,我们能够快速的识别所有在互联网上监听的默认的 Sliver C2s。
这些例子展示了怎么使用 JA4X 来识别和阻止来自 SoftEther、Tor、Metasploit、Sliver、Havoc、RAT C2s 等软件的流量。注意,TLS 证书在 TLS1.2 中是以明文发送的,但是在 TLS1.3 中则是以加密形式发送的,因此 JA4X 最佳的使用位置在 Proxy 服务器、防火墙、MDR 和 Zero Trust 中具有该检测等级的应用上。当 JA4X 和 JA4,JA4S,JA4H,JA4L 结合使用的时候,能够提供极高等级的可见性和检测能力。当用于网络扫描中时,JA4X 是一个优秀的分析和追踪恶意服务器工具,特别是当其与 JARM 数据相结合的时候。
JA4SSH: SSH Traffic Fingerprinting
JA4SSH 通过查看 SSH 数据包对 SSH session 进行指纹识别,并以可配置的滚动方式(默认情况下为每 200 个数据包)提供一个小型的、简单的、易于读取的 session 指纹。
注意,JA4SSH 指纹标记的是 SSH session,而不是 SSH 应用。对于 SSH 应用指纹,我推荐你看看我好朋友 Ben Reardon(https://www.linkedin.com/in/benjaminreardon/)的 HASSH(https://engineering.salesforce.com/open-sourcing-hassh-abed3ae5044c/)。
为了理解 SSH 流量是怎么工作的,以及如何使用流量分析来识别 tunnel,我建议你阅读这两篇优秀的博客(https://www.trisul.org/blog/traffic-analysis-of-secure-shell-ssh/,https://www.trisul.org/blog/detecting-ssh-tunnels/)
简而言之,根据使用的密码算法和 HMAC,将 SSH 数据包填充到特定长度。使用 chacha20-poly1305,最终大小为 36 字节。当客户端在 ssh 终端中键入一个字符时,该字符会被填充为 36 字节的数据包经过加密然后发送到服务器。服务器将在 36 字节数据包中以相同的字符进行响应,此时该字符将显示在终端窗口中。然后,客户端将发送一个 TCP ACK 数据包,告诉服务器他们已经完成了上一个事务。因此,客户端在终端的输入看起来就像是这样:
注意,这个 TCP ACK 来自发送 SSH 请求的一侧(client),然后服务器在底部返回命令输出。它的 JA4SSH 看起来像是这样:c36s36_c51s80_c69s0。因此,当你看到 36/36,并且所有的 ACK 都来自 client,服务端什么都没发送,从这些我们就能够容易的看出这是一个交互转发的 SSH 会话。
在一个反向 SSH shell 中,它是一个 SSH 上的 SSH,因此它的数据包是双填充+HMAC,看起来就像这样:
它的 JA4SSH 看来就像是这样:c76s76_c71s59_c0s70。我们可以清楚地看到常见的数据包长度为 76/76,双填充,并且所有 ACK 都来自服务器,这意味着服务器端正在进行输入。其中很重要的一点是,SSH 提供加密消息,而不是加密 tunnel,因此 Layer 4 数据包(TCP ACK 数据包)以明文形式发送。通过这些,我们能够确定哪一方发起的请求。通过 JA4SSH,现在检测反向 SSH shell 变得很简单。
在 SCP 文件传输中,TCP 的长度已经达到了最大值,看起来就像是这样:
它的 JA4SH 看来就像是这样 c112s1460_c0s179_c21s0。注意 s1460 的最大输出窗口,所有的 SSH 数据包都来自服务端并且,所有的 TCP ACK 都来自客户端。这很容易就可以看出是客户端请求一个文件然后服务端发送给它。
在像是银行这样的静态的环境中,每天都有文件通过 SFTP 传输文件,它们的 JA4SH 指纹应该都保持相似,任何重大的偏差,像是交互式 shell,都值得警惕。
JA4SSH 使得检测一些类型的 SSH 活动变得简单,并且提供了一个易读的指纹格式。联合 JA4SSH 和 JA4L 能够告诉客户端和服务器彼此之间的距离。
License
(译注:License 部分我就偷懒不翻译了,感兴趣的可以直接去看原文)
结论
JA4+提供了一套模块化的网络指纹套件,它们可以方便的使用和分享。这些指纹的使用用例包括了恶意扫描,恶意软件检测,会话劫持,自动化合规检测,位置追踪,DDoS 检测,危险用户分组,反向 Shell 检测等等。JA4(TLS Client Fingerprinting)使用的是 BSD 3-Clause 许可,允许运行 JA3 的程序直接进行升级。而 JA4+(JA4S/L/H/X/SSH)是遵循 FoxIO License,它对除了商业化的盈利行为外都是许可的,如果需要进行商业化盈利,则需要购买 OEM 许可证,该许可证用于资助 JA4 的进一步研究和数据库的开发(即将推出)。我们计划每个季度发布一个新的 JA4 方法,敬请期待。
JA4+的地址:https://github.com/FoxIO-LLC/ja4 对 license 或者有其它疑问,可以通过www.fox-io.com[1]联系我们 你也可以直接通过 LinkedIn (https://www.linkedin.com/in/johnalthouse/) or Twitter/X (https://twitter.com/4A4133)联系我。
JA4+由 John Althouse(https://www.linkedin.com/in/johnalthouse/)创建。
得到了以下人员的反馈:
Josh Atkins
Jeff Atkinson
Joshua Alexander
W.
Joe Martin
Ben Higgins
Andrew Morris
Chris Ueland
Ben Schofield
Matthias Vallentin
Valeriy Vorotyntsev
Timothy Noel
Gary Lipsky
以及来自 GreyNoise, Hunt, Google, ExtraHop, F5, Driftnet 和其它一些公司工程师的帮助。