原创 黑屋包网运维 2025-02-20 17:08 上海
1 背景介绍
JA4+ 指纹套件是由网络安全公司 FoxIO 提出的新一代网络指纹(network fingerprinting)技术,专注于识别TLS/HTTP/QUIC 等协议中客户端的唯一特征。与传统的JA3 相比,JA4通过结构化字段设计、抗随机化算法以及多协议支持,实现了更精准的客户端识别能力,同时保持对用户隐私的保护。
1.1 网络指纹技术的发展历程
2017 年,Salesforce 的三位研究人员 John Althouse、Jeff Atkinson 和 Josh Atkins 发布了一种名为 JA3 的 TLS 指纹识别被动方法。JA3 用于对 TLS 客户端进行指纹识别,而 JA3S 是服务器的对应物。发现此方法不仅可用于识别恶意软件客户端和服务器,还可用于识别 Web API 客户端和浏览器。
然而,在2023年,谷歌对基于 Chromium 的浏览器实施了一项更改,对 TLS 扩展的顺序进行随机化。由于 JA3 的计算依赖 TLS 扩展的顺序,浏览器的扩展顺序随机化使得 JA3 不再那么有效。为了应对这些挑战,在 2023年9月,FoxIO 推出 JA4,这是 JA3 的继任者,它提供了一种更强大、适应性更强、更可靠的方法,用于跨各种协议(包括QUIC 等新兴标准)对TLS 客户端进行指纹识别。
JA4 指纹可以抵抗 TLS 扩展的随机化,并包含其他有用的 JA3 并未涉及的维度,例如应用层协议协商 (ALPN)。JA4 的推出在网络安全社区受到了积极欢迎,包括 Cloudflare 在内的一些开源工具和商业产品开始将其整合到他们的系统中。JA4指纹在BSD 3-Clause 许可下提供,促进了从JA3 的无缝升级。JA4+ 套件中的其他指纹,例如JA4S 和JA4H 则需要进行商业化授权。
总结而言,JA4 相比 JA3 的核心创新主要在以下方面:
指纹的分段结构化,增加分析灵活性。
增加 ALPN 协议协商字段
支持 QUIC/HTTP3 等新协议
引入人类可读的标识符(如 t13d1516h2)
1.2 TLS 指纹的常见应用场景
TLS 指纹可以在多种网络流量分析场景下使用,以下是一些最常见的使用案例:
1.
爬虫检测:TLS 指纹识别通常用于检测和缓解爬虫程序流量。通过识别与已知机器人或恶意客户端关联的唯一指纹,组织可以阻止或质询可疑连接。这对于防止撞库、抓取或其他试图模仿合法用户流量的自动攻击特别有用。
2.
DDoS缓解:在分布式拒绝服务
(DDoS)
攻击期间,TLS指纹识别可以帮助识别恶意流量模式。攻击者经常使用具有特定、可识别指纹的客户端来压垮目标服务器。通过识别和阻止这些指纹,组织可以减少其服务器上的负载并保持服务可用性。
3.
威胁行为者的检测与分类:许多恶意软件家族使用独特的 TLS 配置进行 C2 通信(比如常用的 Cobalt Strike 和 Metasploit C2),如果其指纹被编入目录,就可以第一时间进行标记。
2 技术原理
2.1 JA4 指纹结构解析
https://github.com/FoxIO-LLC/JA4/blob/main/technical_details/JA4.png
以典型 Chrome 浏览器的 JA4 指纹 t13d1516h2_8daaf6152771_02713d6af862 (TCP) 为例:
字段详细说明:
协议标识符 (t): 表示当前使用的是 TLS over TCP 协议。如果是 QUIC 协议,则会显示为 q。
TLS版本 (13):表示客户端支持的最高TLS 版本为TLS 1.3。
SNI标识 (d):表示客户端在TLS 握手时提供了Server Name Indication (SNI) 信息,即指定了访问的域名。
密码套件数量 (15): 表示客户端在 ClientHello 消息中提供了 15 个有效的密码套件(排除 GREASE 值)。
扩展数量 (16): 表示客户端在 ClientHello 消息中提供了 16 个有效的扩展(排除 GREASE 值)。
ALPN协议 (h2):表示客户端通过Application-Layer Protocol Negotiation (ALPN) 协商选择了 HTTP/2 协议。
密码套件哈希 (8daaf6152771): 对客户端提供的密码套件列表进行排序后,计算其 SHA256 哈希值并取前 6 字节作为唯一标识。
扩展哈希 (02713d6af862): 对客户端提供的扩展列表和签名算法列表进行排序后,计算其 SHA256 哈希值并取前 6 字节作为唯一标识。
这种结构化设计使得 JA4 既保持了机器处理的效率(哈希值快速匹配),又具备人工分析的可读性(字段显式表达关键特征)。
此外,在网络流量分析过程中,实际上分析师可以自由组合 JA4_a JA4_b JA4_c 这些子模块进行分析。比如,GreyNoise 是一个互联网侦听器,用于识别互联网中的扫描器,并将 JA4+ 指纹应用到他们的产品中。他们发现了一个威胁行为者,他使用不断变化的单个TLS 密码套件(cipher) 扫描互联网。这会生成大量完全不同的JA3 指纹,但对于JA4,只有JA4 指纹的 b部分发生变化,a 部分和 c部分保持不变。因此,GreyNoise 可以通过查看 JA4_ac 指纹(拼接 a+c,丢弃 b)来追踪这个狡猾的威胁行为者。
3 观测 JA4 指纹
3.1 方式一:基于 Wireshark
使用过滤器 tls.handshake 过滤 TLS 握手流量观察即可。高版本 Wireshark 原生支持 JA3/JA4 指纹,低版本 Wireshark 可以考虑安装插件。
https://github.com/fullylegit/ja3
https://github.com/FoxIO-LLC/JA4/tree/main/wireshark
3.2 方式二:基于现有网站工具
https://tls.browserleaks.com/json
4 指纹落地应用
4.1 监测渗透测试人员的一个思路
处于合规考虑,这里省略如何在负载设备加载插件或者使用 nginx 等插件去把 JA4 的指纹头插入 http header 报文中。在生产环境中应用JA4 指纹仍然需要考虑诸多实际的问题,尤其是指纹计算的性能开销。根据Cloudflare 的一篇博客,他们重新用rust 实现了ClientHello 解析器,其基准测试结果表明,解析器可以有效地处理不同大小的ClientHello 消息,较短的消息以每秒约200 万个元素的速度处理,较长的消息以每秒约100 万个元素的速度处理,这大概意味着启用 JA4 指纹后每个 TLS 握手请求会额外增加 1-2 微秒(μs)量级的开销。
这里展示最后实现的效果,如图下所示:
在 header 中增加 X-JA4 字段后,那么在我们基础安全眼里这个可操作性就会多了很多。可以在WAF侧、流量侧去匹配相关特征。我们收集了部分 burp suite 的JA4 指纹样本做了部分分析
同样的 yakit 最新版,在未开启随机TLS的状态下他的JA4_b段的值默认为:
6987dae9cdc4
这样我们就得出一部分burp和yakit的 JA4_b 特征值:
burp
bc01e4e2260a
bd868743f55c
5e02f30799ee
yakit:
6987dae9cdc4
将该系列值插入到 WAF 和 流量设备中纳入到监测之后,那么,在往后的日子里,我可以选择是否开启封禁去阻断默认值的访问,同时CDN侧也可以基于JA3/JA4 特征去把相关风险特征去做拦截,这里不一一赘述。
4.2 集体智能视角下的 JA4
根据前文的描述,有经验的工程师不难想到:JA4 这类指纹在爬虫检测(bot detection)视角看,其计算机制难以区分 Headless Chrome 与普通浏览器用户,作用相对平庸,或许只能作为一个低权重的观测因子;在威胁行为者检测(threat actor detection) 视角看,价值相对更大一些。但近年来,黑客工具的厂商也在TLS 层指纹进行持续对抗,比如Yakit 引入了"随机TLS 指纹"功能, Burp Suite 也通过其丰富的插件生态尝试规避 TLS 指纹的检测,单纯的基于 JA4 指纹黑白名单数据库的检测未来或许只能发现低阶威胁行为者。
我们该如何进一步挖掘 JA4 指纹的价值?这里 Cloudflare 提供了一个非常有趣的思路。
单一的 JA4 指纹数据价值受限,海量 JA4 指纹的数据集合则能涌现出新的集体智能,这就是 Cloudflare 提供的 JA4 信号 (JA4 signals)功能,是根据 Cloudflare 在全球范围内看到的所有流量的最后一小时计算的跨请求特征。
根据 W3Techs 的数据,79.9%
使用CDN 或反向代理的网站都依赖 Cloudflare 的服务。由于在互联网基础设施的独特视角,Cloudflare 每天都会分析从 5 亿多个用户代理(User-Agent)和数十亿个 IP 地址生成的超过 1500 万个唯一 JA4 指纹。这种数据广度使 JA4 Signals 能够提供汇总统计数据,从而更深入地了解全球流量模式,远远超出了单一请求或连接指纹识别所能达到的效果。
这些具备全球流量视角的特征信息,既可以用于简单的防火墙规则,也可以作为高级机器学习模型的输入,实现更加智能的启发式拦截策略。
以下是一些常见的 JA4 信号(JA4 signals):
5 结论
JA4 指纹技术通过模块化设计和抗随机化策略,有效缓解传统TLS指纹易被绕过的难题。在企业安全建设实践中,需重点构建动态指纹库、实现多维度关联分析,并与WAF、IDS等安全组件形成协同防御。随着QUIC协议普及率提升,支持多协议识别的JA4+技术套件将成为企业网络安全架构的核心组件。建议安全团队持续跟踪官方指纹数据库更新,同时结合威胁情报进行检测策略优化,以应对不断演变的网络威胁。
此处感谢黑屋达!编辑了本文99%的内容!
附录
JA4 指纹库
JA4
https://github.com/FoxIO-LLC/JA4
JA3
https://github.com/salesforce/ja3
JA4 指纹测试
JA4+ Network Fingerprinting
https://blog.foxio.io/JA4%2B-network-fingerprinting
Advancing Threat Intelligence: JA4 fingerprints and inter-request signals
https://blog.cloudflare.com/JA4-signals/
What is TLS Fingerprinting?| Fastly
https://www.fastly.com/blog/the-state-of-tls-fingerprinting-whats-working-what-isnt-and-whats-next
JA4 信号
https://developers.cloudflare.com/bots/concepts/signals-intelligence/
JA4 与 akamai_hash 的区别
https://www.perplexity.ai/search/what-are-the-differences-betwe-bdwy5ogiTveT5LVClZxgxA
How New Headless Chrome & the CDP Signal Are Impacting Bot Detection
New headless Chrome has been released and has a near-perfect browser fingerprint
https://antoinevastel.com/bot%20detection/2023/02/19/new-headless-chrome.html
Cloudflare Market Share
Cloudflare 市场占有率
https://kinsta.com/cloudflare-market-share/
https://github.com/PortSwigger/bypass-bot-detection
https://www.perplexity.ai/search/mu-biao-qing-yi-mozilla-mdn-we-WNlf5yHlRdyZA6c.mUnE3A
获取JA3指纹