1背景介绍
JA4+指纹套件是由网络安全公司FoxIO提出的新一代网络指纹(network fingerprinting)技术,专注于识别TLS/HTTP/QUIC等协议中客户端的唯一特征。与传统的JA3相比,JA4通过结构化字段设计、抗随机化算法以及多协议支持,实现了更精准的客户端识别能力,同时保持对用户隐私的保护。
1.1网络指纹技术的发展历程
2017年,Salesforce的三位研究人员John Althouse、Jeff Atkinson和Josh Atkins发布了一种名为JA3的TLS指纹识别被动方法。JA3用于对TLS客户端进行指纹识别,而JA3S是服务器的对应物。发现此方法不仅可用于识别恶意软件客户端和服务器,还可用于识别Web API客户端和浏览器。
然而,在2023年,谷歌对基于Chromium的浏览器实施了一项更改,对TLS扩展的顺序进行随机化。由于JA3的计算依赖TLS扩展的顺序,浏览器的扩展顺序随机化使得JA3不再那么有效。为了应对这些挑战,在2023年9月,FoxIO推出JA4,这是JA3的继任者,它提供了一种更强大、适应性更强、更可靠的方法,用于跨各种协议(包括QUIC等新兴标准)对TLS客户端进行指纹识别。
JA4指纹可以抵抗TLS扩展的随机化,并包含其他有用的JA3并未涉及的维度,例如应用层协议协商(ALPN)。JA4的推出在网络安全社区受到了积极欢迎,包括Cloudflare在内的一些开源工具和商业产品开始将其整合到他们的系统中。JA4指纹在BSD 3-Clause许可下提供,促进了从JA3的无缝升级。JA4+套件中的其他指纹,例如JA4S和JA4H则需要进行商业化授权。
总结而言,JA4相比JA3的核心创新主要在以下方面:
指纹的分段结构化,增加分析灵活性。
增加ALPN协议协商字段
支持QUIC/HTTP3等新协议
引入人类可读的标识符(如t13d1516h2)
1.2 TLS指纹的常见应用场景
TLS指纹可以在多种网络流量分析场景下使用,以下是一些最常见的使用案例:
1.爬虫检测:TLS指纹识别通常用于检测和缓解爬虫程序流量。通过识别与已知机器人或恶意客户端关联的唯一指纹,组织可以阻止或质询可疑连接。这对于防止撞库、抓取或其他试图模仿合法用户流量的自动攻击特别有用。
2.DDoS缓解:在分布式拒绝服务(DDoS)攻击期间,TLS指纹识别可以帮助识别恶意流量模式。攻击者经常使用具有特定、可识别指纹的客户端来压垮目标服务器。通过识别和阻止这些指纹,组织可以减少其服务器上的负载并保持服务可用性。
3.威胁行为者的检测与分类:许多恶意软件家族使用独特的TLS配置进行C2通信(比如常用的Cobalt Strike和Metasploit C2),如果其指纹被编入目录,就可以第一时间进行标记。
2技术原理
2.1 JA4指纹结构解析
https://github.com/FoxIO-LLC/JA4/blob/main/technical_details/JA4.png
以典型Chrome浏览器的JA4指纹t13d1516h2_8daaf6152771_02713d6af862 (TCP)为例:
字段详细说明:
协议标识符(t):表示当前使用的是TLS over TCP协议。如果是QUIC协议,则会显示为q。
TLS版本(13):表示客户端支持的最高TLS版本为TLS 1.3。
SNI标识(d):表示客户端在TLS握手时提供了Server Name Indication (SNI)信息,即指定了访问的域名。
密码套件数量(15):表示客户端在ClientHello消息中提供了15个有效的密码套件(排除GREASE值)。
扩展数量(16):表示客户端在ClientHello消息中提供了16个有效的扩展(排除GREASE值)。
ALPN协议(h2):表示客户端通过Application-Layer Protocol Negotiation (ALPN)协商选择了HTTP/2协议。
密码套件哈希(8daaf6152771):对客户端提供的密码套件列表进行排序后,计算其SHA256哈希值并取前6字节作为唯一标识。
扩展哈希(02713d6af862):对客户端提供的扩展列表和签名算法列表进行排序后,计算其SHA256哈希值并取前6字节作为唯一标识。
这种结构化设计使得JA4既保持了机器处理的效率(哈希值快速匹配),又具备人工分析的可读性(字段显式表达关键特征)。
此外,在网络流量分析过程中,实际上分析师可以自由组合JA4_a JA4_b JA4_c这些子模块进行分析。比如,GreyNoise是一个互联网侦听器,用于识别互联网中的扫描器,并将JA4+指纹应用到他们的产品中。他们发现了一个威胁行为者,他使用不断变化的单个TLS密码套件(cipher)扫描互联网。这会生成大量完全不同的JA3指纹,但对于JA4,只有JA4指纹的b部分发生变化,a部分和c部分保持不变。因此,GreyNoise可以通过查看JA4_ac指纹(拼接a+c,丢弃b)来追踪这个狡猾的威胁行为者。
3观测JA4指纹
3.1方式一:基于Wireshark
使用过滤器tls.handshake过滤TLS握手流量观察即可。高版本Wireshark原生支持JA3/JA4指纹,低版本Wireshark可以考虑安装插件。
https://github.com/fullylegit/ja3
https://github.com/FoxIO-LLC/JA4/tree/main/wireshark
3.2方式二:基于现有网站工具
https://tls.browserleaks.com/json
https://ja4db.com/
4指纹落地应用
4.1监测渗透测试人员的一个思路
处于合规考虑,这里省略如何在负载设备加载插件或者使用nginx等插件去把JA4的指纹头插入http header报文中。在生产环境中应用JA4指纹仍然需要考虑诸多实际的问题,尤其是指纹计算的性能开销。根据Cloudflare的一篇博客,他们重新用rust实现了ClientHello解析器,其基准测试结果表明,解析器可以有效地处理不同大小的ClientHello消息,较短的消息以每秒约200万个元素的速度处理,较长的消息以每秒约100万个元素的速度处理,这大概意味着启用JA4指纹后每个TLS握手请求会额外增加1-2微秒(μs)量级的开销。
这里展示最后实现的效果,如图下所示:
在header中增加X-JA4字段后,那么在我们基础安全眼里这个可操作性就会多了很多。可以在WAF侧、流量侧去匹配相关特征。我们收集了部分burp suite的JA4指纹样本做了部分分析
同样的yakit最新版,在未开启随机TLS的状态下他的JA4_b段的值默认为:6987dae9cdc4这样我们就得出一部分burp和yakit的JA4_b特征值:
burp
bc01e4e2260a
bd868743f55c
5e02f30799ee
yakit:
6987dae9cdc4
将该系列值插入到WAF和流量设备中纳入到监测之后,那么,在往后的日子里,我可以选择是否开启封禁去阻断默认值的访问,同时CDN侧也可以基于JA3/JA4特征去把相关风险特征去做拦截,这里不一一赘述。
4.2集体智能视角下的JA4
根据前文的描述,有经验的工程师不难想到:JA4这类指纹在爬虫检测(bot detection)视角看,其计算机制难以区分Headless Chrome与普通浏览器用户,作用相对平庸,或许只能作为一个低权重的观测因子;在威胁行为者检测(threat actor detection)视角看,价值相对更大一些。但近年来,黑客工具的厂商也在TLS层指纹进行持续对抗,比如Yakit引入了"随机TLS指纹"功能,Burp Suite也通过其丰富的插件生态尝试规避TLS指纹的检测,单纯的基于JA4指纹黑白名单数据库的检测未来或许只能发现低阶威胁行为者。
我们该如何进一步挖掘JA4指纹的价值?这里Cloudflare提供了一个非常有趣的思路。
单一的JA4指纹数据价值受限,海量JA4指纹的数据集合则能涌现出新的集体智能,这就是Cloudflare提供的JA4信号(JA4 signals)功能,是根据Cloudflare在全球范围内看到的所有流量的最后一小时计算的跨请求特征。
根据W3Techs的数据,79.9%使用CDN或反向代理的网站都依赖Cloudflare的服务。由于在互联网基础设施的独特视角,Cloudflare每天都会分析从5亿多个用户代理(User-Agent)和数十亿个IP地址生成的超过1500万个唯一JA4指纹。这种数据广度使JA4 Signals能够提供汇总统计数据,从而更深入地了解全球流量模式,远远超出了单一请求或连接指纹识别所能达到的效果。
这些具备全球流量视角的特征信息,既可以用于简单的防火墙规则,也可以作为高级机器学习模型的输入,实现更加智能的启发式拦截策略。
以下是一些常见的JA4信号(JA4 signals):
5结论
JA4指纹技术通过模块化设计和抗随机化策略,有效缓解传统TLS指纹易被绕过的难题。在企业安全建设实践中,需重点构建动态指纹库、实现多维度关联分析,并与WAF、IDS等安全组件形成协同防御。随着QUIC协议普及率提升,支持多协议识别的JA4+技术套件将成为企业网络安全架构的核心组件。建议安全团队持续跟踪官方指纹数据库更新,同时结合威胁情报进行检测策略优化,以应对不断演变的网络威胁。
此处感谢黑屋达!编辑了本文99%的内容!
附录
JA4指纹库
https://JA4db.com/
JA4
https://github.com/FoxIO-LLC/JA4
JA3
https://github.com/salesforce/ja3
JA4指纹测试
https://tls.browserleaks.com/json
JA4+ Network Fingerprinting
https://blog.foxio.io/JA4%2B-network-fingerprinting
Advancing Threat Intelligence: JA4 fingerprints and inter-request signals
https://blog.cloudflare.com/JA4-signals/
What is TLS Fingerprinting?| Fastly
https://www.fastly.com/blog/the-state-of-tls-fingerprinting-whats-working-what-isnt-and-whats-next
JA4信号
https://developers.cloudflare.com/bots/concepts/signals-intelligence/
JA4与akamai_hash的区别
https://www.perplexity.ai/search/what-are-the-differences-betwe-bdwy5ogiTveT5LVClZxgxA
How New Headless Chrome & the CDP Signal Are Impacting Bot Detection
https://datadome.co/threat-research/how-new-headless-chrome-the-cdp-signal-are-impacting-bot-detection/
New headless Chrome has been released and has a near-perfect browser fingerprint
https://antoinevastel.com/bot%20detection/2023/02/19/new-headless-chrome.html
Cloudflare Market Share
Cloudflare市场占有率
https://kinsta.com/cloudflare-market-share/
https://github.com/PortSwigger/bypass-bot-detection
https://www.perplexity.ai/search/mu-biao-qing-yi-mozilla-mdn-we-WNlf5yHlRdyZA6c.mUnE3A
获取JA3指纹
https://mp.weixin.qq.com/s/ytjNcpI2AN7AezGR2K8ahg
https://github.com/microsoft/OmniParser/tree/master