← 返回列表

JA4 TLS 客户端指纹在基础安全的思考应用

聚合站 SecWiki技术 作者 漕河泾小黑屋 发布 2025年2月20日 17:08 入库 2026-11-18T05:05:03

1背景介绍

JA4+指纹套件是由网络安全公司FoxIO提出的新一代网络指纹(network fingerprinting)技术,专注于识别TLS/HTTP/QUIC等协议中客户端的唯一特征。与传统的JA3相比,JA4通过结构化字段设计、抗随机化算法以及多协议支持,实现了更精准的客户端识别能力,同时保持对用户隐私的保护。

1.1网络指纹技术的发展历程

2017年,Salesforce的三位研究人员John Althouse、Jeff Atkinson和Josh Atkins发布了一种名为JA3的TLS指纹识别被动方法。JA3用于对TLS客户端进行指纹识别,而JA3S是服务器的对应物。发现此方法不仅可用于识别恶意软件客户端和服务器,还可用于识别Web API客户端和浏览器。

然而,在2023年,谷歌对基于Chromium的浏览器实施了一项更改,对TLS扩展的顺序进行随机化。由于JA3的计算依赖TLS扩展的顺序,浏览器的扩展顺序随机化使得JA3不再那么有效。为了应对这些挑战,在2023年9月,FoxIO推出JA4,这是JA3的继任者,它提供了一种更强大、适应性更强、更可靠的方法,用于跨各种协议(包括QUIC等新兴标准)对TLS客户端进行指纹识别。

JA4指纹可以抵抗TLS扩展的随机化,并包含其他有用的JA3并未涉及的维度,例如应用层协议协商(ALPN)。JA4的推出在网络安全社区受到了积极欢迎,包括Cloudflare在内的一些开源工具和商业产品开始将其整合到他们的系统中。JA4指纹在BSD 3-Clause许可下提供,促进了从JA3的无缝升级。JA4+套件中的其他指纹,例如JA4S和JA4H则需要进行商业化授权。

总结而言,JA4相比JA3的核心创新主要在以下方面:

指纹的分段结构化,增加分析灵活性。

增加ALPN协议协商字段

支持QUIC/HTTP3等新协议

引入人类可读的标识符(如t13d1516h2)

1.2 TLS指纹的常见应用场景

TLS指纹可以在多种网络流量分析场景下使用,以下是一些最常见的使用案例:

1.爬虫检测:TLS指纹识别通常用于检测和缓解爬虫程序流量。通过识别与已知机器人或恶意客户端关联的唯一指纹,组织可以阻止或质询可疑连接。这对于防止撞库、抓取或其他试图模仿合法用户流量的自动攻击特别有用。

2.DDoS缓解:在分布式拒绝服务(DDoS)攻击期间,TLS指纹识别可以帮助识别恶意流量模式。攻击者经常使用具有特定、可识别指纹的客户端来压垮目标服务器。通过识别和阻止这些指纹,组织可以减少其服务器上的负载并保持服务可用性。

3.威胁行为者的检测与分类:许多恶意软件家族使用独特的TLS配置进行C2通信(比如常用的Cobalt Strike和Metasploit C2),如果其指纹被编入目录,就可以第一时间进行标记。

2技术原理

2.1 JA4指纹结构解析

https://github.com/FoxIO-LLC/JA4/blob/main/technical_details/JA4.png

以典型Chrome浏览器的JA4指纹t13d1516h2_8daaf6152771_02713d6af862 (TCP)为例:

字段详细说明:

协议标识符(t):表示当前使用的是TLS over TCP协议。如果是QUIC协议,则会显示为q。

TLS版本(13):表示客户端支持的最高TLS版本为TLS 1.3。

SNI标识(d):表示客户端在TLS握手时提供了Server Name Indication (SNI)信息,即指定了访问的域名。

密码套件数量(15):表示客户端在ClientHello消息中提供了15个有效的密码套件(排除GREASE值)。

扩展数量(16):表示客户端在ClientHello消息中提供了16个有效的扩展(排除GREASE值)。

ALPN协议(h2):表示客户端通过Application-Layer Protocol Negotiation (ALPN)协商选择了HTTP/2协议。

密码套件哈希(8daaf6152771):对客户端提供的密码套件列表进行排序后,计算其SHA256哈希值并取前6字节作为唯一标识。

扩展哈希(02713d6af862):对客户端提供的扩展列表和签名算法列表进行排序后,计算其SHA256哈希值并取前6字节作为唯一标识。

这种结构化设计使得JA4既保持了机器处理的效率(哈希值快速匹配),又具备人工分析的可读性(字段显式表达关键特征)。

此外,在网络流量分析过程中,实际上分析师可以自由组合JA4_a JA4_b JA4_c这些子模块进行分析。比如,GreyNoise是一个互联网侦听器,用于识别互联网中的扫描器,并将JA4+指纹应用到他们的产品中。他们发现了一个威胁行为者,他使用不断变化的单个TLS密码套件(cipher)扫描互联网。这会生成大量完全不同的JA3指纹,但对于JA4,只有JA4指纹的b部分发生变化,a部分和c部分保持不变。因此,GreyNoise可以通过查看JA4_ac指纹(拼接a+c,丢弃b)来追踪这个狡猾的威胁行为者。

3观测JA4指纹

3.1方式一:基于Wireshark

使用过滤器tls.handshake过滤TLS握手流量观察即可。高版本Wireshark原生支持JA3/JA4指纹,低版本Wireshark可以考虑安装插件。

https://github.com/fullylegit/ja3

https://github.com/FoxIO-LLC/JA4/tree/main/wireshark

3.2方式二:基于现有网站工具

https://tls.browserleaks.com/json

https://ja4db.com/

4指纹落地应用

4.1监测渗透测试人员的一个思路

处于合规考虑,这里省略如何在负载设备加载插件或者使用nginx等插件去把JA4的指纹头插入http header报文中。在生产环境中应用JA4指纹仍然需要考虑诸多实际的问题,尤其是指纹计算的性能开销。根据Cloudflare的一篇博客,他们重新用rust实现了ClientHello解析器,其基准测试结果表明,解析器可以有效地处理不同大小的ClientHello消息,较短的消息以每秒约200万个元素的速度处理,较长的消息以每秒约100万个元素的速度处理,这大概意味着启用JA4指纹后每个TLS握手请求会额外增加1-2微秒(μs)量级的开销。

这里展示最后实现的效果,如图下所示:

在header中增加X-JA4字段后,那么在我们基础安全眼里这个可操作性就会多了很多。可以在WAF侧、流量侧去匹配相关特征。我们收集了部分burp suite的JA4指纹样本做了部分分析

同样的yakit最新版,在未开启随机TLS的状态下他的JA4_b段的值默认为:6987dae9cdc4这样我们就得出一部分burp和yakit的JA4_b特征值:

burp

bc01e4e2260a

bd868743f55c

5e02f30799ee

yakit:

6987dae9cdc4

将该系列值插入到WAF和流量设备中纳入到监测之后,那么,在往后的日子里,我可以选择是否开启封禁去阻断默认值的访问,同时CDN侧也可以基于JA3/JA4特征去把相关风险特征去做拦截,这里不一一赘述。

4.2集体智能视角下的JA4

根据前文的描述,有经验的工程师不难想到:JA4这类指纹在爬虫检测(bot detection)视角看,其计算机制难以区分Headless Chrome与普通浏览器用户,作用相对平庸,或许只能作为一个低权重的观测因子;在威胁行为者检测(threat actor detection)视角看,价值相对更大一些。但近年来,黑客工具的厂商也在TLS层指纹进行持续对抗,比如Yakit引入了"随机TLS指纹"功能,Burp Suite也通过其丰富的插件生态尝试规避TLS指纹的检测,单纯的基于JA4指纹黑白名单数据库的检测未来或许只能发现低阶威胁行为者。

我们该如何进一步挖掘JA4指纹的价值?这里Cloudflare提供了一个非常有趣的思路。

单一的JA4指纹数据价值受限,海量JA4指纹的数据集合则能涌现出新的集体智能,这就是Cloudflare提供的JA4信号(JA4 signals)功能,是根据Cloudflare在全球范围内看到的所有流量的最后一小时计算的跨请求特征。

根据W3Techs的数据,79.9%使用CDN或反向代理的网站都依赖Cloudflare的服务。由于在互联网基础设施的独特视角,Cloudflare每天都会分析从5亿多个用户代理(User-Agent)和数十亿个IP地址生成的超过1500万个唯一JA4指纹。这种数据广度使JA4 Signals能够提供汇总统计数据,从而更深入地了解全球流量模式,远远超出了单一请求或连接指纹识别所能达到的效果。

这些具备全球流量视角的特征信息,既可以用于简单的防火墙规则,也可以作为高级机器学习模型的输入,实现更加智能的启发式拦截策略。

以下是一些常见的JA4信号(JA4 signals):

5结论

JA4指纹技术通过模块化设计和抗随机化策略,有效缓解传统TLS指纹易被绕过的难题。在企业安全建设实践中,需重点构建动态指纹库、实现多维度关联分析,并与WAF、IDS等安全组件形成协同防御。随着QUIC协议普及率提升,支持多协议识别的JA4+技术套件将成为企业网络安全架构的核心组件。建议安全团队持续跟踪官方指纹数据库更新,同时结合威胁情报进行检测策略优化,以应对不断演变的网络威胁。

此处感谢黑屋达!编辑了本文99%的内容!

附录

JA4指纹库

https://JA4db.com/

JA4

https://github.com/FoxIO-LLC/JA4

JA3

https://github.com/salesforce/ja3

JA4指纹测试

https://tls.browserleaks.com/json

JA4+ Network Fingerprinting

https://blog.foxio.io/JA4%2B-network-fingerprinting

Advancing Threat Intelligence: JA4 fingerprints and inter-request signals

https://blog.cloudflare.com/JA4-signals/

What is TLS Fingerprinting?| Fastly

https://www.fastly.com/blog/the-state-of-tls-fingerprinting-whats-working-what-isnt-and-whats-next

JA4信号

https://developers.cloudflare.com/bots/concepts/signals-intelligence/

JA4与akamai_hash的区别

https://www.perplexity.ai/search/what-are-the-differences-betwe-bdwy5ogiTveT5LVClZxgxA

How New Headless Chrome & the CDP Signal Are Impacting Bot Detection

https://datadome.co/threat-research/how-new-headless-chrome-the-cdp-signal-are-impacting-bot-detection/

New headless Chrome has been released and has a near-perfect browser fingerprint

https://antoinevastel.com/bot%20detection/2023/02/19/new-headless-chrome.html

Cloudflare Market Share

Cloudflare市场占有率

https://kinsta.com/cloudflare-market-share/

https://github.com/PortSwigger/bypass-bot-detection

https://www.perplexity.ai/search/mu-biao-qing-yi-mozilla-mdn-we-WNlf5yHlRdyZA6c.mUnE3A

获取JA3指纹

https://mp.weixin.qq.com/s/ytjNcpI2AN7AezGR2K8ahg

https://github.com/microsoft/OmniParser/tree/master

原文链接:https://mp.weixin.qq.com/s/8dubnJOOgcN3V9rpEynstg