← 返回列表

Tor 服务的大规模爬取与分析

聚合站 SecWiki技术 作者 威胁棱镜 发布 2023年11月8日 09:00 入库 2026-11-18T09:02:00

工作来源

ARES
2023

工作背景

Tor从2004年开始运营,到2022年1月为止已经有超过70万个Tor域名,以近8Gbps的速率为250万用户提供服务。

探测Tor服务的情况有几个难点:Tor服务通常只能用Tor浏览器或专用客户端通过Tor网络访问;以公钥的哈希值作为域名非常难记;Tor网络的路径较长且性能较低;只能通过口口相传或者网页链接发现域名。

Tor服务不仅提供端到端加密,还提供双向匿名。如下所示:

2018年2月,Tor开始推广第三代Tor服务。该代Tor服务有56个字符,包含Tor服务公钥的base32编码、校验和与版本号。此外,还支持同故宫椭圆曲线加密技术将整个公钥嵌入域名中。新版本Tor服务还更新的密钥派生方案,从Tor域名作为服务的标识符转而使用Tor域名与特定元数据派生新的公钥。三年后的2021年10月,Tor浏览器在新版本中正式废弃了第二代Tor服务,全面拥抱第三代Tor服务。

工作设计

Dizzy的架构如下所示:

爬取数据

通过OnionDir与Torch获取初始种子,取爬取网页。每一个响应都会对应生成一个原始HTML文件及其渲染版本,以及各种元数据(如图片的哈希值)。

分析数据

提取用于分类的特征:

服务一共被分为六类:

使用感知哈希与PRNU识别相似的图片与来源相机。另外,将加密货币钱包地址的流入流出行为存入图数据库中。

应用数据

工作准备

2021年4月在35节点的Kubernetes集群上部署了Dizzy,每个节点32核+ 64GB内存。整个集群拥有100个Tor客户端、100个JS渲染器与150个爬虫,可以实现每秒爬取75个Tor服务的速度。

训练好的分类器如下所示:

注:Dizzy仍然尊重Tor的准则,不爬取需要身份验证等诸多情况的服务。

工作评估

截至2022年1月31日,Dizzy爬取并分析了39536个Tor服务的63267542个网页,95.2%的服务只有不到75个网页。JavaScript、CSS与图片哈希的数量分别为3200万、230万与150万,共发现5720个加密货币钱包地址。

域名情况

53.6%的域名严格满足第三代Tor服务,33.1%的域名严格满足第二代Tor服务。如下所示,大多数第三代Tor服务都是在2021年6月以后出现的,也就是Tor官方表示Tor浏览器新版本放弃支持第二代Tor服务的时候。

Dizzy每天能够发现8.9个新域名,但服务可用性其实相对较低。

86%的服务使用Nginx部署,其次是Apache HTTP Server、Lighttpd、Microsoft-IIS与各种不知名的服务。由于Tor提供端到端加密,再使用TLS其实是多余的,但仍然发现了173个域名使用156个TLS证书进行访问。

网页内容

93%的服务使用英语作为主要语言,其次是俄语、德语与法语,以及其他四十多种语言。大约50.6%的服务是交易市场,其次是色情网站(9.4%)、加密货币服务、搜索引擎、社交媒体等。

61.7%的Tor服务被标记为非法,几乎所有的色情网站都是非法的。

48.7%的图片都是PNG格式,其次为JPG与GIF。82.4%的图片小于64像素,剩下的图片只有5.7%带有EXIF信息。

加密货币

41.4%的服务提供了325653个加密货币地址,但前10%的服务提供了74%的地址。已使用地址中,9.1%被标记为恶意地址。

10.2%的已使用地址收款超过1万美元,1.6%的已使用地址收款超过10万美元。这些钱包423400笔共计收款2.015亿美元,146200笔共计提款1.84亿美元。

TOP
5的钱包如下所示:

网络连接

图库中共有3.95万个节点与74.32万条边,最大的簇连接40.3%的节点与44.7%的边。度(入度+出度)与频度的情况如下所示:

工作思考

有意思的是暗网中也有诈骗,服务声称其分析了加密货币并且发现了漏洞,可以让用户收到比发送的还多的加密货币。诱导用户将加密货币发送到该网站的钱包地址,还列出了部分交易,表示用户可以获利超过200倍。

原文链接:https://mp.weixin.qq.com/s/3VuSxgEBwdh_JCNBX0Vakg