← 返回列表

API接口深度发现的动态爬虫实现(1)

单站 李姐姐的扫描器 发布 Wed, 30 Apr 2025 19:38:00 +0800 入库 2026-11-18T14:12:02

原创 扫到漏洞的 2025-04-30 19:38 北京

目前,各大SRC接收的漏洞中,API接口漏洞占比极高。本篇首先介绍白帽子常用爬虫的API接口发现能力评测

目前,各大SRC接收的漏洞中,API接口漏洞占比极高。例如:
越权、未授权访问、敏感接口暴露、信息泄漏、并发、SSRF等

在躺着自动化捡漏洞这个领域,早些年,得资产者得天下。 白帽子手上掌握的目标资产越全,越容易捡到漏洞。主要是:
- 2) 动态爬虫扫描器: 若无法带身份扫描,获取API接口接近5%
- 3) 动态爬虫扫描器 + 支持认证: 如果不具备深度发现API接口的功能,接近发现30%
- 4) Burp Suite + 人工导航: 接近发现40%,很多接口,测试同学的账号找不到功能入口,不具备身份权限

因此,现在白帽子挖不到漏洞,一个重要的门槛,是没有所需权限的测试帐号,比如商家端、企业类型的帐号。在获取测试账号这一环节会浪费较多时间
- 5) 动态爬虫+Burp+Fuzz+人工: 幸运的情况下,能接近50%

上面的说法显得夸张,但实际情况是,绝大部分web应用,暴露到前端功能界面,Javascript源代码中的,往往都只是一个API子集。 后面API还多着呢,看不见,测不到,才是更为普遍的情况。1)  API接口的自动化发现已经成为黑盒Web漏扫的决定性因素之一3) 需要解决身份认证的问题,没有认证信息,多数接口请求不会成功4) 需要支持复杂的交互,智能的交互,触发API调用5)需要能够fuzz,发现没有在JS中引入的更多接口6) 需要获取到接口的参数名和参数值,用于漏洞测试  Crawlergo vs Rad vs BurpSuite  笔者对白帽子常用的几个爬虫工具进行了评估,分别是:3) Burp Suite Professional 2025.1.4(不开源)

不可否认,这3个工具都非常优秀。 然而,在API深度发现方面,它们都存在一定的不足。Crawlergo是一个非常优秀的开源项目,能看出来作者分析解决了很多细节问题。这是一份极具参考价值的源代码。作者写了十分详尽的文章介绍实现细节,值得阅读2) 自动填表在Element UI等情况下无法工作,示例代码
<input type="text" class="el-select__input" autocomplete="off" role="combobox"

上述元素是一个combo 下拉框输入,crawlergo只看到是一个text input。3) 会遗漏API接口,测试中发现modal框中触发的交互请求,是没有捕获到API接口的4)作者提到了拦截HTTP请求返回204,锁定导航。 实测大部分情况有效,一部分情况下未能锁定,因为,导航时甚至都没有新的Request产生5)  大量无效的请求和误报,前端打包后产生的大量无效的URL,被请求后写入结果6)工具没有提供交互登录支持(rad burp有)Rad是长亭发布的爬虫工具,运行效率很高,并且支持 --wait-login 交互登录。它的问题是结果不够稳定,多次运行,结果不一致,一会儿多,一会儿少(站点本身是稳定的)。释放的leakless.exe文件在PC上被会识别为木马。由于没有代码,没有准确定位到具体问题。但整体API接口发现率同样不足。用户交互得到的身份认证凭据,应该被扫描器视为一个高成本、高价值的数据。只有2种模式:  1) 录入账号密码    2) 录制登录行为序列并重放问题是,重放一般是在大型网站是无法成功的,现在很多扫码登录、验证码单次登录的。重放登录只对一些小网站有点效果罢了。看文档,提到能配置cookie jar,测试发现,对headless chrome无效。cookie jar的规则并不能被初始化到动态爬虫中,这里出现巨坑因为无法修改Burp的chromium启动参数,我尝试去已启动的chromium 进程目录下手工注入登录会话,结果测试也失败了。Burp不会复用这个父进程的user dir。 总结:内部的cookie jar无法预注入到chromium爬虫,爬虫效果待验证。通过本地127.0.0.1反向代理目标网站,默认注入Cookie,burp爬虫自带身份爬取目标网站。本篇笔者先介绍测试结论:目前常见的爬虫工具中,对API接口深度发现存在一定的不足。这个爬虫的复杂度在于:3) Burp Suite Professional 2025.1.4(不开源):  

原文链接:https://mp.weixin.qq.com/s?__biz=MzkyNjM0MjQ2Mw==&mid=2247483753&idx=1&sn=9a31d96efa56ac96368a894180bcb487