← 返回列表

弗吉尼亚理工大学 | 从“能力”到“性能”:LLM 渗透测试智能体的功能属性评测

单站 安全学术圈 发布 Fri, 30 Oct 2026 18:30:00 +0800 入库 2026-11-18T07:16:51

原创 全诗轩 2026-10-30 18:30 四川

角色取决于任务,而不是取决于架构。低风险、结构化的任务可以自主;高风险、实时性强的任务必须退回人机协同

原文标题:From Capabilities to Performance: Evaluating Key Functional Properties of LLM Architectures in Penetration Testing

原文作者:Lanxiao Huang, Daksh Dave, Tyler Cody, Peter Beling, Ming Jin

原文链接:https://aclanthology.org/2025.emnlp-main.802/

发表会议:EMNLP 2025(pp. 15879–15905)

笔记作者:全诗轩@安全学术圈

主编:黄诚@安全学术圈

渗透测试通常结合我们人类的专业知识、规则与框架(NIST SP800-115、MITRE ATT&CK等)进行实践。虽然机器学习和强化学习已经为渗透测试实现部分自动化,比如通过漏洞检测或利用漏洞进行预测,但是它们过于依赖标注数据集、刚性特征以及被明确定义的奖励机制的特点,限制了它们对于新威胁的适应性。

LLM 带来的是另一种可能:它能推理攻击路径、生成 payload、根据网络反馈临场调整,于是“自主侦察”“自适应利用”这些以前靠人的环节开始被自动化。但是灵活性也同样带来了 NLP 领域的问题:

本篇文章受这些考虑启发,于是围绕以下四个研究问题(RQs)构建研究:

论文先把现有工作按“人和模型谁说了算”归成三类:

实验环境取自 HackTheBox、Metasploitable 与 VulnHub 的 14 台靶机,每台拆出 8\~22 个子任务,覆盖侦察、凭据攻击、漏洞利用、后渗透、MITM、Web 利用、AD 攻击,并映射到 MITRE ATT&CK 的七类战术。

被测对象六个:单体智能体 GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash;模块化智能体 PentestGPT、AutoAttacker 与 PenHeal

因为渗透测试是一个复杂的过程,光看最后有没有打进去是不够的。所以,作者设计了三个互补的指标,从不同维度来评估AI的表现。

如表所示,LLM智能体在完成渗透测试任务的能力上差异很大。虽然单智能体模型(如GPT-4、Claude)在结构化、规则驱动的阶段表现良好,但模块化系统表现出更多方差,在某些子任务上较强,但受协调和记忆缺口阻碍。其中,PENHEAL在简单和复杂阶段都表现出色。

MITM局限性: 所有模型在实时中间人(MITM)攻击上均失败,凸显了实时动态响应能力的核心局限。尽管能够生成静态命令,智能体无法解释或响应瞬态网络条件。这种一致失败凸显了当前LLM系统的重要差距:缺乏运行时插桩和事件驱动适应。

复杂多步任务: 在多步工作流(如后渗透和Active Directory枚举)中性能急剧下降,尤其是Gemini和AUTOATTACKER。这些失败源于脆弱的规划和跨子任务有限的上下文重用。相比之下,PENHEAL、GPT-4和PENTESTGPT保持了更高的完成率,可能由于对战略规划与错误恢复以及跨阶段上下文支架的更强支持。

作者把错误归成三类:

这些失败凸显了当前LLM在需要与动态网络环境进行高保真实时交互的任务中的根本局限性。这些局限性源于三个核心问题:(i) 依赖网络状态的文本抽象,(ii) 缺乏直接的低层环境代理能力,(iii) 并行处理和亚秒级响应方面的挑战。

论文据此提炼出五项关键功能属性,并各配一个针对性增强:

智能体 基线 +GCM +IAM +CCI +AP +RTM
AutoAttacker 25.9 38.2 41.5 40.0 53.0 30.9
PentestGPT 41.2 54.9 57.4 54.1 52.2 46.2
PenHeal 52.1 56.3 63.9 58.7 72.4 57.1

(子任务完成率,单位 %。)

如图标所示,这些干预对症下药地搭建了功能模块,大大地提升了智能体的性能。

论文最后回到了 RQ1,作者最终的结论是:角色取决于任务,而不是取决于架构。低风险、结构化的任务可以自主;高风险、实时性强的任务必须退回人机协同

局限说得也坦白:靶场只覆盖 HTB、Metasploitable 这类规模,未必代表大型企业网络;模型版本会持续更新,而结论有保鲜期;评测依赖文本层面的命令解析,没有直接接入网络监控与实时流量分析,这也是 MITM 全灭的原因之一。

安全学术圈 | 投稿须知 

有兴趣加入学术圈的请联系 secdr#qq.com

原文链接:https://mp.weixin.qq.com/s?__biz=MzU5MTM5MTQ2MA==&mid=2247496089&idx=1&sn=5e1f4016b6e2730fcd6ef3f8e9ee38f0