← 返回列表

IDS - AGENT 为物联网入侵检测带来可解释性突破

聚合站 SecWiki技术 作者 为机器立心 发布 2025年3月13日 21:19 入库 2026-11-18T04:51:55

一、论文概述

1.1 研究背景

物联网(IoT)近年来发展迅速,广泛应用于众多领域。然而,随着物联网设备数量的急剧增加,其安全性问题日益凸显。物联网网络中的设备通常存在潜在的可信度问题,这使得部署入侵检测系统(IDSs)成为保障网络安全的关键措施。

传统的入侵检测系统主要有基于签名的入侵检测系统(SIDS)和基于异常的入侵检测系统(AIDS)。SIDS依赖于数据库中存储的已知攻击签名来识别攻击,但面对零日攻击时,由于新攻击缺乏现有签名,其检测效果大打折扣。AIDS则通过构建正常系统行为模型来识别异常,但在动态变化的网络环境中,定义正常行为较为困难,且需要定期更新知识库。

基于机器学习(ML)的入侵检测系统试图解决传统方法的问题,利用ML模型从大量训练数据中捕获复杂的攻击模式。但这类方法受模型架构和训练数据的限制,在处理零日攻击时仍存在不足,并且检测结果往往缺乏清晰的解释,影响了其在安全关键场景中的可信度。

1.2 研究问题

本文旨在解决当前物联网入侵检测系统存在的三个关键问题:一是缺乏对检测结果的解释,难以在安全关键场景中让用户理解警报背后的原因;二是难以应对零日攻击,现有方法在面对新出现的攻击类型时检测能力有限;三是检测系统的定制性不足,难以根据不同的需求灵活调整检测策略。

1.3 主要贡献

提出新型入侵检测代理:首次提出IDS-Agent,这是一种基于大语言模型(LLM)的入侵检测代理,具备结果解释、检测定制和发现零日攻击的能力。

设计推理 - 行动管道:为IDS-Agent设计了一种推理后行动的管道,包含专门用于网络流量处理和入侵检测结果聚合的行动空间和工具箱,使系统能够通过迭代推理和执行来处理各种任务。

验证模型有效性:在ACI-IoT’23和CIC-IoT’23两个基准数据集上验证了IDS-Agent的有效性。与最新的基于LLM的方法、多种ML模型以及多数投票分类器相比,IDS-Agent实现了更高的检测准确率。

增强零日攻击检测能力:实验表明,IDS-Agent在检测零日攻击方面表现出色,优于现有的专门针对零日攻击检测的方法。此外,它还能有效地遵循敏感性指令,无需专家干预或额外调整。

二、方法与理论

2.1 IDS-Agent概述

IDS-Agent旨在为每个用户对物联网流量的推理请求生成带有解释的预测结果,判断流量是良性的还是属于某种特定的攻击类型,同时能够处理定制检测灵敏度或检测新攻击类别的请求。它配备了丰富的工具箱,包含用于分类的ML模型等特殊IDS工具和用于检索外部知识的搜索引擎等通用工具,还拥有存储当前会话信息、先前会话的长期记忆以及支持文档的内存和知识库。

2.2 IDS-Agent的管道

IDS-Agent的管道受ReAct代理的启发,通过执行一系列行动步骤来完成用户请求。对于输入的用户请求和待推理的流量,首先构建初始观察值o0,它由用户请求和系统提示连接而成,系统提示包含对每个可用工具的描述。之后,IDS-Agent迭代执行以下三个步骤:

推理:核心LLM根据当前会话的短期记忆si生成关于下一个行动的想法(纯文本)ri=LLM(si),其中si包含初始观察值o0以及之前迭代的推理、行动和观察。推理过程可以选择采用先前会话的长期记忆进行上下文演示。

行动生成:根据推理结果生成行动ai=LLM(ri,si),每个行动是一个结构化的JSON文件,包含行动名称和行动输入。行动输入指定要使用的工具名称及其相关设置或参数,这种结构化生成方式便于使用指定工具高效准确地执行行动。

观察更新:执行生成的行动ai后,将工具的输出转换为纯文本,得到新的观察值Oi+1。当观察值更新为以“final answer”开头并跟随一个JSON文件时,迭代终止,该JSON文件封装了对流量数据的最终预测以及相关分析和解释,作为IDS-Agent的输出。

2.3 行动空间和工具设计

数据提取:从数据集中准确提取用户请求中指定的网络流量记录,以进行进一步分析。数据提取工具将给定的行号或流ID作为输入,输出结构化的流量样本。

预处理:对提取的数据进行清洗、归一化和转换,使其成为适合分类的标准格式。预处理工具包含多种数据分析操作函数,如特征缩放、数据编码、处理缺失值和选择重要特征等。

分类:应用机器学习模型对预处理后的数据进行分类,预测流量是良性还是恶意。分类工具的输入包括预处理后的流量特征和分类器,输出为前k个标签及其相应的置信度分数。该工具支持多种分类器类型,如随机森林、支持向量机、多层感知器等,并且分类工具箱可扩展,用户可轻松添加新的分类器。

知识检索:获取与分类器预测的特定攻击类型相关的知识。这些知识可以通过调用搜索引擎(如Google、Wikipedia API)获取外部知识,也可以从存储的知识库或预定义规则中通过RAG(检索增强生成)获取。检索到的知识将用于指导聚合步骤。

长期记忆检索:从先前会话中提取信息,为聚合单个分类器的结果提供额外信息。通过在系统提示中添加指令来激活长期记忆检索,根据时间戳距离和观察嵌入的余弦相似度来检索相关的先前会话信息。

聚合:综合整合多个分类行动的结果,生成结构化的最终推理决策。聚合工具的核心是LLM,其提示设计包含分类器的详细结果、短期记忆以及先前会话中LLM聚合的示范输入和输出。通过这种方式,能够更全面地解决不同模型输出之间的差异。

2.4 内存和知识库

短期记忆(STR):以结构化格式存储当前会话的历史推理轨迹、行动和观察,每次观察更新后进行更新,主要用于实时跟踪代理的迭代推理过程,确保步骤之间的一致性。

长期记忆(LTM):由先前用例中的代理决策和上下文信息组成。通过在验证数据集上运行代理来初始化长期记忆库,推理过程中仅存储代理决策正确的会话。在聚合分类器结果时,长期记忆检索为代理提供额外信息,根据时间戳距离和观察嵌入的余弦相似度检索相关的先前会话信息。

外部知识:除了通过搜索引擎获取的外部知识,IDS-Agent还配备了包含相关研究论文和入侵检测博客的向量数据库。核心LLM根据推理生成查询,从向量数据库中检索相关文档块,使用LLM对其进行总结后用于更新观察值,帮助IDS-Agent更好地理解潜在风险。

三、实验与结果

3.1 实验设计

数据集:使用ACI-IoT’23和CIC-IoT 2023两个常用于物联网入侵检测的数据集。ACI-IoT’23包含从各种物联网设备捕获的良性和恶意网络流量,模拟了多种攻击类型;CIC-IoT 2023模拟了大规模实时物联网环境,包含33种不同类型的攻击,比ACI-IoT’23更具挑战性。

评估指标:对于良性和恶意流量的二分类任务,使用准确率和误报率作为评估指标;对于多分类任务,将每个攻击类别和良性类别视为一个类,使用每类的精确率、召回率和F1分数作为评估指标,并报告所有类别的宏平均精确率、召回率和F1分数来衡量IDS的整体性能。

实验设置:在实验中考虑了三种LLM作为IDS-Agent的核心,分别是GPT-3.5Turbo、GPT-4o-mini和GPT-4o。对数据预处理工具、分类工具和知识检索工具进行了具体设计。同时设置了多种基线方法,包括基于机器学习的方法(使用量子退火进行特征选择的IDS)、基于LLM的方法(基于GPT-4的入侵检测方法,并对其进行改进)以及集成学习方法(多数投票)。

3.2 实验结果

定量分析:在ACI-IoT’23数据集上,当使用GPT-4o作为核心LLM时,IDS-Agent取得了最佳的综合性能;使用GPT-4o-mini时性能与之相当,且成本效益比GPT-3.5 Turbo高60%以上。在检测UDP洪水攻击等方面,IDS-Agent的召回率明显优于基线方法。在CIC-IoT’23数据集上,IDS-Agent同样实现了比基于LLM的基线和多数投票方法更高的准确率,在检测一些具有挑战性的攻击(如ArpSpoofing和Host Discovery)时表现出色。

案例分析:多数投票基线的分类结果通常缺乏可解释性,而IDS-Agent利用LLM的推理能力增强了可解释性,有助于提高检测性能。例如,在检测MITM ARP-Spoofing和reconnaissance activities时,IDS-Agent能够综合考虑多个分类器的预测结果和相关知识,准确判断攻击类型,而其他方法可能会误判。

零日攻击检测:IDS-Agent在检测零日攻击方面表现出良好的能力。在CIC-IoT’23数据集上,将其与ACGAN和RealNVP两种零日入侵检测方法进行比较,IDS-Agent在预测“未知攻击”时的召回率达到0.61,高于其他两种方法。特别是对于Vulnerability Scan和SQL Injection等攻击,IDS-Agent的召回率较高。

消融研究:对知识检索模块和长期记忆模块进行消融研究,结果表明禁用知识检索模块会导致检测准确率显著下降,尤其是在检测零日攻击时,召回率从0.61降至0.42;禁用长期记忆模块会降低对随时间演变的攻击(如Brute Force和DDoS攻击)的检测性能,整体检测准确率从0.733降至0.702,零日攻击的召回率降至0.56。

检测灵敏度:IDS-Agent的检测灵敏度可通过输入提示轻松调整。实验设置了激进、平衡和保守三种灵敏度级别,结果显示激进检测时对攻击的召回率高(0.97)但对良性示例的召回率低(0.90);保守检测时对攻击的召回率低(0.85)但对良性示例的召回率高(0.98)。

四、讨论与启示

4.1 主要发现

IDS-Agent在检测已知攻击和零日攻击方面均表现出优异的性能,优于多种基线方法,这得益于其基于LLM的推理能力、丰富的行动空间和工具以及有效的知识检索和记忆机制。

通过案例分析可知,IDS-Agent能够综合利用多个分类器的信息和外部知识,解决分类器之间的预测差异,提高检测的准确性和可解释性。

消融研究证明了知识检索模块和长期记忆模块在提升IDS-Agent检测性能方面的重要性,它们分别有助于识别训练数据中未出现的攻击模式和捕捉攻击的时间特征。

IDS-Agent能够有效根据检测灵敏度指令进行调整,在不同的应用场景下提供灵活的检测策略。

4.2 启示

在物联网入侵检测领域,结合LLM的强大推理能力和多种工具的协同工作,可以显著提升检测系统的性能和可解释性。这为未来入侵检测系统的设计提供了新的思路和方向。

构建丰富的知识库和有效的记忆机制对于应对不断变化的攻击环境至关重要。通过持续更新知识和积累经验,检测系统能够更好地适应新出现的攻击类型,提高检测的准确性和及时性。

实验结果表明,IDS-Agent在不同数据集上的表现稳定且优秀,这为其在实际物联网环境中的应用提供了有力的支持。未来可以进一步探索其在大规模、复杂物联网场景中的应用可行性。

4.3 批判性分析

实验数据集的局限性:虽然使用了两个具有代表性的数据集,但实际的物联网环境可能更加复杂多样,数据集可能无法涵盖所有的攻击类型和网络场景。这可能导致在实际应用中,IDS-Agent的性能受到影响。

LLM的依赖问题:IDS-Agent的性能在很大程度上依赖于LLM的质量和能力。如果LLM出现错误或偏见,可能会导致IDS-Agent的检测结果不准确。此外,使用商业LLM可能面临成本和隐私等问题。

模型的可扩展性问题:随着物联网设备数量的增加和网络流量的增长,IDS-Agent的计算资源需求可能会成为限制其应用的因素。如何在保证检测性能的前提下,提高模型的可扩展性,是未来需要解决的问题。

五、局限性与未来工作

5.1 局限性

知识获取的局限性:尽管IDS-Agent能够通过搜索引擎和知识库获取知识,但这些知识可能并不全面或及时。新出现的攻击类型可能无法在知识源中及时体现,从而影响对零日攻击的检测能力。

模型训练的局限性:在训练过程中,可能存在数据不平衡的问题,导致模型对某些攻击类型的检测效果不佳。此外,模型的训练依赖于标注数据,标注的准确性和一致性也会影响模型的性能。

实时性挑战:虽然IDS-Agent在实验中的执行时间对于实时应用来说在可接受范围内,但随着网络流量的增加和攻击复杂度的提高,其是否能够始终保持实时检测的能力仍有待进一步验证。

5.2 未来工作

优化知识获取机制:探索更高效的知识获取方法,如自动从最新的安全报告、研究论文和网络论坛中提取知识,以提高对新攻击的检测能力。

改进模型训练策略:研究数据增强技术和半监督学习方法,以解决数据不平衡和标注不足的问题,提高模型的泛化能力。

提高实时性能:优化IDS-Agent的算法和架构,减少计算资源的消耗,提高检测速度,以适应大规模、高速的物联网网络环境。

多模态数据融合:考虑融合多种类型的数据,如图像、音频等,以丰富检测信息,提高检测系统的准确性和鲁棒性。

六、个人思考

6.1 优点

创新性强:IDS-Agent创新性地将LLM引入物联网入侵检测领域,打破了传统方法的局限,为入侵检测带来了新的思路和方法。其基于推理 - 行动管道的设计以及丰富的行动空间和工具,使系统具备强大的处理能力和灵活性。

性能卓越:在多个基准数据集上的实验结果表明,IDS-Agent在检测准确率、召回率等指标上均优于多种基线方法,尤其是在检测零日攻击方面表现出色,这显示了其在实际应用中的巨大潜力。

可解释性好:通过利用LLM的推理能力,IDS-Agent能够为检测结果提供详细的解释,这在安全关键场景中至关重要,有助于用户理解警报的原因,提高系统的可信度。

6.2 缺点

对外部资源的依赖:IDS-Agent的运行高度依赖外部知识源和LLM,这可能导致在某些情况下(如网络连接不稳定或知识源更新不及时)性能下降。此外,使用商业LLM还可能面临成本和隐私问题。

模型复杂度较高:包含多个模块和复杂的推理过程,这使得模型的训练和部署相对复杂,对计算资源的要求较高。在实际应用中,可能需要强大的硬件支持才能保证其性能。

6.3 潜在改进方向

减少对外部资源的依赖:尝试开发自己的轻量级语言模型或知识提取工具,以减少对商业LLM和外部知识源的依赖,提高系统的自主性和稳定性。

优化模型结构:对IDS-Agent的结构进行优化,简化不必要的模块和推理步骤,在不降低性能的前提下降低模型复杂度,提高计算效率和可扩展性。

6.4 对未来相关研究的影响

研究方向的拓展:IDS-Agent的提出为物联网入侵检测领域开辟了新的研究方向,未来的研究可以围绕基于LLM的入侵检测系统展开,探索更多创新的方法和应用场景。

技术融合的推动:促进了LLM与其他技术(如机器学习、知识图谱等)的融合研究,为解决复杂的安全问题提供了新的技术思路和方法。

性能提升的探索:激励研究者进一步探索提高入侵检测系统性能的方法,如优化模型训练、改进知识获取机制等,推动整个领域的技术发展。

链接:https://openreview.net/pdf?id=iiK0pRyLkw

原文链接:https://mp.weixin.qq.com/s/7VRU58wY5xZZO-plQ4D7-Q