← 返回列表

NetEval: 大语言模型在网络领域的能力评测套件

聚合站 SecWiki技术 作者 NASP网络实验室 发布 2023年9月16日 13:31 入库 2026-11-18T09:32:22

TL;DR:本文提出了业界首个用于评估大语言模型在网络领域知识水平的公开数据集,NetEval,并利用NetEval对多种大语言模型在中英双语环境下的网络领域知识水平进行了评估。评测结果显示在当前给定的NetEval评测数据集下,GPT-4已经达到近似人类的知识水平。同时,一些公开参数的开源大语言模型(如LLaMA-2)也展示出了很大的潜力。

论文地址:

https://arxiv.org/abs/2309.05557

数据集地址1:

https://modelscope.cn/datasets/nasp/neteval-exam

数据集地址2:

https://huggingface.co/datasets/NASP/neteval-exam

摘要

当前,业界对大语言模型(Large Language Models,LLMs)的关注焦点普遍集中在其作为通用模型的服务能力上。然而,许多行业领域的从业者更为关注的是大语言模型在各个垂直领域的服务能力。本文针对网络这一细分领域,建立了一个网络知识能力评测数据集NetEval,并且基于NetEval对当前各类大语言模型在网络领域的知识能力进行了测试。NetEval数据集可以用于评估基础模型在中英双语环境下的网络运维知识和推理能力。NetEval包括了5269道客观选择题,覆盖网络领域的5个不同子领域。我们对业界26个公开可触及的大语言模型在NetEval上的表现进行了全面评估。结果显示,目前只有GPT-4能够在NetEval数据集上达到近似人类的知识水平。我们期望NetEval数据集可以被广泛应用于分析基础模型在网络领域的优势和不足,推动大语言模型在网络领域的发展。

01

背景介绍

1.1. 大语言模型赋能网络运维场景

预训练大语言模型(Pretrained Large Language Model,简称“大语言模型”)是指利用大量无标注的文本语料,通过自监督学习训练获得广泛知识和泛化能力的深度神经网络语言模型。通过模型微调和上下文学习等方法,大语言模型可以作为基础模型(Foundation Model)应用于各类下游任务中,获得比传统方法更好的性能和更高的效率。近年来,大语言模型不仅在通用领域自然语言处理任务上取得显著突破,同时,在软件工程、商务金融、生物医疗等众多垂直领域中也获得了广泛的应用。对于网络运维领域,大语言模型同样具有巨大潜能,其潜在的应用场景包括:

  1. 网络监控管理:利用网络监控软件实时监测网络性能数据,分析并生成报告,及时发现和解决网络故障,确保网络稳定性。

  2. 网络拓扑规划:根据企业或组织需求,设计和规划网络拓扑,确保网络结构合理且可扩展。

  3. 网络设备管理:配置、安装、监控、维护、升级和测试网络设备(如交换机、路由器、防火墙等),确保设备正常运行,避免故障和停机。

  4. 网络故障排除:定位、分析和修复网络故障,确保网络的快速恢复能力和可用性。

  5. 网络性能优化:监控和优化网络性能指标,如带宽、延迟、丢包率,确保网络稳定运行,提升用户体验和工作效率。

  6. 网络安全运维:进行安全评估、漏洞扫描、入侵检测和入侵防御,保护网络免受攻击,防止数据泄露,确保网络安全。

  7. 网络灾备恢复:定期备份网络数据并制定恢复计划,防止发生数据丢失或灾难性事件,保护重要数据。

以上的网络运维场景对企业或组织的正常运营至关重要,它们不仅确保了网络的稳定性和安全性,还提升了网络性能和用户体验,为企业或组织创造更大的价值。大语言模型凭借其强大的表征能力和迁移能力,可以有效分析和处理网络运维数据,提高运维效率和质量,推动网络智能技术的高质量发展。

1.2. 网络运维评测工作的问题与挑战

评估大语言模型在网络运维领域的能力具有重要意义。一方面,这可以为网络运维领域专用大语言模型的设计和优化提供强有力的依据;另一方面,这将有助于促进AI技术在网络运维领域中更深入的推广和应用,从而推动智能化网络运维的进一步发展。

网络运维领域任务和数据的多样性为评估大语言模型带来了巨大挑战。具体挑战包括网络运维数据的多样性、网络运维知识的专业性和网络运维任务的多样性,这使得利用通用方法准确、客观评估变得困难。

为了应对这些挑战,我们使用网络工程师资格证书考试题目和教科书课后习题作为评测题目。这些题目不仅能够确保评估的全面性和客观性,还将人类表现作为基准,以确保评估内容与实际网络运维需求保持一致。

本文剩余部分的组织结构如下:第2节介绍了用于评估的数据集,第3节详细介绍了我们所评估的大语言模型,第4节介绍了评估方法,第5节提供了详细的评估结果和分析,第6节对本文进行了总结, 并简要讨论了未来的研究方向。

02

评测数据集

我们构建了一个多语种网络运维领域基础模型数据集NetEval,包含5269个客观选择题。其中,英文题目占73%,中文题目占27%。目前,NetEval已通过Model Scope和Huggingface等渠道公开发布(访问地址1:https://modelscope.cn/datasets/nasp/neteval-exam,访问地址2:https://huggingface.co/datasets/NASP/neteval-exam)。

选择题是较为常见的客观题形式,由于其答案的确定性和回答方式的简便性,主流大语言模型评测数据集大多使用选择题。例如,当前被广泛用于大语言模型评测的MMLU(Massive Multitask Language Understanding)[13] 数据集均为选择题。

我们沿用MMLU数据集的构建方法,从公开数据、合作机构数据和其他渠道数据中收集选择题作为评测题目。这些题目经人工标注归类到Network Access、IP Connectivity、IP Services、Network Security、Network Automation and Network Programmability 5个子领域,每个子领域的题目划分为开发集、验证集和测试集。其中,开发集用于提示语生成,验证集用于超参数调整,测试集用于模型的最终评估。

我们公开了全部开发集和验证集的数据。测试集的信息部分对外公开,用户需要提交评测请求以获取全部测试数据的客观准确性评估。

为了避免开发集、验证集中出现与测试集中雷同的题目,在划分这三个集合时,我们从全部题目集合中挑选出了与其他题目最不相似的题目放入开发集和验证集。为了衡量题目之间的相似度,我们使用sentence-bert [14] 模型将每个问题样本编码成向量,并通过计算向量之间的余弦相似度作为衡量依据。表1列出了测试集中各子领域的示例题目。

表1 评测题目样例

03

受评模型

随着大语言模型技术的迅猛发展,各家机构和公司的大语言模型不断涌现。当前,仅在中国就已有100余个大语言模型。由于计算资源有限,我们无法在评估中涵盖所有模型,因此选择了一些具有代表性的模型进行评测。

预训练语料库是影响大语言模型能力的关键因素之一。大多数现有的大语言模型都属于通用领域大语言模型,它们的预训练语料库是从各种来源(包括公共网络、书籍、编程代码等)中混合收集的,涵盖了广泛的知识。

表2列出了我们评估的通用领域模型,在本文中,模型名称后面的“-B”后缀表示了模型的参数量,例如“LLaMA-7B”表示LLaMA模型70亿参数量的版本。

OpenAI开发了一系列大语言模型,包括text-davinci-003、GPT-3.5-turbo、GPT-4等。Meta的LLaMA和LLaMA 2也是受欢迎的开源通用领域大语言模型。Falcon由UAE TII开发,曾在Open LLM Leaderboard中排名第一。GLM由清华大学开发,使用独特的架构和双语语料库进行训练。Moss和Baichuan也是使用双语语料库进行预训练的大语言模型。

OpenAI不向公众提供模型权重,但向开发人员提供了一些API,因此我们通过API对这些模型进行评估。Meta的模型在得到官方授权后可以获得权重文件;其他模型则可以直接从开源平台(如HuggingFace)下载代码和权重文件,因此可以在本地进行部署和评估。

表2 参与评测的模型

04

评测方法

针对上述网络领域评测数据集,我们设计了一套适用于各类大语言模型的评测方案,并用此方案测试了待测模型在网络领域的能力。

评测过程包括三个步骤:提示语生成、模型推理和后处理。

4.1. 提示语生成

提示语生成是指利用提示语工程技术将评测集中的问题转换成一段适合语言模型处理的文本。如图1所示,生成的提示语主要包含任务的描述、评测内容以及最终的提问。

任务描述部分阐述了任务目标及问题领域。

在评测内容中,我们采用了四种提示语,分别是零射(Zero-shot)提示语、少射(Few-shot)提示语、思维链(Chain-of-Thought, CoT)[15] 提示语和检索增强(Retrieval-Augmented Generation,RAG[16])提示语:

  1. 零射提示语仅包含测试问题的内容;

  2. 少射提示语不仅包含测试问题,还包括取自开发集的少量样例问题及答案;

  3. 思维链提示语则在问题后面增加了解题步骤的提示;

  4. 检索增强提示语会在问题前面增加一些与问题相关的外部知识。

外部知识的匹配通过检索向量数据库来实现,评测中使用的向量数据库是基于sentence-bert [14]编码器构建的Wikipedia索引。

提示语的最后,我们使用“Answer:”来提示模型输出答案。

图1 不同的提示词构造方式

4.2. 模型推理

生成提示语后,我们通过调用各种语言模型的接口获取模型输出。对于仅开放API、不开放权重的语言模型(如GPT-4),我们调用API来实现模型推理。每个评测问题在一个单独的会话中完成推理,会话中仅包含一条默认系统消息和一条包含提示语的用户消息。对于开放权重的模型,我们在本地测试环境中加载并测试。根据模型的实现,我们调用文本生成的函数来执行给定提示的推理。在调用本地模型时,我们参考了每个模型在其官方网站上示例推理代码中的参数设置,并限制了输出词的数量。

4.3. 后处理

由于大多数大语言模型都是生成模型,输出格式难以统一,因此需要进行后处理来提取最终答案。

后处理的第一步是使用换行符截断输出内容,仅保留第一行。模型输出的第一行可能仅包含答案标签,则无需进一步处理。对于其他输出,例如:“the correct choice is A”,则需要使用一系列预定义的正则表达式来匹配和提取答案标签。

完成后处理后,我们通过比较提取的答案标签与正确答案来计算模型的准确率。

4.4. 评测环境

我们的评估使用了两种类型的主机作为测试环境,如表3所示。对于较大的模型,如LLaMA-65B和Falcon-40B,我们使用B类主机进行测试;而其他模型则根据资源可用性动态分配到所有主机。模型推理通过模型并行将计算任务分布到多个GPU上。

表3 评测环境配置

05

评测结果与分析

各个模型在零射提示语和少射提示语下的准确率如图2所示。OpenAI的模型在各个测试条件下都表现出更好的性能,尤其是GPT-4,在少射提示语下可以达到 81% 的准确率,在零射提示语下也可以达到 77% 的准确率。

由于网络运维相关认证考试的通过标准为80%,因此GPT-4(在少射提示语下)是唯一可以通过认证的模型(仅限于客观选择题)。

不过,LLaMA、Falcon等开源模型还是展现了巨大潜力,这表明基于通用开源大语言模型进一步训练网络运维领域的大模型具有一定的可行性。

图2 模型准确率

(对于准确率低于30%的模型,不在此图展示)

5.1. 参数量与模型准确率的关系

如图3所示,通过比较不同参数规模的模型,我们可以发现模型参数量越大,准确率越高。LLaMA-65B是效果最接近GPT-3.5/4的开源模型。此外,LLaMA-65B的准确率超过了参数量为其两倍的GLM-130B,这可能是因为国内模型在网络运维相关的英文语料方面相对缺乏。

图3 同种不同规模模型的零射准确率

5.2. 提示示例数与模型准确率的关系

如图4所示,我们将零射准确率在40%以上的模型的零射和少射准确率进行了对比,发现少射提示语对模型准确率的影响因模型而异。对于LLaMA-2-7B、Falcon-40B、ChatGLM2-6B和GPT-4,少射提示语有明显提升作用,提升幅度为7%至12%。其中,GPT-4的提升幅度最大,达到了12%。Falcon-40B的少射准确率甚至达到了LLaMA-65B的水平。

对于LLaMA-13B、LLaMA-65B、ChatGLM-6B和GPT-3.5,少射提示语的影响不明显,提升幅度不超过3%。然而,对于GLM-130B,少射提示语甚至存在负面效果,导致准确率下降。这可能是因为GLM-130B在理解英文示例方面的能力有限,导致提示语中的示例反而起到了负面作用。

图4 零射 / 少射准确率对比

5.3. 思维链与模型准确率的关系

大部分研究表明,思维链(Chain of Thought,CoT)[15] 对生成模型的输出结果有明显的影响,因此思维链是提示语工程中最重要的工作之一。我们对NetEval数据集进行了少样本思维链(Few-shot Chain of Thought,Few-shot-CoT)的实验。少射思维链是通过提供少量思维链演示的例子来指导大语言模型的推导过程,进而影响推理结果。

在实验过程中,我们发现引入思维链会导致生成内容的长度显著提高,耗时明显增加。同时,思维链所产生的内容并不一定总能带来正向收益,有时在一些评测题目中甚至会丢失答案的输出内容。如图5所示,从实验数据看,思维链对 Chat Model 的效果更明显,初步推测是由于 Chat Model 相比基座模型,更加不善于处理选择题格式的输入,思维链恰好能帮助 Chat Model 激活此类能力。

图5 零射/少射/少射思维链的准确率对比

5.4. 检索增强与模型准确率的关系

目前,在提示语工程领域,基于信息检索技术(如向量召回)进行大语言模型的记忆增强已经成为主流方法。通过语义索引,可以从海量候选数据中快速、准确地召回一批与具体任务语义相关的文本。在新增样本的情况下,无需重新训练模型,只需通过提示语为模型提供召回的事实信息,即可增强模型的生成能力。

我们使用了维基百科的全量数据,并基于sentence-bert的知识表征方法进行了检索增强。目前,我们选取了每个系列中的小参数(<13B)大语言模型作为代表进行了一组实验。结果如图6所示,在检索增强设置下,模型回答的准确率有明显的提升。

图6 零射/少射/零射检索增强的准确率对比

5.5. 指令微调与模型准确率的关系

指令调优(Instruction Tuning)是一种常见的有监督微调(Supervised Fine-Tuning, SFT)技术,用于在预训练后进一步调整模型以适应特定任务。指令调优的工作原理是使用少量的标记数据来调整模型的参数。我们的目标是评估指令调优是否对网络运维领域有所帮助。

图7 指令微调对模型效果的影响

如图7所示,我们对比了LLaMA-2和Falcon模型的原始版本和经过指令调优后的版本性能。值得注意的是,对于LLaMA-2和Falcon,经过指令调优后的性能均不如原始模型的性能。这说明指令调优不一定会提高模型性能。一种可能的原因是LLaMA-2-Chat和Falcon-instruct所使用的指令调优语料更多是通用领域的对话信息,与网络运维领域知识存在一定的差异。

5.6. 题目语种与模型准确率的关系

大语言模型由于预训练文本中语种分布的不同,处理多语种任务的能力可能不尽相同。如图8所示,我们对各个模型在中文题目和英文题目上的准确率分别做了统计,来衡量模型的多语种网络运维能力。

结果显示,除了GLM-130B以外,Baichuan、Moss、ChatGLM 2等基于中英双语语料训练的模型均能在中文题目上取得更高的准确率,尤其是零射提示语下的Moss-moon-003-sft和少射提示语下的Baichuan-13B-base,中文题目准确率比英文题目准确率高14%-17%;其他模型在中文题目上的准确率低于英文题目上的准确率,尤其是GPT-4在少射提示语下的中文准确率比英文准确率低18%,说明大语言模型在中文任务上的能力还有很大提升空间。

图8 不同语种题目中模型的准确率

06

总结和下一步工作

本文介绍了我们推出的多语种网络运维能力评估套件NetEval 。我们对 26 个广泛使用的通用大语言模型进行了系统的网络运维能力评估。实验结果表明,目前只有 GPT-4 达到了近似人类的水平。这既说明了大语言模型在网络运维领域的巨大潜力,也说明大部分通用大预言模型在网络运维领域仍有很大的发展空间。

目前我们评测数据的主要形式还集中在选择题上,在接下来的工作中我们将使用一些内容生成题目和指标来考察网络运维领域的大语言模型能力。除此之外,网络运维是一个强调实践的学科,在未来的工作中我们也会引入比如“机考”这种常见的网络运维工程师考察方式。

后续我们将通过进一步补充完善评测题目、引入更多的受评模型,不断介绍更多的评测结果。

07

引用文献

[1] OpenAI. Chatgpt (mar 14 version) [large language model]. https://chat.openai.com/chat, 2023.

[2] OpenAI. Gpt-4 technical report. Technical report, 2023.

[3] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[4] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[5] GuilhermePenedo,QuentinMalartic,DanielHesslow,RuxandraCojocaru,AlessandroCappelli,HamzaAlobeidli, Baptiste Pannier, Ebtesam Almazrouei, and Julien Launay. The refinedweb dataset for falcon llm: outperforming curated corpora with web data, and web data only. arXiv preprint arXiv:2306.01116, 2023.

[6] Nathan Habib Sheon Han Nathan Lambert Nazneen Rajani Omar Sanseviero Lewis Tunstall Thomas Wolf Edward Beeching, Clémentine Fourrier. Open llm leaderboard. https://huggingface.co/spaces/ HuggingFaceH4/open_llm_leaderboard, 2023.

[7] Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, and Jie Tang. Glm: General language model pretraining with autoregressive blank infilling. arXiv preprint arXiv:2103.10360, 2021.

[8] Fudan University. Moss: Training conversational language models from synthetic data. https://github.com/ OpenLMLab/MOSS, 2023.

[9] Baichuan Intelligent Technology. Baichuan. https://huggingface.co/baichuan-inc, 2023.

[10] Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford alpaca: An instruction-following llama model. https://github.com/ tatsu-lab/stanford_alpaca, 2023.

[11] Tim Dettmers, Mike Lewis, Younes Belkada, and Luke Zettlemoyer. Llm. int8 (): 8-bit matrix multiplication for transformers at scale. arXiv preprint arXiv:2208.07339, 2022.

[12] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685, 2021.

[13] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300, 2020.

[14] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[15] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35:24824–24837, 2022.

[16] Lewis, Patrick, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Kuttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel and Douwe Kiela. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” ArXiv abs/2005.11401 (2020): n. pag.

[17] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, 7(3):535–547, 2019.

[18] Yao, Shunyu, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan and Yuan Cao. “ReAct: Synergizing Reasoning and Acting in Language Models.” ArXiv abs/2210.03629 (2022): n. pag.

原文链接:https://mp.weixin.qq.com/s/CVTGd3rxJ6OKbV2gWNr91A