← 返回列表

面向LLM时代全尺寸现代知识图谱的精确检索基准CYPHERBENCH

聚合站 SecWiki技术 作者 安全学术圈 发布 2025年7月24日 21:30 入库 2026-11-18T03:52:36

原文标题:CYPHERBENCH: Towards Precise Retrieval over Full-scale Modern Knowledge Graphs in the LLM Era原文作者:Yanlin Feng, Simone Papicchio, Sajjadur Rahman原文链接:https://arxiv.org/pdf/2412.18702发表会议:ACL'25笔记作者:彭佳仁@安全学术圈主编:黄诚@安全学术圈编辑:张贝宁@安全学术圈

  1. 研究背景

从图数据中检索对于利用开放领域的知识和私有企业数据来增强大型语言模型(LLM)至关重要,它也是最近提出的GraphRAG系统中的一个关键组成部分。尽管在知识图谱和知识库问答方面已有数十年的研究,但领先的LLM框架(如Langchain和LlamaIndex)对从像Wikidata这样的现代百科全书式知识图谱中进行检索的支持却非常有限。

本文分析了其根本原因,并指出由于模式过于庞大(远超典型LLM的上下文窗口)、使用资源标识符、关系类型重叠以及缺乏规范化,现代RDF知识图谱(如Wikidata、Freebase)对于LLM而言效率较低。

作为一种解决方案,文中提出了在底层RDF图之上构建属性图视图,LLM可以使用Cypher查询语言高效地查询这些视图。本文在Wikidata上实例化了这一想法,并推出了CypherBench——这是第一个包含11个大规模、多领域属性图的基准测试,其中含有780万个实体和超过10,000个问题。

为实现这一目标,本文解决了几项关键挑战,包括开发一个RDF到属性图的转换引擎,创建一个用于生成“文本到Cypher”任务的系统化流程,以及设计新的评估指标。

  1. LLM时代的知识图谱建模

2.1 为何在现代知识图谱上的检索如此困难?

在现代百科全书式知识图谱上进行检索(这些图主要是RDF图,如图1所示)面临着巨大挑战,原因有以下几点:

模式过于庞大 (Overly large schemas)。例如,Wikidata目前包含超过400万种实体类型和12,000种关系类型。

使用资源标识符 (Use of resource identifiers)。请看下面的SPARQL和Cypher查询对比:

SPARQL

SELECT ?name WHERE {item wdt:P31/wdt:P279* wd:Q16521.?item wdt:P1034 wd:Q10687580.?item rdfs:label ?name.FILTER(LANG(?itemLabel) = "en")}Cypher

MATCH (n:Taxon)-[r0:feedsOn]->(m0:Taxon {name:'Synsphyronus lathrius'})RETURN n.name

关系类型重叠 (Overlapping relation types)。Wikidata中包含一些语义上重叠的关系类型,这些类型是为特定领域的使用而创建的。

缺乏规范化 (Lack of normalization)。RDF不强制对值的类型进行约束和单位标准化。

2.2 KBQA不是已经解决知识图谱检索问题了吗?

KBQA需要通过图检索来回答问题。然而,大多数现有研究为了评估算法的改进,都侧重于简化的设定。此外,许多研究使用定制的中间逻辑形式,这些形式缺乏对某些图查询功能的支持。因此,大多数现有的KBQA方法在处理以下部分或全部类型的查询时都存在困难:

涉及关系属性的查询,如时间敏感查询;

不包含任何命名实体的全局查询;

需要对大量实体进行复杂聚合的查询。

2.3 本文的提议:属性图和Cypher作为统一接口

为了应对上述挑战,本文提议将RDF图转换为多个特定领域的属性图,并使用Cypher来查询它们(如图2所示)。这些属性图的功能类似于原始RDF图之上的(物化)视图,可以被LLM高效地查询。

每个属性图视图包含所有符合其各自模式的数据,并且可以在底层RDF数据发生变化时进行更新。这些视图独立运行,可以重叠,也可以按需创建,提供了相当大的灵活性。这种设计使得在不引入过于复杂的模式的情况下能够扩展到大量领域,并通过将重叠的关系类型置于特定领域上下文中来消除歧义。RDF到属性图的转换层负责管理数据类型转换和单位标准化,生成强制执行模式、严格类型化的数据,以确保聚合查询结果的正确性。这种转换也非常高效,对于小图(少于10,000个实体)仅需几秒钟,因为它通过执行SPARQL查询并聚合结果来实现,而不是处理整个RDF转储文件。

  1. 将RDF转换为属性图

在本章中,将介绍将RDF(特别是Wikidata)转换为属性图的方法,这是构建CypherBench的第一步(见图2)。

3.1 领域特定模式的甄选与构建

首先选择一个领域,并手动构建属性图的模式(schema),以及从Wikidata模式到此模式的映射。这个过程通常包括识别与该领域相关的实体类型、关系类型及其属性,然后在Wikidata中探索以找到相应的Wikidata标识符(实体类型使用QID,关系类型和属性使用PID)。

下面展示了实体和关系模式的示例:

带有Wikidata映射的实体模式示例

{"label":"Movie","wd_source":"Q11424","properties": [{"label":"runtime_minute","wd_source":"P2047","datatype":"float","quantity_unit":"minute","quantity_convert_unit":true}]}每个属性都被赋予一个数据类型。代表数量的属性还会被赋予一个单位,并在属性标签中注明(例如,runtime_minute),以便在图检索时告知LLM。作者们从零开始创建了所有11个属性图的模式,一个示例图的完整模式展示在图3中。

带有Wikidata映射的关系模式示例

{"label":"receivesAward","wd_source":"P166","subj_label":"Movie","obj_label":"Award","properties": [{"label":"year","wd_source":"P585","datatype":"int"}]}

3.2 自动化的RDF至属性图转换流程

随后,RDF至属性图引擎会利用前述构建好的模式中的标识符,向Wikidata发出SPARQL查询,用以获取所有符合该模式的实体与关系。实际的转换引擎还集成了以下功能:

数据类型转换 (Datatype conversion)。

日期转换 (Date conversion)。

单位标准化 (Unit standardization)。

等级过滤 (Rank filtering)。

选择性实体获取 (Selective entity fetching)。

  1. 构建问题

4.1 通过“文本到Cypher”进行图检索

一个“文本到Cypher”任务可以表述如下:给定图的模式(schema)和一个自然语言问题作为输入,目标是输出一个可执行的Cypher查询,该查询能返回期望的答案。

“文本到Cypher”任务生成流水线包含两个主要步骤:1) 使用模板生成具有多样化图模式的初始(问题,Cypher)对,以及 2) 使用LLM重写问题,使其听起来更自然。

4.2 图模式(Pattern)设计

图检索的核心是定位与查询相关的子图,这是所有主流图数据库查询语言的一个基本特征(例如Cypher中的MATCH子句,SPARQL中的WHERE子句等)。为了确保在各种图匹配模式之间实现均衡分布,采用了基于模板的生成方法,而不是众包。

图模式可以根据无向图的同构结构进行分类。文中定义了七种基本的图模式,涵盖了所有包含单个答案节点和最多两条边的可能同构结构。此外,还设计了五种特殊的图模式,涵盖了比较、分组、可选匹配、时间敏感查询和并集操作。

4.3 “文本到Cypher”任务的生成

4.3.1 MATCH子句的实例化

对于每种图模式,通过枚举所有可能的边方向来创建多个CypherMATCH子句模板,每个MATCH模板都配有一个人工编写的问题模板。接下来,通过为节点变量抽样实体类型,为边变量抽样关系类型,以及为命名节点抽样实体名称来实例化该模板。通过在一个抽样的子图上执行一个特殊的Cypher查询来完成此操作,这确保了实例化后的MATCH子句能返回非空结果。

4.3.2 RETURN子句的实例化

每个特殊类别中实例化的MATCH子句都与其专用的RETURN子句模板配对,而那些在基本类别中的MATCH子句则与六个模板之一配对,这些模板涵盖了基本的属性获取、排序、过滤和聚合。RETURN子句模板通过抽样属性、排序顺序、比较运算符和聚合函数来实例化。通过在抽样运算符和聚合函数时会考虑数据类型,以确保问题的现实性。与MATCH子句类似,每个RETURN子句也有一个文本模板,该模板被实例化后与MATCH子句的模板结合,形成完整的问题。

文中做出的一个微妙的设计选择是,确保Cypher总是返回字面值(如实体名称),而不是节点对象。这使得该基准未来可以用于评估非Cypher的图检索方法。问题按领域被划分为训练集和测试集。本文移除了那些会产生超过条记录或执行时间超过30秒的Cypher查询。测试集的分布表明该基准既多样化又均衡。

4.3.3 检测语义不真实的问题

盲目抽样常常会导致语义上不真实或无趣的问题。在这项工作中,采用了一种更系统的方法,通过对关系的基数(cardinality)、参与度(participation)和蕴含(entailment)特征进行建模:

基数 (Cardinality)。一个有向关系可以有四种基数之一:一对一、一对多、多对一或多对多。基数用于检测不切实际的分组以及不必要的连续反向关系。

参与度 (Participation)。关系中主语或宾语的参与度描述了其实体实例是否总是与该关系相关联。参与度可以是全部参与或部分参与。使用参与度来检测冗余的条件。

蕴含 (Entailment)。一个关系可以蕴含另一个关系。此信息也用于检测冗余条件。

基数、参与度和蕴含的特征是手动确定的,而不是从数据中推导出来的。

4.4 问题的重写与验证

使用LLM来将模板生成的问题重写为听起来更自然的问题,并使其措辞多样化。

  1. 评估指标

5.1 执行准确率 (Execution Accuracy, EX)

在这项工作中,采用了Spider基准测试排行榜的执行准确率实现方式,如果一个表格可以通过行和列的置换变成另一个表格,那么就认为这两个表格是相同的。

其中,和分别是标准答案Cypher查询和预测Cypher查询的执行结果。

5.2 源子图杰卡德相似度 (Provenance Subgraph Jaccard Similarity, PSJS)

正如4.3小节所讨论的,图检索的核心任务是使用MATCH子句定位相关的子图。虽然一个大型语言模型(LLM)可能生成了正确的MATCH子句,但它可能会犯一些细微的错误,比如返回了节点对象而不是实体名称,或者包含了问题未要求的多余列。在其他情况下,MATCH子句可能部分正确,即遗漏或多包含了一些实体。所有这些情况都会导致执行准确率(EX)为零。

文中提出了“源子图杰卡德相似度”(PSJS)作为一种独立衡量子图匹配性能的指标。通过将“源子图”(provenance subgraph)定义为由MATCH子句匹配到的子图,这可以通过将MATCH子句与RETURN *配对来获得。PSJS随后被计算为预测Cypher查询的源子图与标准答案Cypher查询的源子图之间的杰卡德相似度(Jaccard similarity),这是一种比较两个集合的标准指标。

其中,和分别是标准答案和预测Cypher查询的源子图。

  1. 实验

6.1 主要结果

如表3所示,表现最好的模型claude3.5-sonnet取得了61.58%的执行准确率(EX)和80.85%的源子图杰卡德相似度(PSJS),gpt-4o的表现略逊一筹。表现最好的开源模型执行准确率仅达到41.87%,而参数量小于100亿(<10B)的小型模型执行准确率均低于20%。这些结果凸显了CypherBench的难度。

此外,大多数模型的PSJS得分都很低,这表明挑战并不仅仅是由于基本的格式错误(例如,多包含了一列或重复的条目),而是源于根本的图匹配问题。另外,同一系列中较小的模型表现明显更差(如gpt、llama和gemini系列所示),这凸显了该基准在区分LLM能力方面的有效性。

安全学术圈招募队友-ing有兴趣加入学术圈的请联系secdr#qq.com

专题最新征文

期刊征文 | 暗网抑制前沿进展(中文核心)

期刊征文 | 网络攻击分析与研判(CCF T2)

期刊征文 | 域名安全评估与风险预警(CCF T2)

原文链接:https://mp.weixin.qq.com/s/cpH25R-GFyWmb-qw5tMTEQ?scene=1