如何从非结构化文本中准确抽取结构化知识,是构建大规模知识图谱的关键难题之一。针对这个难题,中国科学院计算技术研究所网络数据科学与技术重点实验室研发了知码大模型(KnowCoder)。该模型利用形式化编程语言统一表示结构化知识,实现了符号化知识图谱与神经网络大模型的完美结合,从而在统一知识抽取方面取得了突破,大大提升了知识抽取的精确度与泛化性。目前,模型与部分数据已开源,相应论文也已公开。
项目主页:
https://ict-goknow.github.io/knowcoder/
论文地址:
https://arxiv.org/pdf/2403.07969.pdf
知码大模型、知码本体以及训练数据:https://huggingface.co/collections/golaxy/
knowcoder-65fc3cd385d98567da412abf
✦
✧
知码大模型简介
✦
知码大模型是面向知识图谱构建的大语言模型,其通过形式化编程语言统一表示结构化知识,包括本体知识、实例知识等。通过将知识抽取转化为代码生成任务,在统一信息抽取方面取得了显著突破。知码大模型包含大规模知码本体、海量知码训练数据以及一个两阶段的训练框架,可以提供中英双语、可泛化的知识抽取能力,可以帮助研究人员和开发者更好地完成信息抽取、数据结构化、知识图谱构建等任务。
✦
✧
知码本体
✦
知码本体是知码大模型的知识表示方法,其采用代码风格的形式化方法定义各种概念知识。具体地,知码本体包括三个基础类型,即“实体”、“关系”和“事件”。在这三个基类基础之上,通过相应子类来表示更多的本体概念,并使用Python特征更全面准确地对其进行描述,包括:(1)使用Python类名表示概念名称;(2)使用类注释对概念内涵进行详细解释;(3)使用类继承建模概念之间的上下位关系;(4)使用类型提示建模概念之间的约束;(5)使用类方法对知识抽取的结果进行后处理。知码大模型在WIKIDATA基础上,通过数据清洗与标注,最终形成了包含超过30000多种实体、关系与事件类型的大规模知码本体。
图 1:知码本体示意图
✦
✧
知码训练数据
✦
预训练数据:为了训练知码大模型,构建了包括200多万个实体、100多万条关系以及30多万个事件在内的大规模训练数据。
指令微调数据:基于ChatGPT、远程监督等算法,自动构建了总计包含100万实体、关系与事件的高质量且类型丰富的训练数据。
精调数据:收集了包括23个实体抽取数据集、8个关系抽取数据集以及2个事件抽取数据集在内的人工标注数据,最终形成面向模型精调的大规模高质量训练集。
图 2:知码预训练与指令微调数据统计
图 3:知码精调数据统计
✦
✧
知码训练框架
✦
知码大模型经过了“本体理解-本体遵循-模型精调”三阶段的训练。本体理解阶段,模型在概念定义代码与概念-实例代码上进行代码预训练,向大模型中注入本体知识与实例知识;本体遵循阶段,通过在大规模自动生成的指令微调数据上进行指令微调,增强模型遵循给定本体抽取相应知识的能力。经过本体理解-本体遵循两阶段训练之后,得到KnowCoder-Base模型。最后,KnowCoder还可以在高质量人工标注的精调数据上进行进一步训练,得到面向下游抽取任务的KnowCoder-UIE模型。
图 4:知码训练框架
✦
✧
模型性能
✦
在本体理解训练(代码预训练)之后,KnowCoder-Base已经具备比较强大的泛化能力。具体地,KnowCoder(SU. only)在小样本设置下相对于未经过预训练的LLaMA2模型,在命名实体识别(NER)任务上取得了49.8%的相对F1性能提升。
图 5:少样本场景下实体抽取效果
在进行本体遵循训练(指令微调)后,KnowCoder-Base进一步展现了其强大的泛化能力与适应能力。具体地,在零样本设置下实体抽取的性能相对SOTA模型取得了最高达12.5%的提升;在低资源设置下在多个知识抽取任务上相对SOTA模型取得了最高为21.9%的提升。
图 6:零样本场景下的实体抽取效果
图 7:低资源场景下的实体、关系与事件抽取效果
在高质量人工标注数据上进行精调之后,KnowCoder-UIE在多个知识抽取任务上相对于SOTA模型取得了一致性的性能提升。
图 8:有监督场景下多个抽取任务上的效果
与近期发布的具有13B参数的雅意大模型以及基于IEPile训练的OneKE知识抽取大模型相比,只有7B参数的KnowCoder在多个抽取任务上取得更为优异的性能。
图 9:有监督场景下与其他大模型比较效果
✦
✧
知码模型演示
✦
依托计算所网络数据科学与技术重点实验室研发的GoMate平台进行演示。具体地址为:http://gomate.ac.cn:10521/。GoMate平台的账号注册邀请码为G4O7M1A5T6E3。
S 全屏播放 full_screen_mv已关注
关注
重播分享点赞后 加className selected赞 随便看看
有拓展内容广告内容
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏中国科学院网络数据重点实验室已关注
分享视频
,时长00:36
0/0
00:00/00:36
切换到横屏模式
继续播放
进度条,百分之0
播放
00:00
/00:36
00:36
倍速
全屏
倍速播放中
0.5倍0.75倍1.0倍1.5倍2.0倍
超清流畅
您的浏览器不支持 video 标签
继续观看
知码大模型(KnowCoder)发布:通过代码统一表示结构化知识,知识抽取性能大幅提升!
观看更多
原创
,
知码大模型(KnowCoder)发布:通过代码统一表示结构化知识,知识抽取性能大幅提升!
中国科学院网络数据重点实验室已关注
分享点赞推荐在看
已同步到看一看写下你的评论
E 视频播放器S 视频社交视频详情
关于我们
中国科学院计算所网络数据科学与技术重点实验室(以下简称“实验室”)总体定位是面向国家在网络空间的重大战略需求,发展网络数据科学,研制新一代大数据分析系统,在大数据分析的基础理论、技术体系与系统架构方面取得颠覆性原始创新突破,推动大数据分析成果服务于国家重大战略任务以及产业化。
实验室主要研究方向包括数据科学基础理论、大数据分析技术、智能信息检索、自然语言理解、开放知识计算、机器学习、分布式大数据系统和边缘智能等,通过基础研究、技术突破推动大数据分析系统的研制,以此提升我国大数据领域自主创新能力,支撑国家重大任务,促进我国大数据产业的快速发展。
实验室近年来承担多项国家973计划项目、国家863计划项目、国家自然基金重点项目,在TKDE、TOIS等国际重要期刊和SIGIR、WWW、ACL等学术会议上发表论文数百篇,多次获得国际会议最佳论文奖。相关科研成果获得多项国家级和部委奖励,其中包括国家科技进步一等奖1项、国家技术发明奖二等奖1项、国家科技进步二等奖3项。