「摘 要」:针对当前复杂业务场景下海量多源数据合成分析所面临的问题,通过剖析现有技术体系在应用模式、分析范式与数据治理中存在的结构性缺陷,提出了一种基于动态本体的多源数据合成分析技术,基于动态本体实现数据与模型解耦,通过构建知识图谱支撑深层推理,并融合基于本体的检索增强生成技术,以提升推理准确性和抑制幻觉。在复杂网络数据可视化挖掘与动态瓦解等业务场景进行了验证,结果表明本方案在提升大数据分析深度、响应敏捷性和业务适应性方面具有显著优势,为破解多源数据合成分析过程中的瓶颈问题提供了新思路。
「关键词」:大数据 动态本体 本体知识图谱 数据分析 检索增强生成
「作者」:公安部第一研究所管磊 高浛钊
引言
多源数据合成分析的核心价值在于突破单一数据局限,通过整合异构数据提升分析的全面性与准确性,为决策提供深度支撑。其在社会公共安全治理领域,如跨模态 跨行为复杂网络犯罪数据分析、多源多维资金隐蔽交易链条分析、多组织多主体协同合成数据分析等场景中都有广泛的应用。然而,随着数据映射行为的过程持续向多源化、复杂化演进变化,以及数据规模爆炸式增长和业务场景日趋庞杂等带来日益严峻的挑战,基于传统静态架构的大数据技术体系在实时分析、语义理解和敏捷响应方面逐渐显现出其固有局限。如何突破数据治理悖论、破解分析建模僵局,构建一个既能深度融合多源异构数据、又能灵活适应业务动态变化的智能数据分析技术,已成为推动大数据实战应用向更高阶段发展的关键命题。
本研究通过深入剖析现有技术体系的不足,提出一种基于动态本体技术构建的多源数据合成分析技术。该技术通过动态构建语义化、可演化的本体模型,与现有事务型模型形成互补协同,以语义对齐打破数据孤岛、动态建模适配业务变化,通过智能推理挖掘隐性关联,为决策提供精准且具前瞻性的支撑,赋能复杂分析研判场景,为推动数据分析应用从“处理”向“知识赋能”升级提供新的技术路径。
一、研究背景
大数据应用及分析能力建设经历了从信息化到智能化的重要转型,以公安领域的应用为例,早期以关系型数据库为基础,建立了面向交通管理、安防管理、空间地理等基础信息管理的各类数据库及业务管理系统,实现了社会公共安全治理的初步电子化。随着Hadoop、Spark等分布式计算技术的引入,逐步构建起湖仓一体大数据架构,实现了海量多源数据的采集与存储[1]。近年来,以知识图谱、AI大模型为代表的智能技术推动大数据治理与分析技术进一步向语义化、融合化和实战化方向演进[2,3],初步形成了数据驱动警务工作的新型模式。
当前大数据平台普遍采用分层技术架构,包括数据采集层、存储计算层、数据治理层、知识构建层和应用服务层。存储计算层以Hadoop生态为核心,结合了分布式图数据库与流处理技术;数据治理层实现数据标准化、质量控制和资产化管理;知识构建层依托自然语言处理和图算法完成实体识别与关系抽取;应用服务层通过统一接口向各场景业务应用提供数据与分析支持。这一架构有效支撑了业务的信息化应用与规模化扩展。
大数据技术已广泛应用于反诈预警防范、交通安全管理、公共服务优化、智慧安防等社会公共安全治理场景,其核心作用体现在提升预警精准度、优化警务资源部署、增强应急响应能力等,尤其是重大风险防范、突发事件处置等。然而,随着网上网下社会公共安全形态日趋复杂化和动态化,异构多源、跨模态、跨语义空间的数据越来越多,这些数据在整合分析过程中难以形成统一的语义描述、难以实现“人数结合”,现有技术体系在实时分析、语义理解和自适应能力方面仍存在不足,亟需实现架构层面的突破。
二、复杂场景下多源数据合成分析存在的问题
当前,基于湖仓一体大数据架构,使用海量数据治理与建模的方式基本可以达成数据分析与应用的目标,但在多源多维多模态复杂数据整合分析的场景下,其分析过程的效率、准确性、直观性,以及在应对数据语义理解、发现深层隐蔽关系等方面存在不足,主要问题可归结为以下三点:
(一)跨域洞察与实时分析能力不足
当前大数据系统架构以警务数字化和数据采集接入为核心导向,存在“重事务、轻分析”的失衡现象。缺乏面向研判分析、风险预警与指挥决策的分析型应用能力[4]。该模式导致系统在高动态、跨域关联犯罪行为的深度洞察与实时响应方面存在能力断层,数据价值在实战转化中的赋能和效能未能充分释放,造成数据资源堆积与分析能力之间的显著失衡。一线部门在处理特定警情时,存在的问题有:业务实时要求高、多方数据量大、应急处置时间紧,对重点事件研判分析不够,内容反映不够具体和精准,指挥中枢要面对研判分析支撑力量不足等,严重影响了处置及决策效果。
(二)动态自适应能力不足
当前数据治理与建模工作高度依赖预定义数据模型与静态规则,缺乏针对业务变化的自适应与动态调整能力,而传统的建模分析面临分析范式固化的局限。以批处理为核心的架构机制响应迟缓,难以支撑实时研判与处置决策的敏捷迭代需求。更重要的是,大数据建模过程延续“机器逻辑”而非“人类认知”,业务语义与数据分析相互分离,分析人员需将研判意图“转译”为机器可解析的结构化指令,该过程不仅造成显著的认知负荷,也造成分析意图在转译过程中的语义耗损,从而抑制了分析效能与业务适应性。
(三)数据语义与多样性丢失
传统大数据治理以预定义Schema为核心,通过ETL清洗强制数据贴合模型,导致原始语义丢失与多样性衰减[5]。 业务变更需经历漫长的Schema评审与发布流程,造成数据 时效严重滞后。湖仓一体架构数据量在不断积累,但数据 治理却仍然依赖统一的语义描述,随着治理规则叠加与补 丁代码耦合,系统逐渐逼近工程临界点:变更能力因系统 高度耦合而冻结,数据因语义失真而价值逐步退化,治理 工作陷入对历史结构的被动维护与路径依赖,形成了“治 理投入增加系统适应能力下降”的逆向循环。最终,系统 退化为高维护成本、低业务敏捷性的“数据标本”,大数 据不断进行低价值累加,变得“大而难用”,难以响应动 态变化的公共安全应用需求。
三、基于动态本体的多源数据合成分析方法
针对上述问题,提出构建基于动态本体的多源数据合成 分 析 技 术 , 借 鉴 Palantir Gotham平 台 的 动 态 本 体(Dynamic Ontology)核心理念[6,7],针对复杂业务场景数据分析需求进行优化与创新,与现有事务型处理模式形成互补,专注于复杂分析、实时推理与智能决策支持。
(一)动态本体技术
本体(Ontology)源于哲学,在信息领域中指对实体、属性及其相互关系进行形式化描述的论域体系。本体提供统一的概念体系,使不同角色基于一致的语言理解问题,提升表达的准确性与一致性。传统“固定本体”思维适用于变化缓慢的场景,难以适应大数据时代多源、高频变化的环境。因此,本文提出“动态本体”,其核心特征体现为本体可动态扩展与泛化、属性可随需增删改、关系可灵活调整,从而支持模型随着认知深化持续演进。
(二)基于动态本体的数据实战分析技术思路
该技术的核心建设思路是,以动态本体为基础,实现数据与模型的解耦,并支持根据业务需求动态映射语义,以避免传统预定义模型的僵化。通过将多源异构数据基于统一语义映射为对象与关系,构建超大规模知识图谱,支撑深层次关联推理与隐性知识发现。同时,引入基于本体的检索增强生成(Ontology-Based RAG)技术,将大语言模型的生成能力与本体的结构化知识逻辑相融合,提升生成内容的准确性与可靠性,有效抑制幻觉。此外,突出“人机协同”机制,依托人类直觉与经验,通过灵活可交互的探索工具,支持分析人员在不确定性较高场景中进行 动态假设验证与路径调整,形成人类洞察与机器智能闭环协同的分析范式,如图1所示。
图1基于动态本体的数据实战分析技术思路
基于动态本体的思想,将本体使用对象来表达,其可以 代表任何被建模的事物。对象是一个用来容纳数据的容器, 设置实体(Entity)、事件(Event)、文档(Document)和 媒体(Media)四个基础类:实体是指人、组织、物品、地 点等概念的统称;事件是发生在特定时间、空间内与特定本 体相关的活动;文档是文本文件的统称,包括了各种主流的 文本格式;媒体是音视频文件的统称,包括了各种主流的多 媒体格式。
本体中的数据表达通过数据组件来体现,由属性、笔记、媒体、关联四个数据组件组成,如图2所示。属性表示对象上的文本内容,如物品名称、地址等;笔记表示对象的自由文本,如分析人员会在事件对象进行标注;媒体是对象上的多媒体内容;关联是指对象之间的关系。从关联的角度看,关联的一端是父对象,另一端是子对象。如果两端的对象是平等的(如同学关系),此时就认为是对称关系,父对象和子对象可以任意选择;如果两端对象不是平等的(如雇佣关系),就认为非对称关系。从本体语义上来看,还有另一种划分方式——显性关联和隐性关联:显性关联是指事先定义的关联,在数据融合时连同本体对象一起创建;隐性关联是指对象之间通过属性值相等认定的关系,此类关联不需要事先创建。隐性关联在本体中并不需要明确指出,主要体现在图形分析部分,允许按照显性、隐性关联来遍历图形。
图2以对象为核心的本体数据模型
(三)动态本体技术的核心机制与建模方法
本体模型的基本建模单元,包括对象(Object)、属 性(Property)和关系(Relation)。对象作为核心数据容 器,可分为实体、事件、文档等类型,通过属性与关系承 载信息。该模型实现语义与结构分离,允许用户根据分析 需求动态创建和调整类型定义,无需修改数据库表结构即 可显著提升模型的扩展性与适应性。
动态地构建本体模型,是构建新一代分析型平台的核 心方法,动态性体现为本体可随时扩展与泛化、属性可随 需修改、关系可灵活调整。支持敏捷工程实践,允许从简 单模型起步,逐步迭代优化,适应高频变化的环境。
本体建模,包括领域概念提取、多源数据映射、本体 演化与语义融合等关键环节。通过融合业务专家经验、领 域词表、案件卷宗等多源知识,提取核心实体、事件、属 性与关系,构建本体初始结构。利用该结构将多源异构数 据映射为知识对象,实现原始数据到语义知识的统一转 换。本体根据业务变化动态扩展,并可借助文本挖掘与机器学习技术实现半自动演进。最终基于动态本体实现语义 融合,形成统一实体视图,支持跨源关联与整体研判。 通过构建本体编辑器,完成本体相关内容的创建、编 排、下载、更新等工作:(1)对象类型建模:通过新增或者修改的方式设置 继承层次,编辑对象的URI、名称、描述、别名;设置对 象图标,设置对象的属性标识;允许删除没有过期的对象 类型。(2)属性类型建模:将属性分为字符串、时间、数 字、枚举、组合五种基础类型,其中,枚举表示属性值是 一个键值对,组合表示是由两个以上字符串、时间、数 字、枚举属性组合而成。通过新增或者修改的方式,设置 属性的URI、名称、描述、别名,以及图标、显示模式 (可以是正则表达式或多重模式)、属性值相等性判断算 法等。(3)关联类型建模:新增或者修改关联类型,设置 其URI、名称、描述、别名、关联的图标、属性和对象的 组合表达式等。(4)本体编排:将属性加入某种对象,或者从对象 中移除属性;设置对象之间存在的关联;通过本体编排完 成本体的最终设计。
面对多源多模态数据,构建统一处理流程,如图3所示:
图3动态本体多源多模态数据统一处理流程
(1)Crawl:定义遍历数据源的方式,针对每一种数 据源中数据的存储特点,定义遍历数据的方法。(2)Extract:针对遍历的每一行,定义对其内容提 取的方式,例如:获取文件内容,提取邮件中的附件、标 题、内容,提取数据行的每一个字段等。(3)Detect:检测对应的内容,确定使用哪一个 Transform。(4)Transform:将提取出来的内容转换为对应本体 的实例。以上四个步骤提供统一的接口,提供默认实现,可以处理主流的文本文件、多媒体文件(图片、音频、视频)、邮件、关系数据库等。基于默认实现,可以完成项 目中大部分的数据集成场景,对于没有覆盖的,可通过扩展接口来接入。(5)Resolve:处理数据冲突,完成对象、属性、关联等的合并工作。针对每一个要导入的对象,需要检查库中是否已经存在,对于不存在的直接追加,如果已经存在就需要进行合并,通过设置的冲突规则,找到已经存在的对象,然后使用属性相等性判断算法,进行数据源、权限、属性值的合并工作。(6)Store:将数据保存到本体库中。通过上述步骤构建的动态本体,是一个持续演进、具有业务感知的“语义大脑”,为知识图谱构建、大语言模型融合及人机协同研判提供底层支撑,显著提升系统的语义理解、推理与适应能力。
四、应用场景案例与效果分析
基于动态本体技术构建的多源数据合成分析架构,可有效改变复杂业务场景下多源数据合成分析的工作模式,其核心在于实现从“数据检索”到“情境推演”、从“线 索追踪”到“态势发现”的范式转移。结合公安业务的具体需求,该技术可应用于以下典型场景:
(一)跨模态跨行为复杂网络犯罪数据可视分析挖掘
针对电信诈骗、跨境赌博、走私等团伙性犯罪,依托动态本体能力,无缝融合多维数据。如图4所示,分析人员可将碎片化信息动态关联为统一语义对象,自动挖掘潜在关系网络,支持通过交互式图谱探索聚焦核心节点、识别层级结构,并模拟打击特定节点对全网的影响,支撑制定最优收网策略,实现从“单点打击”到“体系摧毁”的跃升。
图4融合多维数据挖掘潜在关系网络
(二)多源多维资金穿透分析与隐蔽交易链条追踪
在洗钱、非法集资等经济犯罪分析研判中,基于“人、企、账、交易”本体模型,利用动态本体的语义关联能力,自动追踪资金在跨机构、多层级账户的复杂路径,识别结构化交易、快速拆借等洗钱特征模式。如图5所示,通过叠加时间空间信息,可实现“人、钱、地”多维耦合分析,显著提升涉案资金查控的穿透效率与准确性。
图5资金智能追踪与穿透分析
(三)多源网络虚拟目标同一性判定与溯源
应对网络犯罪身份虚拟化、碎片化的挑战,构建“虚拟目标”动态本体,将多维虚拟目标信息等特征映射为属性或关系对象,构建包含使用、关联、发生等语义关系的动态本体模型,并借助数据挖掘与深度学习自动提取数据特征与行为模型,为本体补充行为偏好、活跃时间等属性,以完善语义网络。依托语义模糊匹配与相似度计算,聚类关联多个虚拟目标至同一真实主体,为破案溯源提供关键支撑。
(四)构建“人在回路”的协同研判工作台
动态本体模型是赋能一线研判人员的“认知增强”工作台,其摒弃固定报表和查询模式,支持研判人员提出业务研判假设,系统通过复合查询生成可视化图谱与关联路径。研判人员可交互探索、修正假设、纳入新数据,形成“假设-验证-新线索-再假设”的人机协同闭环,充分释放专家智慧。
基于动态本体的合成化分析模型不仅实现了技术架构创新,更深刻地重构了情报主导警务流程,推动了大数据应用向主动性、预测性和智能化演进,与现有大数据架构共同形成完整支撑体系。
五、结语
本研究系统剖析了现有大数据技术体系的应用模式、分析了建模与数据治理中存在的深层矛盾,创新性提出构建以动态本体为核心的多源数据合成分析技术方案。该方案并非替代传统事务型分析模型,而是聚焦复杂分析业务,通过语义与结构分离、动态本体映射、知识图谱构建及大语言模型融合技术,实现了数据与业务语义的动态适配,支持实时推理、情境推演及人机协同研判。
理论分析与初步实践表明,本方案在提升数据分析深度、响应敏捷性和业务适应性方面具有显著优势,为公安机关破解数据应用瓶颈提供了新路径。下步将着力优化动态本体的自动化演化机制与分布式环境下的大规模图谱实时推理性能,推进技术在复杂警务场景中的规模化应用,持续赋能公安实战能力跨越式提升。
参考文献:
[1] 陈毓,谭林. 公安大数据技术应用现状分析与思考[J]. 警察技术, 2019(5):4-7.[2] 殷吉,张金虎,吴坚. 大数据智能化建设助力提升公安机关新质战斗力以苏州市公安局为例[J]. 警察技术, 2024(6):7-10.[3] 于锐,管磊. 人工智能驱动开源大数据分析工作提质升级[J].信息安全研究, 2024,10(5):390-395.[4] 林森,罗清武,林乐.“一体两翼”多中心多系统一体化驱动系统集成和效能跃迁福州公安机关新质战斗力生成机理研究[J]. 警察技术, 2025,(03):9-13.[5] 栾瑞鹏,张静,刘立坤. 面向装备试验鉴定领域数据治理的知识图谱本体构建[J]. 系统工程与电子技术,2 024,46(03):1013-1020.[6] 王娜,蒋智慧. 动态本体构建的国内外研究现状综述[J]. 现代情报, 2020,40(04):159-166.[7] 李墈婧,胡建军,吴迪,等. 面向军事领域的动态本体构建技术研究[J]. 现代防御技术, 2023,51(6):52-61.