点击蓝字 关注我们
导语:本文为东南大学周德宇教授在第一季共时读书会网络内容认知计算的小组分享会上的报告内容。周德宇教授是本季读书会领读人魏忠钰老师小组的小组成员。第一季共时读书会的主题为网络社会认知计算,魏忠钰老师小组研究的方向为“网络内容分析和用户画像”,目标为网络内容认知领域研究报告的编写。
第一季共时读书会 线上小组分享会 | 内容来源
周德宇 | 作者
朱欣怡 | 责任编辑
孙敬书、朱欣怡 | 审校
引言
鉴于当前社交媒体平台上虚假信息泛滥的现状,自然语言处理(NLP)研究人员开始广泛关注事实验证技术,以应对此挑战。不同于传统技术侧重于分析虚假信息与真实信息在语言风格、承载方式、发布意图以及传播结构等方面的异同,事实验证技术模拟了新闻人员核实信息真实性的过程,通过分析和推理外部知识库(如Wikipedia、知识图谱等)中存储的高度可信信息,例如演讲内容、官方文档、专家观点等,来验证声明的真实性。由于涉及外部知识库和复杂的推理过程,事实验证已成为知识密集型任务的基准任务[1],并在大模型时代中成为缓解大模型“幻觉生成”问题的技术之一。
然而,目前复杂网络架构的事实验证模型通常以黑盒预测的形式呈现,由此带来的模型不透明性引发了研究人员对于模型在实际部署过程涉及的安全性的担忧。研究人员担心模型内部是否存在严格的推理模式或未预料到的偏差,并且高风险决策领域的用户对模型的预测结果不太信任。因此,人们开始关注事实验证的可解释性研究,以帮助理解模型内部细节和决策原因。需要说明的是,可解释事实验证往往探究对于模型做出预测重要的人类可理解的输入文本或者特征,以及由大模型(ChatGPT等)的自我解释,并非机器学习领域中参数的机理解释。
本报告梳理了当前有关事实验证可解释性研究的几种方法:基于摘要的解释方法、基于归因分数的方法、基于逻辑的解释方法、基于反事实的解释方法和基于子图的解释方法。
(1)基于摘要的解释方法
针对特定样本,在提供预测标签的同时,抽取或生成对于模型预测重要的关键文本片段作为解释,分为抽取式摘要解释和生成式摘要解释。
图1 抽取式摘要解释方法框架
抽取式摘要解释由Atanasova等[2]首次提出。该类型方法往往采用为多任务学习范式,将事实验证和解释生成分为两个模块,分别承担验证声明和提供解释的任务,如图1所示。后续大量的事后解释方法沿用了该范式,并关注如何保证两个模型实现级联,由此通过事实验证模型的预测误差来引导解释生成模型的训练。
图2 生成式摘要解释示例
生成式摘要解释可以进一步细分为微调式和Prompt提示方式。其中,微调式方法以人类标注解释作为目标,通过MLM方法实现生成式模型的训练[3];Prompt提示则采用In Context Learning或者Chain-of-Thought范式,通过设计复杂的Prompt或者示例,来引导大模型做出预测的同时,生成对应的解释[4]。当前,通过大模型来生成事实验证解释成为生成式摘要解释方法的主流方式,如图2所示。
(2)基于归因分数的方法
图3 注意力解释示例
基于归因分数的方法在了解模型内部结构的基础上,侧重于通过计算模型在推理过程中不同特征对于模型预测的重要性程度,并通过显著图等方式呈现给研究人员。典型的方法包含注意力解释[5]和预测值解释[6]等,主要标注模型在推理过程中对模型输出影响较大的高注意力权重的输入单元作为解释,如图3所示。
(3)基于逻辑的解释方法
随着生成式模型的快速发展,基于逻辑的解释方法在近两年受到研究人员的广泛关注。该方法的基本思想是将事实验证中通过推理声明与不同证据差异性的过程通过符号逻辑形式转化为白盒模型,由此表现为模型固有解释[7–9],如图4所示。
图4 基于逻辑的解释方法框架
(4)基于反事实的解释方法
基于预测为某标签的样本,反事实解释通过提供简洁的输入解释,引导用户理解输入文本中可以修改的地方以实现相反的标签预测,并且要求解释需要具备可行性[10],如图5所示。该过程往往在大模型的基础上,通过设计复杂的流水线方式来生成使模型预测相反的可行解释。
图5 反事实解释示例
(5)基于子图的解释方法
图6 子图解释示例
图神经网络是事实验证模型中广泛采用的架构。基于子图的解释方法采用事后解释方式,通过寻找图神经网络在信息聚合过程中对模型预测重要的边结构,以抽取出关键的解释子图作为模型解释[11],如图6所示。该类型方法由于采用了事后方法,具有更好的解释忠实性。
综上所述,随着深度学习的发展,事实验证的解释方法也在同步演进,并且由于涉及复杂的推理过程,解释方法也表现出更高的复杂性。然而,当前的方法以人类标注作为评估标准,是否是模型真正的判别依据仍然有待商榷。在未来的研究中,如何实现有效的解释评估以及如何生成更加忠实的自由文本解释将是具有挑战性的问题。
参考文献
[1] Petroni F, Piktus A, Fan A, Lewis P, Yazdani M, De Cao N, Thorne J, Jernite Y, Karpukhin V, Maillard J, Plachouras V, Rocktäschel T, Riedel S 2021 Proc. 2021 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. Online , 2021 pp2523–2544
[2] Atanasova P, Simonsen J G, Lioma C, Augenstein I 2020 ArXiv200405773 Cs
[3] Kotonya N, Toni F 2020 ArXiv201009926 Cs
[4] Si C, Goyal N, Wu S T, Zhao C, Feng S, Daumé III H, Boyd-Graber J 2023 Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong (arXiv)
[5] Shu K, Cui L, Wang S, Lee D, Liu H 2019 Proc. 25th ACM SIGKDD Int. Conf. Knowl. Discov. Data Min. Anchorage AK USA , 2019-07-25 pp395–405
[6] Glockner M, Habernal I, Gurevych I 2020 ArXiv201003384 Cs
[7] Chen J, Bao Q, Sun C, Zhang X, Chen J, Zhou H, Xiao Y, Li L 2021 ArXiv201213577 Cs
[8] Krishna A, Riedel S, Vlachos A 2022 ProoFVer: Natural Logic Theorem Proving for Fact Verification (arXiv)
[9] Aly R, Strong M, Vlachos A 2023 QA-NatVer: Question Answering for Natural Logic-based Fact Verification (arXiv)
[10] Dai S C, Hsu Y L, Xiong A, Ku L W 2022 Proc. 28th ACM SIGKDD Conf. Knowl. Discov. Data Min. New York, NY, USA , 2022-08-14 pp2800–2810
[11] Si J, Zhu Y, Zhou D 2022 Exploring Faithful Rationale for Multi-hop Fact Verification via Salience-Aware Graph Learning (arXiv)
第一季共时读书会主题:网络社会认知计算
读书会正在进行中,不定期举行读书会活动请加入读书会微信大群查看活动信息通知。
申请加入第一季共时读书会微信大群请关注本账号并留言
“申请加入”
更多共时读书会精彩内容请关注👇
与知己,共此时!