✦
点击蓝字
关注我们
由于原文篇幅过长,本篇文章被分为两部分进行发布,上半部分见:
网络社会安全:一门新兴科学(上) 作者:凯瑟琳·卡利
导语:
目前,在线社交平台已经成为了人们聚集和传播信息的主阵地,与此同时,在线网络犯罪随之兴起,不仅威胁到了个人,也正瞄准着更大的社会群体。为应对这一挑战,研究者和从业者开始研究网络社会场景,探讨在网络社会中我们如何受到操控,由此便诞生了一个新的科学和工程领域——网络社会安全(social cybersecurity)。本文对这一新兴领域进行了定义,介绍了相关研究案例和应对方法,最后阐述了该领域未来的研究方向。
关键词:
网络社会安全,社交网络分析,动态网络分析,社交媒体分析,综述
凯瑟琳·卡利 | 作者
郭彧宁、刘清扬、黄婧宇、任金虎、张倨源、石汶峰|译者
徐舒琪、孙敬书、朱欣怡| 审校
论文题目:
Social cybersecurity: an emerging science
论文来源:Computational and Mathematical Organization Theory
论文地址:
https://link.springer.com/article/10.1007/s10588-020-09322-9
5
BEND框架
上述案例明确了网络社会安全的研究者和从业者所面对的问题,也表明研发新技术来识别虚假信息、网络水军、机器人、半机器人、模因等非常有必要。此外,这些案例还表明,我们需要一种全新的理论来理解社交媒体中舆论的运作方式。此处我们介绍一种新的跨学科理论——BEND框架。
通常情况下,我们用4D来描述舆论操纵策略:Dismiss(否定)、Distort(歪曲)、Dismay(泄气)、Distract(分散)[6]。俄罗斯的舆论操纵活动就可以用这四个词来描述。然而,我们的研究案例表明,舆论操纵不止会运用上述四种手段。我们需要对操纵策略有更广泛的理解。具体而言,成功的舆论操纵会同时影响社群和叙事,也就是说,既改变交流的对象,又改变交流的内容。此外,4D本质上都是消极策略,它们意在制造问题而非解决问题;而反观我们的研究:乌克兰案例中使用了可以激发情绪的图片,叙利亚案例中发布了用于解释主题的消息,COVID-19案例中也发布了一些用于解释和强化主题的消息——尽管还运用了其他手段,但并非全是4D策略。
新的BEND框架指出,舆论操纵活动包含多套叙事和结构性策略,由一位或多位操纵者与其他网络用户进行互动,意在改变社群和叙事。操纵活动通常由机器人、半机器人、网络水军及真实用户单独或协作完成,旨在操纵社群(谁在参与交流)和/或叙事(交流何种内容),操纵过程意在利用三个要素:技术、心理和世界观。技术:利用排序算法和推荐算法,使操纵者发布的信息被优先、频繁展示,甚至成为主流,同时将他们发布的商品、服务、网页和账号推荐给用户。心理:利用人本身的偏见和心理缺陷,如认知偏差、承诺升级[1]、恐惧和逃避心理等。世界观:利用人的社会认知,即我们从群体视角来理解庞大数据的方法,如“一般化的他人”和一些刻板印象等。
理论和方法应相辅相成,因此BEND框架所对应的方法应能对实际舆论活动中使用的操纵策略及其影响进行评估[7]。具体而言,与BEND框架相关的方法和工具可以研究:谁参与了舆论操纵、使用了何种策略、目标群体是谁、产生了何种影响。BEND框架将操纵策略的目标分为16类,其中8个旨在操纵社群,8个旨在操纵叙事。其中叙事操纵又分为4个积极目标(4E)和4个传统的消极目标(4D),社群操纵也分为4个积极目标(4B)和4个消极目标(4N),详细内容见表1。
表1 BEND操纵目标
基于多年来对虚假信息等舆论操纵活动以及一些敌对性群体(如2013年底建立的恐怖组织ISIS)的研究,BEND框架将敌对性群体的操纵目标和策略[4,8,9]与政治影响力[10,11,12]、市场营销[13]、心理学[14]等结合起来,从跨学科视角来审视这些目标和策略。初步证据表明,激发、强化、泄气和歪曲可能是舆论操纵活动中最常见的目标。
另外,除了表1所描述的策略目标之外,BEND框架还包含其他内容。它要求首先要识别用户类型:是操纵者还是被操纵对象。操纵者可分为机器人、网络水军、新闻机构、政府、名人、超级朋友(与很多人互关的人)、超级传播者(有大量关注者的人)以及其他高影响力群体;被操纵对象可分为主题导向型社群和个人。然后,要利用一组衡量指标来分析操纵者所传播的信息,确定其使用了哪类操纵策略。最后,要评估被操纵对象受到的影响,探究随着时间推移,这些人的社群关系和交流内容发生了何种变化。
目前,每个BEND目标都有一系列衡量指标,其中一些已被纳入社交媒体分析工具ORA-PRO,并用于分析Twitter上的舆论传播数据。它们还被用于评估北约演习、海军演习、选举和灾难事故的舆论情况。我们发现,正如三个案例研究所示,在许多情况下,复杂的舆论操纵活动都会利用多个BEND目标。
6
利用社交网络分析技术和人工智能技术
社交网络高维动态分析技术关注哪些人之间存在互动,是保障网络社会安全的关键工具之一。
长期以来,复杂网络技术已在情报领域中被用于识别特定群体、追踪敌对势力,在营销领域被用于识别关键信息源和意见领袖。如今,在社交媒体中,复杂网络技术被用于处理大规模数据,分析用户之间、资源之间、观点之间的复杂关系,已成为社交媒体分析的基础。社交媒体中的交互有两种类型:一个人点赞或转发了谁的内容,以及传播了何种内容。社交媒体分析工具ORA-PRO就嵌入了识别这些交互行为的技术,能够识别出话题导向型社群以及社群中的高影响力成员。利用社交网络分析技术得到的复杂网络特征可应用于机器学习,进而可完成社交机器人、半机器人、网络水军等操纵者的识别任务。
人工智能技术,特别是自然语言处理和机器学习技术,也是保障网络社会安全的关键工具。
自然语言处理技术常被用于文本翻译、情感分析以及立场检测。以情感分析为例,传统的分析工具能够分辨整个句子表达的情感是积极还是消极,而无法告知句中关键词的情感;而研究表明,有超过一半的情况,关键词与全句表达的情感恰好相反。可以试着思考下下面这句话对美国的情感:我讨厌俄罗斯扰乱社交媒体以及把美国看成恶人的做法。可以看出,整个句子表达的是一种消极态度,但对美国却持积极态度。相比之下,BEND框架支持下的NetMapper系统不但可以识别关键词的情感,还可以通过句中的一些潜在线索来评估全句的情感。
同样地,尽管机器学习被视为处理大规模数据的利器,它也并非万能灵药。在网络社会战争中,交战各方面临的问题变幻莫测且往往不会重复出现,因此我们仍需不断研发新的技术。此外,当前的机器学习技术往往只能学习可量化的数据信息,而无法利用动态变化的社会、政治、文化等背景信息。
机器学习技术常被用于识别社交机器人、虚假信息或特定主题的信息。在识别社交机器人时,BotHunter可以迅速判断账号为社交机器人的概率,帮助人们了解对手的传播目标。然而,首先,这类AI工具的“保质期”较短。为了创建大量训练集,需要由人工手动对消息和消息发送者进行分类,这一过程十分耗时,这就使得AI工具的训练速度可能赶不上社交机器人的进化速度;其次,训练集常常充满偏见,例如,一些情感训练集的文本可能更多体现中产阶级的表达风格;第三,AI工具往往只能给出一个概率结果,而不能解释它们是如何得出这样一个结果的;最后,由于训练方式不同,不同工具对社交机器人的识别结果存在差异,此时还需人类来做最终决策。以上种种因素都对AI工具的适用期限和适用场景造成了限制。随着技术进步,研究者正致力于开发无需大量训练集并且能够解释其判定结果的人工智能技术,例如BotRecommender。
机器学习在识别虚假信息方面也存在问题。如表2所示,虚假信息的类型十分繁杂,尽管人工或人机协作的检测工具能辅助识别虚假信息,但整个过程仍旧十分耗时。一方面是因为,评估信息发送者的意图非常困难,AI工具很难分辨发送者是蓄意传播虚假信息(disinformation),还是一时疏忽发送了误导性信息(misinformation)。另一方面是因为,许多舆论操纵者传播的并非完全虚假的信息,而是运用影射、逻辑谬误、断章取义等手段来误导读者。还有很多情况下,被判定为虚假信息的内容其实是对事实的另一种解读。总之,AI工具只能用于识别特定类型的虚假信息,当信息内容比较复杂或者传播速度较快时,它们就会无能为力。
将AI技术与BEND框架相结合起来可以发挥更大的作用。我们可以利用AI技术对舆论信息按BEND框架目标进行分类,也可以用一些AI类BEND框架分析工具来评估舆论的传播过程及影响。例如,当我们用结合了AI与BEND框架的一款工具MemeHunter来分析俄罗斯的一场舆论操纵活动时,它可以识别出“与由男性作为军事领导人的俄罗斯相比,北约多国国防部门都由女性领导,因此较为薄弱”这条信息是意在实现“泄气”目标,它还识别出该消息由社交机器人和真人同时进行传播。
表 2 虚假信息类型
7
未来研究方向
网络社会安全是一个振奋人心的新兴领域,前文所介绍的BEND框架及其理论、方法,以及BotHunter、MemeHunter等工具都是该领域的核心工作。未来研究中,需要做的还有很多,包括以下七个方面。
社交网络信息追踪:社交网络取证旨在识别谁在进行网络社会攻击,其关注攻击者的类型而非具体身份。在追踪信息来源时,可能要跨越不同的社交平台,因此如何建立跨平台联系以实现大规模信息追踪是未来的研究方向之一。
舆论操纵策略识别:舆论操纵策略识别旨在分辨攻击策略及其目的。举个例子,我们可以对BEND框架进行扩展,使其能够识别那些经常同时使用或按特定顺序使用以实现某一效果的策略组合。未来研究需要增强这种对舆论操纵策略(尤其是跨平台策略)的识别能力,以实现对网络攻击的有效预警。
舆论操纵动机识别:舆论动机识别旨在分辨操纵者的动机,即他们进行舆论攻击的目的。目前已识别出的动机包括自娱自乐、制造混乱、分裂社会、消解无聊、获取经济利益、宣传商品/服务、扩大影响力、构建社群等等。快速、大规模地进行动机识别和追踪是未来研究的一个重要方向。
舆论传播监测:舆论传播监测的目标是追踪甚至预测舆论操纵活动的传播情况,包括追踪和预测舆论传播要素(如传播者、观点、信仰、梗图、视频和图像)的扩散情况。通过对信息进行实时监测,我们可以准确了解舆论何时会爆发、达到高峰,并逐渐减弱。因此,未来需要进一步探究信息传播监测的理论和方法,特别在跨平台追踪监测方面。
舆论操纵影响评估:舆论操纵影响评估旨在量化舆论攻击的影响。既包括衡量舆论活动的短期和长期影响,也包括打破传统的评估标准(如关注者/点赞/推荐数量),建立更科学全面的评估标准(如是否导致了社会两极分化或大规模恐慌)。虽然某些标准难以衡量舆论操纵的实时影响,但及时评估未来的潜在影响也非常重要。因此,未来的研究需要提出新的传播影响理论,并探究新的衡量影响的方法。
减轻网络攻击:这一方向的研究有两个目标,一是探究如何减轻或对抗网络攻击,二是探究社群如何提高对网络攻击的韧性。为此,可以从多个方面入手,例如通过代理模型评估干预措施对网络攻击的影响,探究一些可应对社交平台虚假信息的思维技巧,分析韧性较高的社群的共同特征等。未来的研究应致力于提出新的跨学科理论和模型方法来减轻网络攻击的影响并提升社群对网络攻击的韧性。
网络社会安全治理:网络社会安全治理的目标是制定完备的政策、法律,确保用户在参与网络社会时免受恶意影响,维续知情民主制度。网络社会安全治理涉及政策的合法性、公民权利、公民教育等多个方面,未来研究应关注如何将这些不同领域的知识、视角进行融合,制定出可行的治理措施。
8
结论
总而言之,网络社会安全是一门新兴的科学和工程学科。尽管目前该领域已有众多研究成果,但还远远不够,而且不同研究的合作也亟待增强。网络社会安全起初只是涉及学科交叉内容的研究领域,如今,它正成长为一门全新的跨学科研究。研究者需要注意两点内容:
首先,初入该领域的新手很容易认为网络社会安全的研究者寥寥无几,出现这种误解的原因是,该领域的研究成果分散在数百个期刊和会议中,没有一种刊物居于主导性地位。另外,这些研究在各个学科中都处于边缘位置。我们发现,大多数网络社会安全的研究者都不认识同领域的其他研究人员,甚至连同一大学里的同领域研究者也不认识。因此,促进研究者之间的联系合作,探索更好的协作方式十分必要。幸运的是,在一些基金项目的支持下,这种情况有所改观。如图3所示, 较之2018年,2019年年底时研究者的合作网络已大大扩展,有更多研究人员之间建立了合作。
另外,研究者也很容易认为人工智能和数据科学是网络社会安全问题的解决之道。然而,人工智能通常只适用于事实核查等简单任务,而且其训练过程耗时太久,难以应付网络社会中层出不穷的新问题。至于数据科学,研究者可能误认为只要利用“大”数据就可以解决一切问题,但该方法适用于处理一般状况,无法应对网络社会安全领域所涉及的网络攻击、舆论操纵等特殊情况。以上两种解决思路都未能认识到,本质上,网络社会安全关注的是作为社会性存在的人,是社会性的人在施加影响、受到影响。人工智能和数据科学对网络社会安全研究非常重要,只是这些技术的作用应该是辅助研究,而非主导研究。网络社会安全研究应由对社会有充分了解的、具有社会性的人类来主导。
图3 网络社会安全领域合作网络的演变。图(a)、(b)分别为2018年、2019年网络社会安全领域的核心合作网络。图中每个节点代表一位作者,连边代表合作关系,连边权重取决于所合作的论文数量。
由于原文篇幅过长,本篇文章将被分为两部分进行发布,以上为本文的第二部分内容,上半部分详见:网络社会安全:一门新兴科学(上) 作者:凯瑟琳·卡利
参考文献:
[1] National Academies of Sciences, Engineering, and Medicine. A decadal survey of the social and behavioral sciences: A research agenda for advancing intelligence analysis[J]. 2019.
[2] Goolsby R. Developing a new approach to cyber diplimacy[J]. Future Force, 2020, 6(2): 8-15.
[3] Benigni M C, Joseph K, Carley K M. Bot-ivistm: assessing information manipulation in social media using network analytics[J]. Emerging research challenges and opportunities in computational social network analysis and mining, 2019: 19-42.
[4] Benigni M C, Joseph K, Carley K M. Online extremism and the communities that sustain it: Detecting the ISIS supporting community on Twitter[J]. PloS one, 2017, 12(12): e0181405.
[5] Huang B. Learning user latent attributes on social media[D]. PhD thesis, Carnegie Mellon University, 2020.
[6] Nimmo B. Anatomy of an info-war: how Russia’s propaganda machine works, and how to counter it[J]. Central European Policy Institute, 2015, 15: 1-16.
[7] Beskow D M, Carley K M. Social cybersecurity: an emerging national security requirement[J]. Military review, 2019, 99(2): 117.
[8] Lucas E, Nimmo B (2015) Information warfare: what is it and how to win it. CEPA Infowar Paper 1 [9] Manheim J B. Strategic public diplomacy and American foreign policy: The evolution of influence[J]. New York, 1994.
[10] Howard PN, Kollanyi B (2016) Bots, # strongerin, and # brexit: computational propaganda during the uk-eu referendum. Available at SSRN 2798311
[11] Howard P N, Woolley S, Calo R. Algorithms, bots, and political communication in the US 2016 election: The challenge of automated political communication for election law and administration[J]. Journal of information technology & politics, 2018, 15(2): 81-93.
[12] Huckfeldt R R, Sprague J. Citizens, politics and social communication: Information and influence in an election campaign[M]. Cambridge University Press, 1995.
[13] Webster T. 8 surprising Twitter statistics that will help you get more engagement. https ://postc ron.com/
en/blog/8-surprising-twitter-statistics-get-more-engagement /. Accessed 2/2020
[14] Sanborn F W. Harris R J .A cognitive psychology of mass communication[M].Routledge, New York. 2013.
作者介绍
凯瑟琳·卡利
美国计算社会科学家,哈佛大学社会学博士,苏黎世大学荣誉博士,卡内基梅隆大学计算机科学学院软件研究所教授,同时在该校工程与公共政策系、电气与计算工程系、海因茨公共政策与管理学院任职。卡利还担任卡内基梅隆大学社会和组织系统计算分析中心(CASOS)主任,该跨学科中心涵盖网络分析、计算机科学和组织科学等研究。同时担任学校知情民主与社会网络安全中心(IDeaS)主任,推动研究网络虚假信息、仇恨和极端主义问题。
卡利的研究结合了认知科学、网络科学、计算机科学和社会科学,旨在解决复杂的组织、社会和文化问题。具体研究领域包括动态网络分析、计算社会和组织理论、网络适应和演化、网络社会安全以及动荡时期(如灾难和选举期间)的网络行为。
卡利及其团队开发了用于分析大规模动态网络、社交媒体和各种多代理仿真系统的基础工具,包括:ORA(用于分析和可视化多维动态和空间网络的统计工具包)、AutoMap(文本挖掘系统)、Construct仿真系统(用于探究社会和技术干预对个体/群体层面的信息传播的影响),以及BotHunter、HateHunter等社交机器人识别工具。卡利还担任《计算与数学组织理论》杂志的联合创始人,出版了多部计算社会科学和网络科学书籍,发表论文400余篇。
Linyuan Lab招聘中
信息详见:[ 招聘 ] Linyuan Lab期待你的加入!
复杂网络相关研究进展、招生信息请关注👇