← 返回列表

30万篇外媒疫情新闻数据集介绍

聚合站 SecWiki技术 作者 穿过丛林 发布 2021年7月12日 09:55 入库 2026-11-18T18:46:19

背景

我们立足于“讲好中国故事”的背景,结合目前新闻研究者的需求,以疫情为出发点,研究外媒对中国的细粒度情感、立场,但疫情突如其来,网络上没有任何开源的外媒疫情新闻数据集,为此我们从22个国家(一带一路国家和世界主流国家)57个新闻媒体主流网站(参考外交部和商务部关于各国情况的白皮书)收集新闻数据,经过数据清洗、翻译等预处理,依靠自主开发的数据标注平台,在短短一周的时间内,对4115篇文章总计进行20000人次标注,共标注超过12万个标签,经校验处理后,最终生成了一份可信的数据集,这项工作为我们后期的新闻大数据模型开发工作节约了大量时间。

数据集介绍

数据集大小为1.46GB,包含四个文件,分别为三个json格式的新闻数据,一个README.md的说明文档。文件1.json是通过在媒体网站上搜索关键字“China”和“coronavirus”而获得的新闻的集合,并且我们使用多人标注平台为每条新闻进行了标注,该文件包含从2019年12月到2020年6月总共4115篇标注新闻。文件2.json文件是通过在媒体网站上搜索关键字“China”和“coronavirus”而获得的新闻的集合,该文件包含从2019年12月到2020年6月的新闻,共有75838篇新闻。文件3.json是通过在媒体网站上搜索关键字“coronavirus”获得的新闻集, 该文件包含从2019年12月到2020年6月的疫情新闻,共计301681篇。

标签说明

数据集中的每一条标注数据都包含以下字段。

表1 数据集字段说明

5个标注label中,情感标签和主题标签的种类最多,不同的人在标注时可能因为对内容的理解不同而产生不同的标注,为了统一标注,我们制定了清晰的标注规则。对于针对中国的情感标注,我们规定新闻内容包含尊敬、赞扬、认同等相似情感时,标注为agreeable;包含祝愿、祝福、相信、鼓励等相似情感时,标注为believable;包含感激、崇拜、正面惊讶、好的等相似情感时,标注为good;包含有谴责、批评、愤怒、怀疑、嫉妒、憎恨、反对等相似情感时,标注为hated;包含有悲伤、失望、内疚、思念等相似情感时,标注为sad;包含有慌张、恐惧、恐慌、担忧、担心、害怕、慌张的惊讶等相似情感时,标注为worried;对于无情感表达的新闻,都标注为客观。对于主题分类标注,我们规定有关党政、军事、外交(包括撤侨、出入境管理)等相关内容的新闻,标注为politics;有关民生、民众日常生活、医疗(民生方面)、政府命令实施(民生方面)的新闻,标注为society;有关互联网、工业、科技创新、医疗(生物科技方面)的新闻,标注为technology;有关经济、商业、金融证券(包括金融政策)、财政等相关内容的新闻,标注为economy;有关体育的新闻,标注为sports;有关历史、教育、人文、艺术(音乐、绘画)的新闻,标注为humanity;有关明星、娱乐的新闻,标注为entertainment。以一篇新闻为例,数据集文件中的数据格式如下:

{

"news_title": "China orders sharp cuts in flights in, out of country to curb coronavirus risk",

"news_content": "BEIJING (Reuters) - China has ordered airlines to sharply cut …",

"news_source_url": "https://www.reuters.com/",

"news_country": "The United Kingdom",

"emotion": "objective",

"stance_against_china": "neutral",

"about_china": true,

"topic": "politics",

"type": "fact"

}

数据集用途

该数据集用途丰富,在新闻媒体领域,可以帮助新闻工作者分析出新冠肺炎期间外媒的报道方向;在自然语言处理领域,可以为研究者提供机器学习所需的标注数据,训练出更有效的机器学习模型。

我们使用该数据集,从关注题材、报道立场、情感倾向、焦点话题等角度进行分析,得到了一些比较有意思的结论,我们发布的《大数据带你看:1.6万篇外媒报道中的中国疫情》推文阅读量达到5900余次,且在微博中被拥有500万粉丝的复旦大学中文系教授转发,引起热烈讨论。同时,我们使用该数据集作为训练集,训练了情感分析、立场分析、偏差分析、话题聚类、事件抽取等多个机器学习模型。

未来,我们将把数据集推荐给更多的机器学习竞赛平台使用,作为NLP赛题的标准数据集,为学术发展提供帮助。

标注系统

我们自主开发了一套完整的数据标注系统,实现对新闻数据进行多人协同标注,最大化保证了数据标注的准确性。我们对100个标注人员进行培训,统一标注规则,将4000多篇新闻随机分发给100个标注人员,每篇新闻会随机发给5个标注者,这样可以保证每一篇新闻的标注人员组合都不相同,保证了标注结果的准确性。当标注结束后,系统会自动对所有新闻进行校验,所有标注字段至少有3人标注的结果相同时,这些字段才会保留,否则,将会把新闻分发给第六个仲裁人员进行标注,仲裁者可以通过查看五位标注者的标注结果进行判断,选择最合适的标注作为最终的label。这种标注规则让每一篇新闻都能得到最为准确的标签,避免个别标注者对新闻内容的偏见导致标签不准确的情况。

功能介绍

标注系统的功能分为用户管理、标注管理、任务管理,该系统只需要更改少许代码即可轻松移植到一个新的标注场景中。对于新闻的标注任务,我们批量创建了100个标注账号,并使用平台的任务随机分发功能,将4200篇新闻分发给100个账号,如图所示,我们设置每篇新闻由随机的5名标注者进行标注,总共需要21000人次标注,平台可以一键将任务平均分配给所有标注用户,且分配过程完全随机。

图1 标注任务自动分配

当每个标注者收到标注任务后,即可开始进行新闻标注。由于新闻数据来源于多个国家,涉及多种语言,为了提高标注者的标注效率,我们通过谷歌、百度等翻译API将所有新闻翻译成了中文,标注者可以随时查看新闻原文以及翻译中文,方便标注者快速理解新闻内容。

图2 标注界面

在标注界面,标注者可以查看当前标注的进度,对每一篇新闻进行六个标签的标注。其中,情感标签可以选择两个最符合的标注。我们规定如果将新闻标注为客观,则无法选择其它情感。其它标签都只能选择一个选项作为标注,而情感依据可以选择多段文字,该标注对细粒度的情感分析将有巨大帮助。

图3 情感依据标签

管理员可以实时查看每一个人的标注状态、进度,对于标注经常出错的用户,可以重置其标注,并将新闻重新分发给其他标注用户进行标注。

图4 标注状态管理

标注人员完成所有标注任务后,管理员可以在标注管理页面查看所有的标注结果。通过一键校验功能,系统会自动统计所有标注结果,每篇新闻的标签有三人以上标注相同时,才会被确定为最终标签。对于标注有分歧的新闻,系统会自动下发给第六个仲裁者进行评估,仲裁者会根据前五个人的标注情况,为新闻选择最适合的标签,自此完成了所有的新闻标注,管理员可以直接导出数据集文件到本地。

图5 标注仲裁

标注平台的可扩展性

标注系统采用前后端分离模式进行开发,保证前后端逻辑分离,重构非常方便。由于标注系统的核心逻辑就是后端对数据库的操作,前端对标注事件的响应以及界面的渲染,在迁移到其他标注任务时,只需对后端代码的数据库字段实体映射逻辑和前端事件响应和渲染逻辑进行少许更改,无需更改前端接口,即可适配其他文本标注任务,且用户管理、任务管理等模块都可以直接复用,无需进行任何更改。

总结

我们收集了22个国家57个媒体的30万条疫情新闻,并筛选了其中4115篇针对中国疫情的报道进行人工标注。我们开发了适合新闻标注任务的数据标注平台,采用严格的标注规则在短时间内高效的标注出一套准确的数据集,并将数据集开源,希望它能够为新闻媒体、自然语言处理等研究领域提供学术价值。

注:

开源数据集的新闻内容来源于外媒网站,不代表任何个人或组织的政治观点,仅供学术交流。

数据集开源及下载地址:https://github.com/CGCL-codes/COVID19-Dataset

往期回顾

原文链接:https://mp.weixin.qq.com/s/VQdHQnHnWhHrE-Ze_W9meA