基于全球整合新闻数据库的开源情报关联与可视化分析-刘坤佳.pdf

《基于全球整合新闻数据库的开源情报关联与可视化分析-刘坤佳.pdf》由会员分享，可在线阅读，更多相关《基于全球整合新闻数据库的开源情报关联与可视化分析-刘坤佳.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、情报学报2017年2月 第36卷第2期Journal of the China Society for Scientific and Technical Information，Feb201 7，36(2)：1 52_1 58基于全球整合新闻数据库的开源情报关联与可视化分析刘坤佳，陈科第，乔凤才，王 晖(国防科学技术大学信息系统与管理学院，长沙410073)摘 要GDELT是一个实时、开源、全球性的社会事件新闻数据库，它收录全世界从1979年至今的网络、纸质新闻报道中抽取的事件。本文设计并实现了一个GDELT数据库采集器，实时采集GDELT的元数据，并将其存储在HDFS分布式文件系统中；提出了

2、一种基于哈希的方法在Spark中对GDELT的三个主要数据表进行快速的连接操作，得到GDELT联合数据集，以便充分挖掘每个事件的详细信息；最后，以韩国地区的GDELT联合数据集为例进行了时空可视化分析，如事件热度的区域时间分布、关注媒体分布、抽取结果的置信度分布等。为情报科技工作者及相关人员提供了一个新的角度和解决方案。关键词 全球整合新闻数据库；可视化分析；关联分析Correlation and Visualization Analysis of Open Source IntelligenceBased on Global Dataset of Events，Location and To

3、neLiu Kunj ia，Chen Kedi，Qiao Fengcai and Wang Hui(College ofinformation Systems andManagement,National University ofDefense Technology，Changsha 410073，China)Abstract：The GDELT iS a real time database of global human society for open research which monitors the worldSbroadcast，print，and web news sinc

4、e 1 979，creating a free open platform for computing on the entire worldFirst，wedesigned and realized a data collectorwhich collects metadata of GDELT database in real time and stores them in aHadoop Distributed File System(HDFS)Then，we proposed a hashbased method to correlate Event tables，Mentionsta

5、bles and GKG tables in GDELT，in order to digest every detailed information of each eventFinally，we took SouthKorea as example to make spatiotemporal visualization analysis，such as Event Spatiotemporal Heat Map，Distribu-tion of Media Attention and Event Extraction Confidence Dot MaoThis all will prov

6、ide a new perspective and solution for further researchKey words：GDEIJ：visualization analysis；correlation analysis引 言全球整合新闻数据库(The Global Database ofEvents，Language，and Tone，GDELT)由美国乔治城大学教授Kalev Leetaru于201 3年创建并发布，是目前世界上规模最大、内容最全面、分类粒度最细、开源免费的冲突与调解事件数据库，包含了从1979年到现在从全球新闻媒体报道中抽取得到的各类冲突与调解事件。GDELT数据

7、库实时监测世界上65种语言的电视、广播、报纸、网络媒体甚至学术论文中的新闻事件，对其进行分析提取，提炼出新闻事件相关的人物、地点、组织和事件类型等关键信息。目前，该数据库每15分钟便会进行一次更新。GDELT数据库的主表称为Event表，该表是基收稿日期：20060528作者简介：刘坤佳，女，1994年生，本科生，主要研究方向为情报与安全信息学，Email：liukunjjal2qq com；陈科第，男，1992年生硕士生，主要研究方向为情报与安全信息学；乔凤才，男，1988年生，博士生，主要研究方向为情报与安全信息学；王晖，男，1968年生，博士，教授，博士生导师，主要研究方向为大数据与社会

8、计算、情报与安全信息学。万方数据第2期 刘坤佳等：基于全球整合新闻数据库的开源情报关联与可视化分析 153于CAMEO(Conflict and Mediation Event Observations)机制对抽取到的事件进行编码的，定义了事件的时间、参与者、事件类型、地理位置共四个方面的属性信息。Event表中设计了许多变量将原始的CAMEO人物编码分解到各变量对应的字段中进行存储，这为研究人员与数据进行交互提供了方便；事件类型被分解成不同的层级，而且每个层级对应相应的GoldsteinScale指数；同时还包含一系列用于地理位置查询的字段，提供动作的发出者与接受者所在位置和动作发生地点的具

9、体地理信息1】。在数据规模上，Event表目前包含了1979年至今36年多时间的将近379亿条事件记录，数据大小约为136 GB。这里对CAMEO定义的事件类型进行简要介绍。CAMEO的中文全名是“冲突与调解事件观察”，是用于分析国家间政策相互影响的一种新的事件数据框架。CAMEO共定义了20大类和将近300小类的冲突与调解事件，其中20大类事件编码及其描述见表1。表1 CAMEO事件类型类型编码 类型描述 类型编码 类型描述0 l 发表公开声明(MAKE PUBLIC STATEMENT) 11 反对(DISAPPROVE)02 呼吁(APPEAL) 12 拒绝(REJECT)03 表明合作

10、意图(EXPRESS INTENT TO COOPERATE) 13 威胁(THREATEN)04 磋商(CONSULT) 14 抗议(PROTEST)05 进行外交合作(ENGAGE IN DIPLOMATIC COOPERATION) 15 显示兵力态势(EXHIBIT FORCE POSTURE)06 进行实质性合作(ENGAGE IN MATERIAL COOPERATION) 1 6 减少联系(REDUCE RELATIONS)07 提供援助(PROVIDEAID) 17 迫使(COERCE)08 投降(YIELD) 18 攻击(ASSAULT)09 调查(INVESTIGATE)

11、19 斗争(FIGHT)10 要求(DEMAND) 20 使用非常规性大规模暴力(USE UNCONVENTIONAL MASS VIOLENCE)自2015年2月起，GDELT数据库引入了另外两个数据表：Mentions数据表与Global KnowledgeGraph(GKG)表。Mentions表通过全球媒体追踪每条报道的来源；记录Event表中提及的所有的事件，便于我们梳理全球媒体系统中的各类事件，使其之间错综复杂的网状的关系清晰地呈现出来。Event表中提及的每一个事件都对应着一条Mentions表记录，所以如果一个事件在Event表中被记录了100次，Mentions表中就会对应有

12、100条记录。目前Mentions表的数据规模约为831 GB(约为402亿条记录)。GKG表扩展了GDELT量化全球人类社会的能力，使其不止限于记录事件流于表面的基础信息，而是更深入地关注新闻事件的详细信息，如人物或组织信息、地理信息和情感态度等。GKG数据表应用了一系列十分复杂的自然语言处理算法，计算一系列编码元数据，将数据中隐藏的信息进行解码。一言以蔽之，它将每个孤立的人、地理位置、数字、主题、消息来源和全球的事件联结为一个巨大的网络，这个网络每天都捕捉最新的全球动态，此时此刻正在发生什么，什么人参与其中，人们对此持什么看法等2。GKG表中的全球内容分析度量(GlobalContent

13、Analysis Measure，GCAM)模块是世界上最大的情感分析模块，可以实时分析15种语言的新闻事件报道并利用该模块的24个情感度量程序包将报道划分为2300种不同的情感和主题。GKG还将新闻报道中的多媒体信息(如图片，视频等)和引用，名字，数字，日期等信息都提取出来，为后续分析整合提供了极大的方便。此外，值得一提的是，GDELT应用了世界上最大的实时新闻流翻译部署器，可以将世界上984的非英语新闻报道，涉及65种语言，实时翻译为英文。目前，GKG表的数据规模为276 TB(约277亿条记录)。基于以上对GDELT数据库的认识与介绍，本研究旨在对利用该数据库实现开源情报可视化分析进行探

14、索。首先，本文设计并实现了一个数据采集器，该采集器能够实时采集GDELT中Event表、Mentions表和GKG表的元数据，并将其存储在HDFS分布式文件系统中，从而进一步利用Spark SQL进行快速查询处理；然后，本文提出了一种基于哈希的方法在Spark中对Event、Mentions和GKG三个表进行快速的连接操作，得到GDELT联合数据集，以便充分挖掘每个事件的详细信息；最后，本文以韩国的GDELT联合数据集为例进行了时空可视化分析，如万方数据154 情 报 学 报 第36卷事件热度的区域时间分布、关注媒体分布、抽取结 3 GDELT数据存储与处理果的置信度分布等。31存储与处理架构

15、2 GDELT数据采集GDELT的元数据为CSV格式的文本文件，以zip文件的形式进行更新，基于此，我们使用Java语言开发了一个能够自动实时进行GDELT数据下载的采集器。采集器分为两大组件，URL获取组件和元数据下载组件。URL获取组件首先从GDELT元数据发布页面循环获取最新的URL(GDELT元数据每15分钟更新三个zip文件，分别对应Event表、Mentions表和GKG表，如20 1 605090 1 3000exportCSVzip，和20160509013000gkgCSVzip)，如果GDELT数据表有更新，则将新的URL加入到metadata数据表中。此外，为防止由于网络

16、故障等原因造成的URL遗漏，URL获取组件中还有一个值守线程用来每天与GDELT服务器核查metadata数据表中是否有遗漏，并将遗漏的URL加入到metadata表。元数据下载组件从metadata表中取出新加入的URL，然后与GDELT服务器建立HTTP连接，成功连接后下载每条URL对应的zip文件，并将其存储到分布式文件存储系统中。图1为采集器的工作流程图。工中皆程 值守I线程崔L日J二7J二匦孕叵奎匾匝叵巫三亟因 【-JYURL获取组件!塑堡叁!坠翌堕竺奎竺元数据下载组件SQLOn MapReduceHiveo11 Ji!Hadoop Distributed File System(G

17、DELT Raw Data)图2实验系统架构32基于哈希的联合数据集构建尽管当前有许多研究使用Event表来分析和预测目前和未来的冲突事件，但是却鲜有研究人员利用Mentions表和GKG表的数据做类似的研究。然而，我们认为从Mentions表和GKG表中挖掘有价值的信息具有重要意义。一方面，Mentions表和GKG表要比Event表大得多，更新速度也要快很多，其中必定隐含了许多有价值的数据。另一方面，新增加的两个数据表应用了一系列全新的十分复杂的自然语言处理算法，增加了很多更加详细的信息，而这一她一耻她万方数据第2期 刘坤佳等：基于全球整合新闻数据库的开源情报关联与可视化分析 155些信息

18、在Event表中是没有的。因此，仅仅依靠Event表来发现每条孤立的记录之间的联系是远远不够的。为了方便后续研究充分利用GDELT的三个数据表，我们将2015年2月之后的Event数据表与Mentions和GKG数据表进行关联操作，以获得一个全新的包含详细信息的数据集。Event表与Mentions表之间联系很紧密。两表中都有一个GlobalEventlD字段作为本条记录的ID。因此，我lflN用GlobalEventID字段作为外键对Event表与Mentions表进行JOIN操作，得到Event Mentions表。然而对GKG表的关联要复杂得多。即使只关注在有限的时间段某一地区的记录，数

19、据表中数据量还是太大，无法用RDBMS来操作数据库。再者，由于GKG是一个新发布的运用全新事件抽取技术获得的数据表，没有字段可以将它与Event表或者Mentions表直接联系起来，所以对GKG表的关联存在一定的困难。由于GDELT数据库中记录的事件绝大部分来源于互联网的新闻媒体，而每篇报道的URL是唯一的，因此我们可以将URL作为关联操作的依据。通过对GKG和Mentions两个表的分析，我们发现Mentions表中的MentionIdentifier字段与GKG表中的V2Documentldentifier字段，都表示用于进行事件抽取的源文档的URL。我们利用这两个字段将GKG表与Even

20、t Mentions表进行关联，得到三表合并的Event Mentions GKG表。在实际操作中，考虑到URL字符串通常较长，匹配起来耗时太长，我们需要对原数据表进行一些预处理，以方便后续的关联操作。我们先对GKG表中的V2Documentldentifier字段与Event Mentions表中的Mentionldentifier字段进行MD5哈希转换操作，将长度不定的字符串统一映射为32字节的固定长度字符串。这样可以节约比较URL长字符串所用时间，提高合并效率。图3表示整个处理流程，我们通过将Event表与Mentions表进行关联得到Event Mentions联合数据表。在阶段一中，

21、我们使用主键与外键进行关联操作。然后，我们对Event Mentions表和GKG表的特定字段先进行Md5哈希映射。最后，通过匹配经过哈希映射的字符串将两表联合起来，得到EventMentions GKG联合数据集。图3为数据集关联分析处理流程。图4显示了直接进行URL匹配与先进行Md5哈希映射再进行匹配的运行时间对比。我们在拥有6个节点，12个至强E5500CPU，384 G内存的HadoopHive集群上进行该实验。对于Event数据表，我们选取的时间区间是1979年1月到2016年2月29 Et。对于Mentions表和GKG表，我们选取的时间区间是2015年2月18日到2016年2月2

22、9日。如图表所示，哈希匹配效率更高阶段三爪“日阶段二数据预处理阶段二U Event_Mentions_GK聊e勰糯囊关联坌搦骐 77，095 75，196CPU耗时(秒) 摹鬈坌磐，孙、 3,353 2,946实际耗时(秒)-N 4不同的关联分析方法时间消耗对比巨4可视化分析本节我们以韩国为例进行案例分析，利用联合数据集作为数据来源。41事件热度的时间区域分布图5显示2015年2月到7月间每个月事件发生与报道的区域热度图。颜色的深浅表示在该区域发生的事件数目多少。每一个行政区域对应两个数字。第一个数字表示我们可以从Event数据表中计算出的在该月内该地区发生过的准确事件数，第二个数字表示报道该

23、地区事件的新闻报道数量。从图中可以看出，事件高发于4月、5月和6月。首都首尔周围地区为事件热点区域。更重要的是，某一地区的事件数量和新闻报道数一定程度上反映着该地区的影响力和受关注度。这是Mentions表给我们提供的非常有价值的信息。万方数据156 情 报 学 报 第36卷事件数量201503羹 羹 羹42关注媒体分布罔5 韩国各地区事件发生与报道的区域热度图图6表示哪些媒体对与韩国相关的事件更为关注。圆圈越大表示该媒体对韩国地区的事件报道频率越高。为了便于对比，我们先对数据进行了最大最小规格化处理，以避免因为数据之间极差太大而影响比较的直观效果。从图中我们可以看到，除了图6 韩同事件报道的

24、媒体气泡图万方数据第2期 刘坤佳等：基于全球整合新闻数据库的开源情报关联与可视化分析 157韩国联合通讯社(Yonhap News)、韩国时报(KoreaTimes)、韩国广播公司(KBS)等六个主要的本国媒体外，英国广播公司(BBC)、美联社(AssociatedPress)、雅虎新闻(Yahoo)对韩国的新闻事件显示出了比其他国外媒体更大的兴趣。显然，通过更深入的统计分析，我们还可以挖掘与某一事件相关的其他国家的信息，而不仅限于韩国。这或许会对探究那些看似独立的事件背后隐藏的关系有重要作用。43抽取结果置信度区域分布图7显示了2015年2月至201 6年2月期间的5未来的研究方向韩国各地区

25、事件抽取置信度的散点图。联合数据集中的事件数量要比数据库中实际的事件总数少，这是因为GKG表中的数据与Event表中的数据不是一一对应的，所以在关联操作时会损失部分GKG表的数据。虽然损失了部分数据，我们却获得了关于事件的更多信息。图上的每个点都表示有一个或多个事件发生于此。点的颜色深浅表明了GDELT从源文档中抽取事件的置信程度，颜色越深，抽取结果越可靠。点的大小表明了该事件被报道的次数。这些信息可以帮助我们找到更加可靠的Event记录，但这足单凭Event表不能做到的二图7 韩国各地区事件抽取置信度散点图在对关联操作后得到的新数据集进行可视化分析时，尽管数据总量由于关联操作而有所下降，但是

26、我们发现，联合数据集更适合于未来事件预测研究。我们接下来的工作将关注使用联合数据集来预测未来事件。我们将参考Keneshloo等31和Qiao事件抽取置信度霪霪蓊鞠麓霞黧鏖1000 100OO事件源文档数量1 0002 00040006 0008423。*鹕毒c岛- “。 痒等【4】提出的基于频繁子图模式挖掘预测不同层面的群体性抗议事件的方法与Radinsky等【5】提出的基于词频序列发现历史事件规律的方法，以实现预测未来相似事件的发生。关联后的数据集给可以给研究带来更多有价值的信息。而我们提出的在超大数据集上先进行哈希预处理再关联的方法保证了可操作性的同时兼顾了麓紫。第一鬻。攥辫万方数据15

27、8 情 报 学 报 第36卷效率。联合数据集不仅帮助我们关注研究事件本身，也帮助我们挖掘事件、媒体和国家之问的关系。由于篇幅有限，我们无法一一列举可以从关联数据集中挖掘的信息。但是，本文提供的将GDELT三大数据表进行关联分析的方法，将为其他研究人员接下来更充分地利用GDELT所有的数据来进行事件分析和预测未来事件的工作奠定基础。2参考文献The GDELT ProjectThe GDELT Event Database Data for-MatCodebook v20EBOL20150822http：datagdelt-projectore,docmentafionGDELTData For

28、mat CodebookpdfThe GDELT ProjectThe GDELT Global Knowledge Graph(gkg)Data Format Codebook v21EBOL20150825http：data34【5gdel一中m-jectorgdocumentationGDELTGlobal Knowledge GraphCodebookpdfKeneshloo Y，Cadena J，Korkmaz G，et a1Detecting and Forecasting Domestic Political Crises：A Graphbased ApproachC#Proce

29、edings of the 2014 ACM Conference on Web Science，ACM2014：192196Qiao F C，Li P，Deng J S，et a1Graphbased Method for Detecting Occupy Protest Events Using GDELT DatasetCCyberEnabled Distributed Computing and Knowledge Discovery(CyberC)，2015 Intemational Conference on Cgber-Enabled Distributed Computing and Knowledge Discovery，IEEE，2015：164一168Radinsky KHorv池EMining the Web to Predict FutureEventsCProceedings of the Sixth ACM International Confer-ence on Web Search and Data Mining，2013：255264(责任编辑马 兰)万方数据