基于流式计算的网络舆情分析模型研究-高欢.pdf

《基于流式计算的网络舆情分析模型研究-高欢.pdf》由会员分享，可在线阅读，更多相关《基于流式计算的网络舆情分析模型研究-高欢.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、情报学报 ISSN 10000135第35卷第7期723729，2016年7月JOURNAL OF THE CHlNA SOCIETY FOR SCIEHTIFICAND TECHNICAL 1NFORMATION ISSN 1000一0135V0135 No7，723729 July 2016dot：103772jissn1000-01352016007006基于流式计算的网络舆情分析模型研究1高 欢(中国人民大学信息资源管理学院，北京 100872)摘要 互联网时代，网络舆情的庞大数据规模和舆情分析的计算复杂性，使对网络舆情的分析和实时掌控变得愈发困难。面向快速、不断产生的网络舆情采用流式

2、计算进行实时处理的分析模型，在时效性、突发性和无限性三个方面都更加符合网络舆情的自身特性。基于流式计算的网络舆情分析模型分为数据收集、舆情分析和舆情治理三个部分，通过对语义保障和负载控制等关键技术的把控，可以实现个案把握向整体掌控、被动响应向主动分析的转变。基于流式计算的网络舆情分析模型具有可扩展性，能够联合众多服务器及资源，具有平台优势，能够解决地方舆情分析中面临的技术门槛，保障网络舆情分析的准确性与及时性。关键词 智能信息分析 流式计算 云计算 网络舆情Research on Model of Network Public OpinionAnalysis based on Stream C

3、omputingGao Huan(Information Resource Management College ofRenmin University，Beijing 100872)Abstract During theInternet age，the network public opinion analysis and realti me control are becoming moredifficult since the large data scale of network public opinion and the computational complexity of pu

4、blic opinion analysisFor rapid，stream data continuously generated in realtime processing，the analysis model has three aspects of advantagesincluding timeliness，sudden and unlimited which is nlore in line with its own characteristics，The model of network publicopinion analysis based on stream computi

5、ng can be divided into three pads：data collection，analysis of public opinion andpublic opinion management，through the key technologies such as semantic security and load control，this model has alsorealized transformation from the ease to overall control and the passive response to proactive analysis

6、The model of networkpublic opinion analysis based on stream computing is scalable，can be combined with many servers and resources，with theadvantages of the platform，it is possible to solve the technical barriers faced by local public opinion analysis to ensurenetwork public opinion analysis accurate

7、 and timelinessKeywords intelligent information analysis，stream computing，cloud computing，network public opinion1 引 言舆情作为中国社会政治思想的重要组成部分，是民众对社会管理者、企业、个人及其他各类组织，围绕社会事件的发生、发展和变化，表达的信念、态度、意见和情绪等表现的总和。随着互联网的普及和发展，人们的行为习惯发生了改变，虚拟和现实世收稿日期：2015年lO月24日作者简介：高欢，男，1990年生，中国人民大学信息资源管理学院信息分析专业博士研究生，丰要研究方向：信息分析，云

8、计算，Email：gaohuanyxhlivecn。1) 本文是国家社科基金重大项目云计算环境下的信息资源集成与服务研究(项目编号：12&ZD220)的研究成果之一。723万方数据情报学报第35卷第7期2016年7月界进行交互，人类社会活动以数据形式被记录、存储和传播。各种形式的社会化媒体，如微博、微信等的出现，使互联网成为公众获取信息、传递信息、交流思想、表达意见的重要平台，也成为了政府有关部门获取舆情、了解公众思想动态的重要渠道。云计算、物联网、移动互连等信息技术的快速发展，促使网络舆情在量上急剧增加，产生、传播的速度也较以往更快，总量已经远远超过历史上的任何时期。在此环境下，舆情分析工作

9、面临比以往更严峻的挑战，如何在复杂而多元化的信息中辨明真伪、把握方向和有效分析网络舆情，已成为政府维护公信力，提高执政能力所面临的重要问题之一。社会舆情在数据体量、复杂性、产生和传播速度等方面发生了巨大变化，科学监测、分析并正确引导舆情，需要越来越高的数据计算和使用能力。在当今社会关系重构的社交媒体时代，要建构科学有效的社会舆情管理体系，必须正视舆论生态新变化，善用大数据技术预测和引导社会舆论。网络舆情分析对数据处理过程的整体延迟要求非常苛刻，如果能够在秒级或更短的时间内得到结果，将有利于作出进一步反应。现有技术并不能很好地满足对海量高速数据进行实时处理和分析的需求，即使是HDFsMapRed

10、uce这种近年来被业界广泛采用的海量数据处理架构，也并不适用于如此高速和复杂的实时数据处理和分析场景。HDFSMapReduce主要是面向静态数据的批处理，使用外存作为中间结果的存储介质，巨大的I0代价成为影响处理过程实时性的瓶颈。海量、高速数据的实时处理引发了越来越多的关沣，一些新的技术已经萌芽。其中，一类面向快速、不断产生的数据进行处理并立即产生结果的流处理模式得到了迅猛发展。流式计算中，数据往往来自最近一个时间窗口，因此延迟较短，能够满足舆情信息分析中的实时性要求。2 流式计算流式计算与其他大数据解决方案的处理方式不同，它是一种内存计算。在数据的有效时间内获取其价值，是流式计算的首要目标

11、。因此，当数据到来后将立即对其进行计算，而不是缓存等待后续全部数据到来再进行计算。以往的数据处理方式(图1)，先将收集到的数据储存到数据库中，然后在收到请求后搜索这些数据。例如，分布式系统(其实质是一个批处理系统)中，数据被引入文件系统(如一724一HDFS)并分发到各个节点进行处理；当处理完成时，结果数据返回到文件系统以供使用。这是高效的处理方式，能够反复、多方式地使用数据，分析其中信息，但这也容易造成时间的浪费。流式计算(图2)中，运算法则在接收流数据时就开始对其进行分析。流式计算支持创建拓扑结构来转换没有终点的数据流，不同于分布式处理系统，它们会持续处理到达的数据：川。内存 数据存储 数

12、据处理内存图1批量计算流数据处理数据硬盘图2流式计算流式计算关注的是数据多次处理一次写入，而批量处理关注的是数据一次写入并多次处理使用。流处理系统运行起来后是持续不断的，而批处理系统往往只是在业务需要时调用数据。两者关注及应用的方向不一样，如表1所示。流式计算，是对数据的实时处理，是针对在线业务而存在的计算平台，适用于实时性要求高的情况。表1 流式计算、批量计算部分性能对比计算 常驻 处理 有序 数据 精确性能指标 重现方式 空间 延时 性 速率 度流式计算 实时 内存 短 无 突发 较低 难批量计算 批量 硬盘 长 有 稳定 较高 易随着数据规模和复杂程度的增加，数据处理在吞吐量和响应时间上

13、的要求越来越高。批处理系统(MapReduce)、大规模并行数据库、流处理系统和内存数据库，在数据吞吐量和响应时间上有所不同，如图3。内存数据库是一种基于磁盘静态数据的细粒度处理模式，在内存中重新设计了体系结构，实现了数据缓存、快速算法、并行操作等，数据处理速度快，适合吞吐量要求不高同时需要快速响应的应用。大万方数据基于流式计算的网络舆情分析模型研究规模并行数据库通过并行使用多个CPU和磁盘，将诸如装载数据、建立索引、执行查询等操作并行化。同内存数据库相比，大规模并行数据库拥有更高的吞吐量，但数据处理延迟也会随之增加。随着数据量的不断增加，批处理系统将吞吐量在大规模并行数据库的基础上再次提升了

14、一个数量级，处理速度虽有提升，但在响应时间上仍只适合于实时性要求不高的处理任务。流处理系统面向不断产生的动态数据并进行实时分析。相较于前三类处理模式，流处理系统在拥有高吞吐量的同时，具备了相对最低的处理延时。吞吐量PBGBrtls s min 响应时间图3流处理系统和批处理系统对比3 基于流式计算的网络舆情分析模型构建31必要性分析网络舆情作为舆情的一种形式，具有传统媒介中舆情的特点，也有其自身的特性。互联网的发展，改变了社会的连接方式，降低了信息的交流成本，提升了传播速率，增加了数据总量。网络信息无限性和网民关注能力有限性之问的矛盾，加剧了网络舆论的选择性传播。社会化媒体为信息的传播、分享提

15、供了平台，促进了信息开放，促使沟通更加便捷，凸显传播的个性化，使各类观点更容易找到扎根的土壤，从而相互支持、强化、放大，加剧舆论情绪。41。网络舆情越来越难以掌控，大量相关性、偶发性因素使舆情复杂多变，传统的舆情监测研判手段和方法难以奏效，新的技术手段和方法要求更高。网络舆情分析，需要起到及时引导舆论的作用。为此，网络舆情分析需要及时准确地发现舆情。准确取决于数据是否全面、算法模型是否合理，而及时则更多的取决于信息技术平台的处理速度。传统舆情分析技术更多关注于处理的准确性，对处理时间的要求并不高一“。传统舆情分析的主要步骤是，先建立一套指标体系，再基于网络爬虫等手段获取数据，进行数据预处理，最

16、后进行数据分析“。这一方法耗时较长，并不能在引导舆论时及时地发挥作用。因此，研究基于流式计算的网络舆情分析构建十分必要，它能够从传感器、网络日志、网络点击流等设备实时采集下来的数据，连续注入到流计算平台，流计算平台部署相应业务规则，从而实现实时的业务分析与判断。32基于流式计算的网络舆情分析特点(1)时效性网络舆情实时产生，如若能够实时计算，就能在结果反馈中保证网络舆情分析的时效性。流式计算中，数据在到来后直接于内存中进行计算，其后将部分数据存储到硬盘中进行长久保存。流处理系统具有足够的低延迟计算能力，可以快速地进行数据计算，同时，对时效性强、潜在价值大的数据优先计算，保证在数据价值有效的时间

17、内，体现数据的有用性，挖掘网络舆情的时效价值。(2)突发性网络舆情分析中，舆情数据的产生由数据源确定。由于不同数据源的状态不统一且在不同时空范围内发生动态变化，数据流的产生速率具有突发性。网络舆情的实时分析中，前一时刻数据速率和后一时刻数据速率可能会有巨大的差异，需要系统具有很好的可伸缩性。一方面，在突发高数据流速的情况下，保证不丢弃数据或识别并选择性地丢弃部分不重要的数据；另一方面，在低数据速率的情况下，保证不会太久或过多地占用系统资源。流处理系统能够动态适应突发性数据流，具有很强的系统计算能力和数据流匹配能力。(3)无限性舆情数据是实时产牛、动态增加的，即潜在的数据量是无限的。在数据计算过

18、程中，既没有足够大的空间来存储这些无限增长的数据，也没有合适的软件来有效地管理所有数据，因此，不会保存全部数据。流处理系统具有很好的稳定性，能够保证系统长期而稳定地分析并选取有价值的数据，不需要保存全部数据。一725万方数据情报学报第35卷第7期2016年7月33模型框架图4 基于流式计算的网络舆情分析模型基于流式计算的网络舆情分析主要由数据收集、舆情分析与舆情治理三部分构成，各功能模块如图4所示。网络舆情的数据收集是网络舆情分析的第一步，为分析提供所需的数据。收集全面、真实、准确的舆情信息，是消除信息不对称和确保分析结果准确、客观的关键。数据收集过程应尽量多地扩大信息源，包括门户网站，贴吧、

19、论坛、微博、微信等社交媒体，QQ、MSN等即时通信软件，新闻网站的报道及评论等。网络舆情分析的数据收集若要进一步实现全面、真实和准确，需要多元化的收集渠道，不局限于网民发布的信息，应加强对物联网中信息的收集，必要时可与历史数据对照，做到全面分析、多角度验证，保障数据的全面性和可信性。除数据的全面、真实、准确之外，由于对时效性的追求，网络舆情分析需要进行实时数据收集。数据收集中，数据源实时不问断地形成流式数据，如网站的访问PVUV、用户访问内容、搜索内容等。网络舆情分析要变被动响应为主动分析，最好的方式是对收集的数据进行实时计算，而不是先存储再利用。由于数据源实时不间断导致数据量大且无法预算，收

20、集的数据先进人流计算平台进行处理的方式，优于利用分布式批处理技术进行数据分析。网络舆情数据可以分为三种类型：实时增量数据、全量历史数据和统计结果数据。实时增量数据源自于各种操作，如网民评论数据、视频数据、网络日志数一726一据等，具有数据量大、价值密度低、数据价值随时间流逝而降低的特性；历史全量数据则为数据字典等，具有数据量小，修改不多的特征；统计结果数据为上述数据的复杂计算结果，如舆情热点小时统计结果，舆情增长异常分析结果等，该类数据由于大多产生于聚合计算，所以数据量一般不大，且周期产生。上述三类数据中，实时增量数据很少需要精细查询，但统计结果数据需要极快的响应速度，同时需要能够被并发查询。

21、流处理平台的实时计算，较之以往的数据分析，能够更好地处理统计结果数据，针对海量数据进行，一般响应时间为秒级，能够更好地提供舆情预警。过往的数据离线分析是计算前一天来自每个省份不同性别、不同年龄、不同职业、不同名族的访问量分布，分析时距数据的产生已有一定时间。实时统计可以动态实时地刷新用户访问数据，展示网络流量的实时变化情况，分析每天各小时的流量和用户分布情况。由于无法存储产生的所有数据，流处理系统不冉进行流式数据的存储，当数据到来后在内存中直接进行实时计算。流处理无法实时计算的，又需要存储以备利用的数据，存人混合型数据库(如HDFS)。混合型数据库中，系统可分为两层，下层使用分布式数据库管理系

22、统进行任务的分解和调度，上层用关系型数据库管理系统进行数据的查询和处理。利用关系型数据库进行数据存储和查询处理，能够更好地解决查询分析的性能问题。分布式数据库的任务调度机制能够提高系统的扩展性和容错性，以解决大规模网络舆情数据分析的横向扩展问万方数据基于流式计算的网络舆情分析模型研究题，有利于信息共享。同时，分布式数据库进行数据处理具有一个显著优势，它是将计算推向数据，而不是将数据推向计算。由于数据块存放在磁盘上，将数据块传输到内存的时间可能会大于数据块到达内存后所需的处理时间，不能充分利用内存的处理速度。因此，利用分布式数据库存储大规模数据，能够在数据处理阶段，将计算推向数据，提升系统效率J

23、。网络舆情治理的功能在于提高网络信息的真实性，维护网络秩序的正常化和网络行为的有序性，主要围绕与政府管理有关的网络热点事件展开。这些事件通常具有传播快、规模大、影响远的特征，容易出现网络群体性事件。本模型中，通过流式计算对网络舆情进行实时分析，政府部门可以及时监测部分舆情事件走势，预测舆情走向，有效化解潜在矛盾，占据舆情高地，引导舆论走向，减少其给人民和社会带来的负面影响。以往的网络舆情治理模式中，各地方多部门分别存储信息，各自挖掘舆情，既不经济也不环保。舆情分析平台，具有不受时空限制的特点，为政府网络舆情协同治理提供了可能，通过平台即服务的形式有效地将各地各级政府的网络舆情治理服务整合到一起

24、，实现实时动态的互联共享。平台可以根据功能设计有效地规划不同层级、不同地域、不同职能部门在应对舆情事件时所承担的职责，从而明确分工，统一调度人、财、物，有效地应对舆情事件，实现网络舆情的高效协同治理。34关键技术341 语义保障为应对网络舆情的突发性，保障分析的时效性，流处理系统需要对输入数据的处理过程从语义方面进行一定保障。按照每条记录被完全处理(一条记录及其产生的新记录被途经的全部计算单元所处理)的次数，可将语义分为四类：无保障、至多处理一次、至少处理一次以及精确处理一次。其中，无保障即无约束，对记录的语义处理过程不做次数要求，在此无需赘述。现对至多处理一次、至少处理一次以及精确处理一次介

25、绍如下：(1)至多处理一次，是指每条记录被完全处理一次，或不被完全处理(中途丢失)，但系统不会出现重复处理，以保障运行效率。这一语义适合处理数据时，完整性要求不高的应用。例如舆情分析中对热点或趋势的分析，少量记录未被处理不会对分析结果产生太大影响。(2)至少处理一次，是指系每条记录一定都会被完全处理，但不保障避免重复处理。这一语义适合于重复相同操作不会对系统产生影响的情况下使用，例如处理数据时以相同的Key和Value多次写入。该语义下，若无可重复获取数据的可靠数据源，系统通常需要对流入的数据进行持久化存储。可重复获取数据的可靠数据源，是指系统若检测到处理失败或超时，能够进行数据重发。相较于至

26、多处理一次语义，至少处理一次其实是通过牺牲效率，以克服流式运算中“一经处理就很难再次获取”的问题91。(3)精确处理一次较上述两种语义更为严格，是指每个记录都被完全处理且仅处理一次。该语义下，系统需要区分处理与未处理的数据，并进行标记。以流处理系统Storm的Trident为例，它所采取的方法是在保证至少处理一次的前提下，对数据流划分批次，并分别赋予唯一的ID。处理完成后，Trident将对应批次产生的状态更新和ID以一次原子操作写入存储介质中。若遇到超时或故障，为避免数据未被处理，可以进行数据重发。此时，Trident将生成与之前完全相同的批次数据和ID。为避免重复提交，可以根据检测ID决定

27、是否接受重发的数据。典型应用是Word Count(统计数据流中每个单词的出现次数)，在应用场景中每条记录都需要被精确处理，重复或遗漏都将导致最终的结果错误。342 负载控制面对网络舆情数据的无限性和分析的时效性要求，负载控制主要是通过一些调度分配策略保障系统高效稳定运行。负载控制策略可以分为静态策略和动态策略。(1)静态策略，是一种提前确定的策略，在系统运行过程中无法改变。以早期数据库的静态查询策略为例，策略可分为两步：第一步，根据历史数据和现有模型，生成一套静态查询计划；第二步，为第一步查询计划的执行阶段，这一阶段将查询计划按照某个特定的并发度数实例化为多个算子，每个算子实例执行全部数据的

28、一部分。在运行过程中实例数目和算子所对应的数据子集无法改变。流计算系统中采用的静态策略与前述针对数据库的静态策略类似，如S4平台在数据划分和路由选择方面，早期版本中通过XML文件进行固定配置，在新版本中通过指定并行度后将数据按照Key值自动划分，无论哪一版本都是策略确定后就无法在运行过程中一727万方数据情报学报第35卷第7期2016年7月改变。(2)动态策略，与静态策略相对，是指运行过程中可以改变的负载控制策略。不同时间，数据本身的偏向性和运行环境的变化都会对系统负载产生影响，静态负载控制策略难以保证总是高效，尤其在网络舆情分析中，数据的无限性质会导致处理任务被长期连续执行，因此需要一些动态

29、策略。集中式系统中，可以通过运行时调度和动态查询优化的方式来动态调整负载。分布式系统方面，Shah等对流处理过程中的动态策略进行了介绍，并将能够给予同类数据划分及路由位置保障的策略称为上下文敏感策略，反之则是随机策略1I。由于涉及聚合等操作，分布式流处理系统都应支持上下文敏感策略。白适应方面，动态策略可分为自适应和非自适应的。前者允许主节点根据工作节点的CPU、内存等资源使用情况自动对计算任务进行转移、拆分以及合并，如MillWheel平台就采用了这种策略。后者则允许系统在外界干预(如人为)下完成在线的负载均衡等工作，如Storm平台。4典型流处理系统(Storm)介绍自2010年雅虎公司公开

30、其通用分布式流处理平台S4起，许多用途相近又各具特色的平台相继被提出，包括无中心节点的对称式系统架构(如s4、Puma等系统)以及有中心节点的主从式架构(如Storm系统)。本文将选取由BackType公司研发，后由Twitter开源的Storm流处理平台进行介绍。Twitter每天约34亿条的推文均用Storm进行分析处理。Storm2”1是一个开源的分布式实时计算系统，实现了一种流式处理模型，支持水平扩展，具有高容错性，能够高效地处理大量数据流。其主要应用场景为实时分析、在线机器学习、持续计算、ETL、分布式RPC等。Storm主要有两类节点：主节点(Master)和工作节点(Worker

31、)。主节点上通常运行着Nimbus后台程序。它是Storm框架的管理节点，负责分配工作任务给每一个工作节点并监控其运行状态。工作节点上会运行Supervisor程序作为具体的工作节点，负责监听Nimbus分配的任务，启动或停止执行任务的工作进程1 4。集群系统中，一个节点一般运行一个或多个工作进程，每一个工作进程执行一个任务的子集。一个任务往往由分布在不同工作节点上的一72R一多个工作进程共同执行。平台采用弱中心化的结构，Nimbus和Supervisor都是无状态的，且两个模块之问没有直接的数据交互，两者的所有状态都保存在Zookeeper中，主节点只负责通过Zookeeper向工作节点分配

32、任务，不参与实际计算过程。同去中心化结构中每个节点都要掌握全局信息相比，这种模式大大降低了通信和同步代价，有利于在运行时进行任务调度。Nimbus通过写入Zookeeper来发布指令，而Supervisor则通过读取Zookeeper节点信息来执行这些指令。同时，Supervisor会定时发送信息到Zookeeper，使得Nimbus可以监控整个Storm集群的状态。当有节点挂掉时，Nimbus能够快速使之重启。这种工作方式使得整个Storm集群十分健壮，任何一台工作机器突然失效都不会影响到整个系统的正常运行，只需重启失效节点后再从Zookeeper上面重新获取状态信息即可。Storm框架中，

33、主要有两种类计算过程，源头处理过程Spout和中问处理，过程Bolt，前者负责读数据，后者负责计算任务。作为Storm中的消息源，Spout组件将不断地从数据源(如Log File、NoSQL、Message Queue等)读取数据，并进行异常检查、数据去重等操作，最后把完整的、正常的数据，经直接分组、随机分组、广播分组等分组方式分组后，发送到Bolt中。Bolt接收数据后，将执行过滤、聚合、数据库查询等操作，同时可以根据情况选择储存数据或是把数据传给下一级Bolt。这一处理过程中，后台的守护线程将负责跟踪任务到达Bolt后是否执行成功。通过上述处理流程，Storm可以保障每一个数据流在任务拓

34、扑中能够被完全执行。5 总 结第一，流处理系统的高吞吐量和低处理延时，提升了网络舆情分析的数据处理能力。网络舆情工作需要对大量冗繁的网络信息进行监控、处理，并非几台服务器或几名工作人员就能完成的。通过模型的分布性与可扩展性，众多服务器及资源实现联合，形成超强的运作能力，保障网络舆情信息的及时获取、加工及处理。第二，基于流式运算的网络舆情分析，具有平台优势，能够解决地方舆情分析中面临的技术门槛，提高经济效益，实现资源节约型、环境友好型的网络舆情分析。各地开展网络舆情工作时，仍存在无法通万方数据基于流式计算的网络舆情分析模型研究过有效的技术手段及时获取、充分利用与安全存储信息的情况；各部门或单位独

35、立运作也增加了更高层机构区分、筛选和剔除信息的工作任务。平台服务中，各地无需反复建设，通过多地合作开发或者国家统一布局，在网络终端即可获取应用服务，提升资源利用率的同时降低了技术门槛。第三，模型的高共享性提升了网络舆情应对效率，保证多方参与。舆情分析系统的互联互通，带来舆情信息和分析技术的合作共享，简化了多方协作、参与的方式，极大地提高了信息资源的利用率及响应速度，利于多部门或多层级机构出台和制定更具整合性、协调性、一体化和配套性的舆情治理方案，及时引导舆论，保障互联网中信息的真实性，为社会共治提供基础。23456参 考 文 献李纲，陈琛浩突发公共事件网络舆情研究综述J图书情报知识，2014，

36、(2)：111一i19孙大为，张广艳，郑纬民大数据流式计算：关键技术及系统实例J软件学报，2014，(4)：839862崔星灿，禹硗辉，刘洋，等分布式流处理技术综述J计算机研究与发展，2015，(2)：318332潘芳，仲伟俊，胡彬，等突发事件网络舆情的管控机制及效率测评J。情报杂志，2012。(5)：40-45李金海，何有世，熊强基于大数据技术的网络舆情文本挖掘研究J情报杂志，2014，(10)：16+13蔡立辉，杨欣翥大数据在社会舆情监测与决策制定中的应用研究J行政论坛，2015，(2)：1一lO，7Das S，Sismanis Y，Beyer K S，et a1Ricardo：Integ

37、ratingR and HadoopCElmagarmid AK，Agrawal D，edsProeOf the SIGbtODIndiana：ACM Press，201 O：87-9988 中共中央宣传部舆情信息局网络舆情信息工作理论与实务M，北京：学习出版享十，20099 Babcock B，Babu S，Datar M，et a1Models and issuesin data stream systemsCProc of the 21 8ACMSIGACTSIGMODS1GART Syrup on Principles ofDatabase SystemsNew York：ACM，20

38、02：1-16，10 Wei Hong，Stonebraker MOptimization of parallel queryexecution plans in XPRSCProc of the 1“IntConf OilParallel and Distributed Information SystemsBerlin：Springer199l：218-2251 1 Shah M A，Hellerstein J M，Franklin C S，et a1Flus：Anadaptive partitioning operator for continuous query systemsCPro

39、c of the 19”IntConf on Data EngineeringPiseataway，NJ：IEEE，2003：2536，1 2The Apache FoundationStorm official wehsiteOL2014-04-08http：storm-projectnet13 Github lncStorm WikiOL201312-07，https：githubeomnathanmarzstormwiki14Petko VIntegrating parallel application development withperformance analysis in periscopeJIPDPS Workshops，2010：1，8(责任编辑 魏瑞斌)一729万方数据