2022年流数据管理系统降载技术综述.docx
精品学习资源流数据治理系统降载技术讨论综述潘静 ， 高学东北京科技高校经济治理学院，中国北京100083摘要 关键字Abstract1 引言2 流数据治理系统降载技术概述2.1 流数据治理系统降载处理降载处理主要由以下三个方面构成；（ 1）降载时间：数据流的速度是常常不断变化的；数据的处理速度必需要超过数据输入的速度 87 ，一旦超载就应当能尽快检测到，丢弃部分数据，降低系统负载，保证系统正常运行；文章 88 提出了一种检测数据流速率跳变的算法；（ 2）降载的位置：假如在查询中没有共享操作，优先的方案是在每个查询的查询路径中第一个操作前面插入降载操作，且降载操作的抽样比与该查询的抽样比相同；假如查询中有共享操作，这时要插入降载操作就较为复杂；此时要对两查询都有影响应当是在查询路径的共享部分插入降载操作；通过预先设置的规章确定降载的位置和数量；（ 3）降载数据量：依据每个流数据的输入速度、操作的挑选率和降载操作的抽样比等参数可运算出降载后输出的速度；打算降载的量实际上是在确保系统不超载情形下，挑选合适的降载抽样比，使输出速度最大；由于降载是删除未处理的元组，故降载会对查询欢迎下载精品学习资源结果东的精确性产生影响，也就表达所谓的近似查询；2.2 降载方式降载方式主要有：随机降载、语义降载；随机降载通过在网络的某点随机地挑选丢弃元组的比例进行丢弃，当用这个方法来使整个系统的效用缺失达到最小时，却不能掌握由于删除元组而产生的对应用语义的影响， 其中文；语义降载是一种运用可控的方法来丢弃元组，它是使用过滤技术丢弃相对不重要的元组，而不是随机地丢弃元组；最常用的有两种策略：葡萄酒策略、牛奶策略；葡萄酒策略认为旧数据比新数据更重要，丢弃数据时第一丢弃新数据；与此相反，牛奶策略就认为新数据策略比较重要，必要时第一丢弃旧的数据；3 原型系统及其降载技术分析3.1 STREAM系统降载STREAMStanfordStreamDataManage是斯坦福高校设计的DSMS原型实现，该系统为是以关系为基础的流数据治理系统，完成内存治理和近似查询；可以用于处理快速的、易变的、大量涌入的流数据信息，其连续查询才能特别好；STREAM的主要处理技术包括 :连续的自我监控和再优化；适应于各种需求的近似查询；合理的资源安排和使用；可以支持多种查询语言；STREAM通过降载来达到适当的性能降低；把降载作为一个优化问题来处理，目标函数是查询结果不准性达到最小，其降载集中在集合查询上，并提出了相应的降载算法；STREAM降载技术是在查询方案中引入随机抽样操作，每个降载器对抽样比p 进行参数化；概率p是通过本操作流到下一个操作的元组比；为了补偿由于元组删除带来的损欢迎下载精品学习资源失，系统运算出集合值的适当比例从而产生无偏近似结果；STREAM的降载处理主要是由系统输入，统计治理器和降载治理器三部分构成；其中，系统输入：流数据： S 1， S；流数据上的查询集合q1 ， q；查询操作集合 O1 ， Ok统计治理器 :对参数值进行估值，对处理元组的个数、操作的输出和总的操作处理时间进行统计报告；降载治理器：在统计的基础上，系统对操作的挑选率、操作的处理开销和流数据的速率进行估值；当流的到达速率和数据特点发生变化时，相应的负载要脱落，确定降载的位置；STREAM系统是通过统计治理器周期性地更新降载输入参数的估量值，降载方案也是周期性地转变；如图图 STREAM系统降载示意图3.2 TelegraphCQ系统降载欢迎下载精品学习资源3.3 AROURA系统降载AROURA系统是由布朗高校、布兰代斯高校和麻省理工高校联合开发的流数据处理系统，核心是一个庞大的触发器网络，目标是特地处理流式监控，是一个面对工作流的系统； Aurora系统的每个触发器是一个数据流向图，每个节点就是七种Built-in操作中的一个；对每一个使用Aurora的应用，应用治理器创建一个或多个触发器加入到Aurora的触发器网络中；Aurora 系统实现了触发器网络的编译优化和运行优化；它答应用户通过支配boxes 操作符 和 arrows 数据的流向 来建立查询方案；数据流是一个潜在的无穷元组队列，这些元组由一个数据源产生；可能的数据源如硬件传感器，它连续地将数据推向A盯 ora ；Aurora可以处理大量查询，这些查询由7 个简洁的操作符组成的重复集合构成；一个查询可以处理任意数量的数据流，并常常以一个输出流终止；一个操作符可以被连接到多个下游的操作符；全部这样的分裂点能够向其下游的多个操作符传送同样的元组，并且能够在 不同的查询之间共享运算；由于一个操作符能够接受多流输人，所以多流也能被合并；一 个 Aurora 查询网络就是这样的查询构成的集合；实施卸载是由在查询网络中插人卸载操作符来实现的；3.4 Borealis系统降载5 流数据降载策略比较6 终止语欢迎下载精品学习资源参考文献9187 Ayad A.,NaughtonJ.F.Static optimizationof conjunctive queries with slidingwindows over infinite streams.SIGMOD 2004.88 Zhou A.,Qian W.,Qin S.Adaptively detecting aggregation bursts in data streams. DASFAA,2005.欢迎下载
