大数据云计算文献综述.docx

《大数据云计算文献综述.docx》由会员分享，可在线阅读，更多相关《大数据云计算文献综述.docx（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据云计算文献综述大数据云计算文献综述一个大数据的调查摘要：在这篇论文中，我们将回顾大数据的背景以及当前开展状况。我们首先介绍 大数据的一般应用背景以及回顾涉及到的技术，例如：云计算、物联网、数据中心, 以及Hadoopo接下来我们着重大数据价值链的四个阶段，也就是：数据生成， 数据采集，数据存储和数据分析。对于每个阶段，我们介绍应用背景，讨论技术 难题以及回顾最新技术。最后，我们介绍几个大数据的代表性应用，包括企业管 理，物联网，在线社交网络，媒体应用，集成智慧，以及智能电网。这些讨论旨 在提供一个全面的概述以及对读者感兴趣的领域的蓝图。这个调查包括了对开放 问题和未来方向的讨论。关键字

2、大数据 云计算 物联网数据中心Hadoop智能电网大数据分析1、背景1.1 大数据时代的曙光在过去的二十年，数据在各种各样的领域内爆炸式增长。按照2011年来自国际 数据公司（IDC）的报告，世界上总共的创立及复制的数据量到达l.8zb,在五年内 增长了大约九倍1。在未来这个数字至少每两年增加一倍。在全球数据的爆炸 增长下，大数据这个词主要来描述巨大的数据集。与传统的数据集相比，大数据 通常包括非结构化数据，这需要更实时的分析。另外，大数据也能在发现新价值上带来新优势，帮助我们帮助我们获得一个深入隐 藏价值的认识，也导致新挑战，例如，如何有效地组织和管理这样的数据集。大数据云计算文献综述INT

3、ERNHWindow blindsIntelligent clothWindow sensorsUghtlng .HeatingRefrigeratorMicrowaveIntelligent carWashingmachineSmart cjrMobile computingMobilephone图4物联网数据采集设备的说明23数据中心在大数据模式，数据中心不仅是一个数据集中存储平台，同时也承当更多的责任， 如获取数据、管理数据、组织数据，一利用数据值和函数。数据中心主要关注“数据” 而非“中心”。它有大量数据、组织和人的年龄数据根据其核心目的和开展新台币的 路径，这比拥有一个好的网站和资源

4、更有价值。大数据的出现带来了良好的开展机遇 和巨大挑战的数据中心。大数据是一个新兴数据中心的爆炸式增长，促进了基础设 施和相关软件的爆炸性增长。物理数据中心网络是支持大数据的核心，但目前，是 最迫切需要的关键基础设施29 。大数据需要数据中心提供强大的后台支持。大数据技术具有非绅士的要求对存储 容量和处理能力，以及网络传输容量。企业必须把数据中心的开展纳入考虑，以提 高在有限的价格/性能比下快速、有效地处理大数据的能力。这个数据中心应为 基础设施提供大量的节点，建立一个高速的内部网络，有效的散热，有效的备份 数据。只有当一个高能源效率耳鼻喉、稳定、平安、可扩展，和冗余的数据中心 建设，大数据应

5、用的正常运行，可以保证。大数据应用的增长加速了数据中心的革命和创新。许多大数据应用具有独特的体 系结构和直接促进开展数据中心的存储、网络和计算技术的应用。随着结构化和 非结构化数据量的持续增长，以及各种来源的分析数据，数据处理和计算能力的数 据中心，将大大提高。此外，随着数据中心规模的不断扩大，如何对数据中心进行 研究也成为一个重要的课题降低数据中心开展的运营本钱。-大数据赋予更多的功能到数据中心。在大数据模式，数据中心不仅要关注硬件 设施也加强软能力，即能力大数据的获取、处理、组织、分析和应用。数据中心大数据云计算文献综述可以帮助业务人员分析现有的数据，发现企业经营的问题，和开展从大数据的运

6、 算解决方案。2.4 Hadoop和大数据之间的关系目前，Hadoop是广泛应用于大数据应用的行业，例如，垃圾邮件过滤、网络搜 索、点击流分析、社会推荐。此外，相当学术研究了基于Hadoop的。一些代表 性的病例是在下面。在2012六月宣布，雅虎运行Hadoop 42000服务器在四个数 据中心，以支持其产品和服务，如例如，搜索和垃圾邮件过滤，等。目前，最大 的Hadoop集群有4000个节点，而节点的数量将增加至10000与Hadoop 2版本。 在同一个月，英足总cebook宣布他们的Hadoop集群可以处理100 PB的数据， 增长了 0.5,铅每天2012十一月。一些知名的机构使用Ha

7、doop进行分布式计算 的李以30。此外，许多公司提供的Hadoop商业执行和/或支持，包括以oudera, IBM, MAPR, EMC, Oracle。现代工业机械系统中，传感器被广泛应用于环境监测、故障预测等收集信息， bahga和别人在31 提出了一个框架网络的数据组织和云计算基础设施，称为云 景。云观采用混合结构，局部节点，基于Hadoop的远程集群分析机器生成的数 据。本地节点用于实时失败的预测；基于Hadoop集群用于复杂的离线分析，例 如，案例驱动的数据分析。基因组数据的指数增长和测序本钱的急剧下降，将生物科学和生物医药的数据转 换为数据驱动的科学。gunarathne等人。在

8、32 利用云计算基础设施三、亚马逊 AWS、微软azune,和数据处理框架基于MapReduce, Hadoop和微软的DryadLINQ 跑两平行生物医药应用：（我）基因组片段组装；（ii）在化学结构分析的降维。 在随后的应用中，使用166-d数据包括26000000个数据点。作者比拟了所有的 性能效率，本钱和可用性方面的框架。根据这项研究，作者得出结论，松散耦合 将越来越多地应用于电子云的研究，和磷并行编程技术（MapReduce）的框架， 可以为用户提供更方便的服务界面和减少不必要的本钱。3大数据的生成与获取我们已经介绍了几种关键技术与大数据、云计算、物联网，即数据中心，和 Hadoop

9、o下一步，我们将重点放在价值链的大数据，这一般可以分为四个阶段： 数据生成、数据采集、数据存储和数据分析。如果我们把数据作为原材料，数据 生成和数据采集是一个开发在处理过程中，数据存储是一个存储过程，数据分析 是利用原材料来创造新的价值的生产过程。3.1 数据生成数据生成是大数据的第一步。以互联网数据为例，在搜索条目、互联网论坛帖子、 聊天记录、微博留言等方面的数据量巨大产生。这些数据与人们的日常生活密切相 关，具有高价值、低密度的特征。这样的数据可能是毫无价值的个人，但通过开发 并积累了大量数据，有用的信息，如习惯和爱好的用户可以被识别，它甚至大数据云计算文献综述可以预测用户的行为和情绪。此

10、外，通过纵向和/或分布式数据源产生的数据集更大规模、高度多样化的，复 杂的。这些数据源包括传感器、视频、点击流，和/或将其他可用的数据源。目 前，大数据的主要来源是经营和交易信息在企业、物流和传感器在物联网信息， 人机交互信息在互联网世界中离子和位置信息，并在科学研究中产生的数据，远 超等通过它的架构和基础设施现有EN容量信息企业，而实时的要求也大大强调 了现有的计算能力。3.1.1 企业数据2013, IBM发布分析：大数据在现实世界的应用程序，这说明企业内部数据是大 数据的主要来源。企业内部数据主要包括网上交易数据和在线数据分析，其中大 局部是历史上的静态数据，通过结构化的方式关系型数据库

11、管理。止匕外，生产数据, 库存达Ta、销售数据、财务数据，等等，也构成了企业内部的数据，其目的是 获取企业信息化和数据驱动的活动，以记录所有活动在企业内部数据的形式。 在过去的几十年里，它和数字数据做出贡献的很多改善的盈利业务部门。据估计， 世界上所有公司的业务数据量Y每L2年翻一番10,其中，营业额通过互联网， 企业对企业，企业对消费者每天将到达450美元亿33。连续提高业务数据量要 求更有效的实时分析，以便充分收获它的潜力。例如，亚马逊处理数以百万计的终 端操作和超过500000查询从第三方卖家每天12。沃尔玛过程之一万客户交易 每小时交易数据导入到一个容量超过2.5PB数据库3 o Ak

12、amai分析75元每天 的事件，其目标广告13。3.1.2 物联网数据作为讨论，物联网是大数据的重要来源。在智能城市构建了基于物联网、大数据可 能来自工业、农业、交通、运输、医疗、公共部门和家庭等根据物联网的数据采集 和传输过程，将其网络结构分为传感层、网络层和应用层三层。这个传感层负责数 据采集，主要由传感器网络。网络层负责信息的传输和处理，在近距离传输可能R 伊利在传感器网络和远程传输必须依赖网络。最后，应用层支持物联网的具体应 用。根据物联网的特点，物联网产生的数据有以下几个特点：-大规模数据：在物联网、数据采集设备的群众是分布式部署的，可获得简单的数 值数据，如位置；或复杂的多媒体数据

13、，如监控视频EOo为了满足分析和处理的 需求，不仅是目前所获得的数据，而且在一定时间内的历史数据存储。因此，产生 的数据通过物联网的特点是大尺度。-异质性：由于各种数据采集装置，所获得的数据也不同，这样的数据特征的异 质性。在物联网中，每一个数据采集设备都放置在一个特定的地理位置，每一块 数据都有时间戳。时间和空间相关性是一个即时通讯数据来自物联网的重要性 质。在数据分析和处理过程中，时间和空间也是统计分析的重要维度。-有效数据只占一小局部的大数据：发生在数据的采集和物联网传输大量的噪 音。通过收购获得的数据集设备，只有少量的异常数据是有价值的。例如，交通 视频的采集过程中，一些视频帧捕获违反

14、交通运输管理法规和交通事故的价值比那 些只捕捉到正常的流量。3.1.3 生物医疗数据作为一系列高通量生物测量技术在开始的第二十一个世纪的创新开展，在生物医 药领域的前沿研究也进入大时代数据。通过构建智能、高效、和生物医药应用准大数据云计算文献综述确的分析模型和理论体系，基本治理机制复杂的生物学现象背后的马被揭露。不 仅生物医药未来的开展是可以确定的，也是主要的角色可以在一系列重要的战略产 业开展方面相关的假设国民经济，人民生活，国家平安，具有重要的应用，如医疗 保健，新药研发，粮食生产（例如，转基因作物）。人类基因组计划的完成（人类基因组计划）和测序技术的不断开展也导致在大数 据领域的广泛应用

15、。由基因产生的数据的质量测序经过专门分析根据不同的应用 需求，结合临床基因诊断和早期诊断提供有价值的信息和形象化治疗疾病。一个 测序人类基因可能产生100个600GB数据。在深圳的中国国家种质库，有1.3百 万人样本样本包括115万狮子150000种动物，植物和微生物样本。到2013年底, 1000万个可追溯的生物样品将被存储，并由2015年底，这一数字将到达3000 万。它是预先确定性，随着生物医药技术的开展，基因测序将变得更加快捷和方 便，从而使生物医药大数据不断增长毫无疑问。此外，临床医疗保健和医疗研发所产生的数据也迅速上升。例如，匹兹堡医学中 心大学（UPMC）存储2TB的数据。Exp

16、lorys,美国人我公司提供的平台配置的临 床数据，操作和维护数据和财务数据。目前，大约有13百万人的信息已经被配 置，44 arti-cLES数据在约60TB规模，这将在2013到达70TB。实践融合，另一 个美国的公司，管理约200000名患者的电子病历。除了这些中小企业，其他知名IT公司，如谷歌，微软，IBM已经投入广泛的方 法和计算分析研究兴高采烈的高通量生物大数据，对股票市场的巨大而大数据云计算文献综述作为“新一代互联网。” IBM预测，在2013战略发布会上，以医学影像和电子 病历的急剧增加，医疗专业人员可以利用大数据提取合同有用的临床信息从大量的 数据中获取病史和预测治疗效果，从

17、而改善病人护理，降低本钱。预计，2015,平 均每一个医院的年龄数据量将增加到665tb 167tbo数据生成其他领域随着科学应用的不断增加，数据集的规模也逐渐扩大，一些学科的开展，很大程 度上依赖于对数据的分析。在这里，我们研究分析在这样的应用。虽然在不同的 科学领域，应用程序有类似的和不断增加的数据分析的需求。第一个例子涉及到 计算生物学。玄叶NK细胞是一种核甘酸序列数据库由美国国家生物技术创新中 心保持。数据库中的数据可能每10个月翻一番。2009八月，GenBank已超过250 千兆从150000个不同的生物34 的基础上。二个例子与天文学有关。Sloan数字 巡天（SDSS）,最大的

18、天文巡天工程，已经从1 25tb数据记录998至2008。作 为望远镜的分辨率大大提高，2004,数据批量生成每晚将超过19。最后一个应 用程序涉及到高能量物理。在开始2008、大型强子对撞机（LHC）的ATLAS实验 的欧洲核子研究组织产生的原始数据在2 / s和10TB数据处理每年商店。此外，无处不在的传感和计算之间的自然、商业、互联网、政府、社会环境都产 生了前所未有的异构数据的复杂性。这些数据集有自己独特的数据特点，在规模、 时间维度和数据类。例如，移动数据的位置，记录运动，近似度，通信、M多媒 体、应用程序的使用，和音频环境108。根据应用环境和要求，这样的数据集 分成不同的类别，从

19、而选择合适的和可行的大数据的电子解决方案。3.2 大数据采集作为大数据系统的第二阶段，大数据采集包括数据采集、数据传输和数据预处理。大 数据的采集过程中，一旦我们提供的原始数据，我们的厅利用一种高效的传输机制, 将其发送到一个适当的存储管理系统，以支持不同的分析应用程序。将收集到的数 据可能包含很多冗余剂或无用的数据，不必要地增加存储空间，并影响后续的数据 分析。例如，高度冗余的环境监测传感器提供的数据集是很常见的监测。数据压缩技 术可以应用于减少冗余度。因此，数据预处理操作是必不可少的，以确保有效的数 据存储和开发。3.2.1 数据采集数据采集是利用特殊的数据采集技术来从一个特定的数据生成的

20、环境中获取原 始数据。四种常用的数据采集方法如下。-日志文件：作为一种广泛使用的数据收集方法，日志文件是由数据源系统自动生 成记录文件，以便记录活动，随后交付文件格式耳鼻喉分析。日志文件通常用于几 乎所有的数字设备。例如，Web服务器的日志文件记录的点击数、点击率，网站 用户的访问，和其它财产记录35O在网站采集活动的用户，Web服务器主要 包括以下三个日志文件格式：公用日志文件格式（NCSA）,扩展日志格式（W3C）,和IIS日志格式（MIC工作）。在ASCII文本格式的所有三种类型的日 志文件。除了文本文件以外，其他的数据库有时也可用于存储日志信息以提高大大数据云计算文献综述规模的查询效率

21、商店36, 37o也有基于数据提供的一些其他日志文件，包括在 网络监控和交通运行状态的金融应用和测定指标股Ffic管理。感测：传感器在日常生活中是很常见的，用于测量物理量，将物理量转换为可读的 数字信号，以供后续处理（和存储）。感觉数据可能被分类为声波，声音，振动， 汽车，化学，电流，天气，压力，温度等信息被传送到一个数据采集点通过有线 或无线网络。对于应用程序，可以很容易地部署和管理，例如，视频监控系统 38,有线传感器网络是一个方便的解决方案，以获取相关信息。有时一个特定的 现象的精确位置是未知的，有时监测环境没有精力或通信基础设施。然后无线通信 必须使用在有限的能量和通信能力的情况下，使

22、传感器节点之间的数据传输。近年来, 无线传感器网络已收到相当大的国际间，并已应用于许多应用，这样的；如此的； 这么大的；非常的；这样的事物人;作为环境研究39, 40,水质监测41, 土木工程42,作,44习惯和野生 动物监测。无线传感器网络通常由大量的地理分布分布式传感器节点，每一个都 是一个由电池供电的微型装置。这种传感器被部署在指定的位置所需的应用程序收 集遥感数据。一旦传感器被eployed,基站会对网络配置/管理或数据采集传感器 节点发送控制信息。基于这样的控制信息，感官数据被组装在地不同的传感器节 点和送回基站进行进一步的处理。有兴趣的读者参考45 更详细的讨论。获取网络数据-方法

23、：目前，网络数据采集是使用web爬虫组合完成，分词系 统，任务系统，和指标体系等Web爬行是一个用于搜索引擎下载和存储网页的 程序46。一般而言，网络爬虫从初始网页的统一资源定位器（网址）开始访问 其他链接的网页，在它的存储和序列的所有检索的网址。网络爬虫通过一个网址队 列获取一个网址，然后通过一个网址下载网页，并确定一个网址我将在已下载的网 页上的网址，并提取新的网址被放在队列中。这个过程是重复的，直到网络爬虫被 停止。通过网络爬虫获取数据的广泛应用基于网页的应用，如搜索引擎或网页缓存。 传统的网页提取技术具有多个有效的解决方案，并已完成了大量的研究，在他的田 地。随着越来越多的先进的网页应

24、用程序正在出现，一些提取策略，提出了在47, 以应付丰富的互联网应用。当前的网络数据采集技术主要包括传统的基于Libpcap捕包技术，零拷贝数据包 捕获技术，以及一些专门的网络监控G软件如wireshark SmartSniff,和winnetcap。 -Libpcap捕包技术：基于Libpcap （数据包捕获库）是一种广泛使用的网络数据 包捕获函数库。这是一个一般的工具，不依赖于任何特定的系统透射电子显微镜主 要用于数据链路层中的数据捕获。它具有简单、易用、携带方便，但有一个相对低 效率。因此，高速网络环境下彪，大量丢包时可能出现的libpcap的使用。-零拷贝数据包捕获技术：所谓的零拷贝（

25、ZC）意味着没有副本之间的任何内部 的记忆发生在数据包接收和发送在一个节点。在发送数据包直接从用户缓冲区开 始，通过网络接口，到达一个外部网络。在接收时，网络接口直接向美国发送数 据包SER缓冲。零拷贝的基本思想是减少数据拷贝次数，减少系统调用，并减少 CPU的负载，而datagrams从网络设备传递到用户程序空间。零拷贝技术首先 利用直接存储器存取（DMA）技术的网络数据包直接发送到一个地址空间预分配 的系统内核，以防止CPU的参与。同时，它映射的数据报内部存储器在系统内 核的检测程序，或建立一个缓冲区在用户空间和内核空间映射到。然后检测程序直 接访问内部存储器，从而减少系统内核对用户空间的

26、内存拷贝，减少系统调用的数 量。大数据云计算文献综述移动设备：目前，移动设备的使用越来越广泛。由于移动设备的功能日益强大, 他们的功能更复杂，多手段的数据采集，以及由于数据种类多。移动设备可以通过 定位系统获取地理位置信息；通过麦克风采集音频信息；获取图片、视频、streetscap 是的，二维条形码，和其他多媒体信息通过摄像头；获取用户手势和其他肢体语 言信息通过触摸屏和重力传感器。多年来，我们无线运营商通过获取和分析这些 信息提高了移动网络的服务水平。例如，iPhone本身就是一个“手机间谍”。它可 能会收集无线数据和地理地形位置信息，然后把这些信息带回苹果加工，其中用户 是不知道。除了苹

27、果，智能手机操作系统如Android GOOGLE和Windows手机的微 软也以类似的方式，信息的收集。除了上述三种数据采集方法的主要数据来源外，还有许多其他的数据采集方法或 系统。例如，在科学实验中，许多特殊的工具可用于收集实验数据，如磁仪和射 电望远镜。我们可以从不同的角度对数据采集方法进行分类。从数据源的角度是的, 收集数据的方法可以分为两类：收集方法记录通过数据源收集方法记录通过其他辅 助工具。3.2.2 数据传输原始数据收集完成后，将数据传送到一个数据存储基础设施进行处理和分析。正 如2.3节所讨论的，大数据主要存储在一个数据的分中急诊室数据布局应进行调 整，提高了计算效率和便于硬

28、件维护。也就是说，内部数据传输可能发生在数据 中心。因此，数据传输传输分为两个阶段：DCNDCN传输传输间内。-DCN DCN间传输：间传输是从数据源到数据中心，它一般是与现有的物理网络基 础设施实现。由于快速增长的交通需求，在世界上大多数地区的物理网络基础设施 的高容量、高速率和低本钱的构成，光纤传输系统。过去20爷ARS,先进的管理 设备和技术，如基于IP的波分复用（WDM）网络架构，进行智能控制与管理的 选择化学纤维网络48, 49 o WDM技术是将多个光载波信号耦合到不同的波长 和光链路的光纤。在这样的技术，不同波长的激光进行不同的信号。目前，骨干网 已经部署的WDM光传输系统单信道

29、速率40Gb/s的公关目前，100Gb/s商业接 口可与100Gb/s系统（或TB/S系统）将在不久的将来，50可。然而，传统 的光传输技术是有限的Y的电子瓶颈51带宽。最近，正交频分复用（OFDM）,最初设计的无线系统，被视为一个主要候选技术未来的高速光传输 技术。OFDM是一种多载波并行传输技术。它将一个高速数据流分割成一个高速 数据流，将其转化为低速子数据流，以不被传播到多个正交的子载波52 。随着 WDM固定信道间隔相比，OFDM允许子信道的频谱互相重叠，53 。因此，它 是一个灵活的稳定高效的光网络技术。-内DCN传输：传输帧内DCN在数据中心的数据通信流量。内DCN传输取决于 沟通

30、在数据中心机构（即物理上的连接板、芯片、数据服务器、数据中心、网络 体系结构和通信协议的内部记忆）。数据中心多接口包括磨碎的服务器机柜内部 连接网络的互连。目前，大多数数据中心的内部连接网络的胖树，双层或三层基于 多商品网络流的结构研究51, 54 在两层拓扑结构，可由lGbps的顶级机架 交换机连接（TOR）,那么这样的顶级机架交换机连接从lOGbps汇聚交换机的 拓扑结构。三层拓扑结构是一种结构增加一层对两层拓扑结构上这些层通过 lOGbps或lOOGbps的核心交换机构成的连接拓扑结构汇聚交换机。还有其他拓 扑结构，其目的是提高数据的并行58 55 -中心网络。由于电子数据包交换的 缺乏

31、，很难提高通信带宽，同时保持能耗低。多年来，由于巨大的成功，通过光 学技术实现，在数据中心之间的网络互连引起了很大的关注。光学互连是一种高大数据云计算文献综述通量、低延时，和低能耗解决方案。目前，光学技术仅用于数据中心的点对点连 接。这样的光链路提供使用低本钱的多开关连接TI的单模光纤（MMF） lOGbps 的数据速率。光互连（在光域内切换）在数据中心网络是一个可行的解决方案， 它可以提供Tbps级别的传输带能耗低的宽度。最近，许多光互连计划提出的数 据中心网络59。有的计划增加光路，以提升现有的净工作，和其他的和完全取 代目前的开关59 - 64 o作为一种强化技术，周等。在65 采用60

32、GHz频率频 段的无线链路增强有线链路。网络虚拟tualiza还应考虑提高数据中心网络的效 率和利用率。3.2.3 数据预处理由于数据来源广泛，收集到的数据对于噪音、冗余不同，和一致性，等等，这无 疑是商店的平均ingless数据浪费。另外一些分析方法对数据质量有严重的要求。 因此，为了使有效的数据分析，我们将预处理数据在许多情况下，将数据从不同的 源数据中整合，不仅可以降低存储费用，而且可以提高分析精度。一些关系数据预 处理技术讨论如下。-集成：数据集成是现代商业信息学的基石，涉及来自不同来源的数据相结合， 为用户提供了数据的统一视图，66。这是传统数据库的一个成熟的研究领域。 在历史上，2

33、种方法得到了广泛的认可：数据仓库和数据联合会。数据仓库包含 一个过程称为ETL （E提取、转换和加载）。提取涉及的源系统，选择，收集， 分析和处理所需的数据。转型是一系列规那么，TR的执行换成标准格式数据的提 取。加载装置将提取和转换的数据导入到目标存储结构中。加载是三个最复杂的过 程，其中包括转换、复制、清除、标准化、筛选、数据组织等操作。可以构建一个 虚拟的数据库，以查询和聚合来自不同数据的数据资源，但这样的数据库不包含数 据。相反，它包括信息或实际的数据和相关的元数据的位置。这两“存储阅读”方 法不满足日数据流或搜索程序和应用程序的高性能要求。与查询相比，在这类方法 中的数据更具动态性，

34、在数据传输过程中必须处理。GEn-erally,数据集成方法都 伴随着流处理引擎和搜索引擎30, 67 o-清洗：数据清洗是一个过程，以确定文协副牧师，不完整，或不合理的数据， 然后修改或删除这些数据来提高数据质量。一般情况下，数据清洗包括五个共同 mplementary程序68：定义和确定错误类型，搜索和识别错误，修正错误，医 生umenting错误实例和错误类型和模式、数据录入程序减少未来的错误。在清 洗过程中，数据的格式、完整性、合理性和限制，应检查。数据清洗是保持数据 一致性的关键，这是一广泛应用于许多领域，如银行、保险、零售业、电信和交 通控制。在电子商务中，大多数数据是电子收集，这

35、可能会造成严重的数据质量问题。经 典的数据质量问题主要来自软件缺陷、定制错误或系统错误一配置。作者在69 讨论了数据清理在电子商务中的爬虫和定期重新复制客户和帐户信息在70 ,对 射频识别数据的问题进行了检查。RFID技术被广泛用于许多应用，例如，库存 管理和目标跟踪。然而，原有的RFID功能的低质量，WH我的资料包括了许多 不正常的数据，受环境噪声影响的物理设计和环境噪声的影响。在71,概率模 型，以应付在移动环境中的数据丧失。khoussainova等人。在72提出了一个系 统来自动纠正错误的输入数据，通过定义全局完整性约束。赫伯特73提出了一个框架，称为bio-ajax规范生物数据，以便

36、进行进一步的计 算和提高搜索质量。与bio-ajax, 一些错误和重复可以ELIM-inated,和常见的数 据挖掘技术可以更有效地执行。大数据云计算文献综述-冗余消除：数据冗余是指数据重复或盈余，这通常发生在许多数据集。数据冗 余可以增加不必要的数据传输费用和原因E缺陷的存储系统，例如，存储空间的 浪费，导致数据不一致、数据可靠性降低，数据损坏。因此，各种冗余的还原方法 已被磷提出，如冗余检测，数据过滤，数据压缩。这样的方法可以适用于不同的数 据集或应用环境。然而，冗余减少也可能带来抗体出了一定的负面影响。例如，数 据压缩和解压缩造成额外的计算负担。因此，减少冗余的和本钱效益应仔细B均衡。

37、来自不同领域的数据将越来越多地出现在图像或视频格式。众所周知，图像和视频 中含有一定的冗余，包括时间冗余Y,空间冗余、统计冗余，冗余和感知。视频 压缩是广泛用于降低视频数据中的冗余，在许多视频编码标准的规定（MPEG-2 MPeg-4, H.263, H.264/AVC）。在74,作者考察了与视频传感器 网络的视频监控系统中视频压缩问题。作者提出了一种新的基于MPEG-4的方法 通过调查背景和前景在一个场景中的背景冗余。被伊娃证明的低复杂度和该方法 的低压缩比评价结果。广义数据传输或存储，重复数据删除是一种特殊的数据压缩技术，其目的是消除重 复数据拷贝75。重复数据删除，个人数据块或数据段会被

38、分配相同标识符（例如， 使用一个哈希算法）将标识符添加到标识列表中。如重复数据删除继续分析，如 果一个新的数据块的标识符是在IDE上市相同识别表，新的数据块将被视为多余 的，将由相应的存储数据块替换。重复的数据删除可以大大降低存储要求，这是一 个AR的重要的一个大的数据存储系统。除了上述的数据预处理方法，具体的数 据对象必须经过一些其他手术如特征提取。这样的操作中起着重要的作用，多 媒体搜索和DNA分析76, 78-o通常的高维特征向量（或高维特征点）是用 来描述数据对象和系统存储未来检索维特征向量。数据传输通常用于处理分布式 的异构数据源，特别是业务数据79。作为事实上，在考虑各种数据集，这

39、是不 平凡的，或者是不可能的，建立一个统一的数据前处理步骤和技术，是酌收所有类 型的数据集的在具体的特征、问题、性能要求等方面对数据集进行分析，从而选择 一个合适的数据预处理策略。4大数据存储数据的爆炸性增长对存储和管理有更严格的要求。在这一节中，我们把重点放在 存储大数据。大数据存储是指大的存储与管理GE规模数据而实现的可靠性和数 据可用性。我们将回顾重要的问题，包括大规模的存储系统，分布式存储系统， 和大数据存储机制。一方面，存储基础设施需要提供可靠的存储空间的信息存储服 务；另一方面，它必须提供一个强大的访问接口进行查询并分析了大量的数据。传统 上，作为服务器的辅助设备，数据存储设备是用

40、来存储、管理、查找、分析数据 和结构化的关系数据库管理系统。随着数据的急剧增长，数据存储设备是变得越 来越重要，许多互联网公司追求的存储容量大是有竞争力的。因此，对数据存储的 研究有着迫切的需要。4.1 海量数据存储系统各种存储系统的出现，以满足海量数据的需求。现有的海量存储技术可分为直接 连接存储（DAS）、网络存储，网络存储可以进一步分为网络附加存储（NAS）大数据云计算文献综述和存储区域网络（SAN）。在DAS、各种硬盘直接连接服务器和数据管理是以服 务器为中心的，如存储设备的外围设备，都需要一定的I/OR资源，是由一个单 独的应用软件管理。因为这个原因，这只适用于小规模的互连服务器。然

41、而，由 于其较低的可扩展性，这将显示出你ndesirable效率时，存储容量的增加，即， 升级和扩展性受到很大限制。因此，这主要是用于个人电脑和小型服务器。网络存储是利用网络为用户提供数据访问和共享的联合接口。网络存储设备包括 专用数据交换设备、磁盘阵列、带库、和其他存储介质，以及特殊的存储软件。 它的特点是具有很强的可扩展性。NAS实际上是一个网络辅助存储设备。它是直接连接到网络通过集线器或交换机 通过TCP / IP协,议。在NAS,数据传送文件的形式。与DAS I/O负担在NAS服 务器从服务器访问存储设备，通过网络广泛的减少。而NAS是面向网络的，三是专为数据存储具有可扩展性和带宽密集

42、型网络，例 如，一个与光纤连接的高速网络。在美国，数据存储年龄管理是相对独立的存储 区域网内，在基于多路径的任何内部节点间数据交换来实现数据共享，最大程度 数据管理。从一个数据存储系统，组织DAS, NAS和SAN,都可以分为三个局部：（一）磁 盘阵列：它是一个存储系统的基础和数据的基本保证存储；（二）连接和网络子 系统，它提供一个或多个磁盘阵列和服务器之间的连接；（三）存储管理软件， 它处理数据共享，灾难恢复，多服务器的其他存储管理任务。4.2 分布式存储系统第一个挑战所带来的大数据是如何开发一个大型的分布式存储系统的高效数据 处理与分析。使用分布式系统存储海量数据时，应考虑以下因素：-一致

43、性：分布式存储系统需要多台服务器协同存储数据。由于有更多的服务器， 服务器故障的概率将更大。通常数据是分在服务器故障的情况下，将存储在不同的 服务器上的多个片段以确保可用性。然而，服务器故障和并行存储可能会导致不同 的副本不一致相同数据。一致性是指保证相同数据的多个副本相同。可用性：在多套服务器上运行的分布式存储系统。随着服务器的使用，服务 器故障是不可防止的。如果整个系统都不认真，那将是可取的影响在阅读和写作 方面满足客户的要求。此属性称为可用性。分区容忍：分布式存储系统中的多个服务器通过网络连接。网络可能链路/节点 故障或临时拥堵。分布式系统应该有有一定的耐受水平通过网络失败造成的问 题。

44、这将是可取的，分布式存储仍然工作时,，网络被划分。Eric Brewer提出第80, 81理论在2000,这说明一个分布式系统不能同时示满 足一致性，可用性和分区的要求，在宽容；大多数的三个要求可以同时满足。塞 思Gilbert和南希林奇来自麻省理工学院的证明理论的正确性2002帽。由于一致 性，可用性和分区宽容是不可能实现的同时，我们可以通过忽略分区耐受性有一个 CA系统，忽视可用性CP系统，和AP系统，忽略了一致性，根据不同的设计目 标。在以下三个系统中进行了讨论。没有分区的公差，即，他们不能处理网络故障。因此，CA系统一般被认为是一 个单一的服务器存储系统，如传统的商城规模关系数据库。这

45、样的系统功能单一的 数据副本，这样的一致性是很容易保证。可用性是保证关系数据库的优秀设计。不过 由于不能处理网络故障，不能扩展到多个服务器。因此，大多数大型存储系大数据云计算文献综述近日，行业产生兴趣的大数据的高潜力，许多政府机构公布主要计划加快大数据 的研究和应用2。此外，大数据问题往往覆盖在公共媒体，如经济学3, 4, 纽约时报5,和全国公共广播电台6,7。这两个主要的科学期刊，Nature和 Science,还开通了专栏讨论大数据的挑战和影响8, 9。大数据的时代已经到来 超越一切质疑10。目前，与互联网公司的业务相关联的大数据快速增长。例如，谷歌处理的数据 达数百拍字节(PB) , F

46、acebook的生成日志数据每月有超过10 PB,百度一家中 国公司百度，业务流程有数十PB的数据，而阿里巴巴的子公司淘宝每天的网上 交易产生几十太字节(TB)的数据。图1示出的全球数据量的热潮。当大型数据 集的数量急剧上升，它也带来了许多具有挑战性的问题，解决方案如下：The Phetiomenon off Big DataJL8ZBJL8ZB750 million968PBDai中 9cmjkE dv。叫 than the owumulafcd amoun* of data generated hom the or gtn of civilization to 2003)The amoun

47、t of picture& uploaded to Face book20d billionThe niumber of RFID in 202112 million in 201L )800 billion dollars。就a downloaded during a computer geek s 2450 thousand hoursCn 20(k9, the storage cjipcity ofAmerxan manufacturing industry200PBThe amount of data generated by - smrt urf)n project in Chino

48、i$32+B300 billion dollarsPersonal location data in 10 yearsMedicai expense saving by big da tai anMygig in AmericaThe purchase amount of the 4 big companies since 2010Data are becoming the new raw material of business: Economic input is. almost equivalent to capital and labor -Econofn/st, 2010Information will be Ihe 21th Century oil. , Gartner company, 2010图一、持续增长的数据信息技术的最新开展(IT)使其更容易以产生数据。例如，每分钟有平均72个 小时的视频上传到YouTubeH。因此，我们面临的主要挑战是从广泛分布的数据 源中收集和整合大量的数据。云计算和物联网(I0T)的快速开展进一步促进数据的大幅增长。云计算提供了 平安措施，访问网站以及数据资产的渠道。在物联网的典范，遍布世界各地的传 感