大学计算机基础(第8章)大数据基础.pptx

《大学计算机基础(第8章)大数据基础.pptx》由会员分享，可在线阅读，更多相关《大学计算机基础(第8章)大数据基础.pptx（259页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、过渡页 TRANSITION PAGE 第8章 大数据基础18.1 大数据概述28.2 大数据处理架构Hadoop38.3 分布式文件系统HDFS48.4 分布式数据库HBase58.5 NoSQL数据库68.6 云数据库78.7 Spark与Scala88.8 流计算概述过渡页 TRANSITION PAGE 8.1 大数据概述8.1.1 大数据的概念8.1.2 大数据的来源8.1.3 大数据对现代社会的影响8.1.4 大数据的应用场景8.1.5 大数据的关键技术8.1.6 大数据和云计算3 8.1.1 大数据的概念 8.1.1 大数据的概念大数据（Big Data）指的是海量数据或巨量数据

2、，其规模巨大到无法通过目前主流的计算机系统在合理的时间内获取、存储、管理、处理并提炼以帮助使用者决策。2004年，全球数据总量是30 EB，2005年达到50 EB，2015年达到惊人的7 900 EB；预计到2020将达到35 000 EB。这个增长速度符合1998年图灵奖获得者杰姆格雷（Jim Gray）提出的“新摩尔定律”，即人类有史以来的数据总量，每隔18个月就会翻一番。4 8.1.1 大数据的概念 8.1.1 大数据的概念单位位换算关系算关系Byte（字节）1 Byte=8 BitKB（KiloByte，千字节）1 KB=1 024 ByteMB（MegaByte，兆字节）1 MB=

3、1 024 KBGB（GigaByte，吉字节）1 GB=1 024 MBTB（TrillonByte，太字节）1 TB=1 024 GBPB（PetaByte，拍字节）1 PB=1 024 TBEB（ExaByte，艾字节）1 EB=1 024 PBZB（ZettaByte，泽字节）1 ZB=1 024 PB表8-1 数据存储单位之间的换算关系提示 数据存储单位之间的换算关系如表8-1所示。5 8.1.1 大数据的概念 8.1.1 大数据的概念那么，大数据具有什么特征呢？目前工业界普遍认为大数据具有4V+1C的特征。（1）数据量大（Volume）。存储的数据量巨大，PB级别是常态。（2）多样

4、（Variety）。数据的来源及格式多样。数据格式除了传统的结构化数据外，还包括半结构化或者非结构化数据（如用户上传的音频和视频等内容）。此外，随着人类活动的进一步拓宽，数据的来源更加多样。6 8.1.1 大数据的概念 8.1.1 大数据的概念（3）快速（Velocity）。数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快，以便能够从数据中及时地发现、提取有价值的信息。（4）价值密度低（Value）。由于需要对大量的数据进行处理，挖掘其潜在的价值，因而，大数据对我们提出明确的要求是设计一种在成本可接受的条件下，通过快速采集、发现和分析，从大量、多种类别的数据中提取价值的体

5、系架构。（5）复杂度（Complexity）。对数据的处理和分析的难度大。7 8.1.2 大数据的来源 8.1.2 大数据的来源大数据怎么来的呢？无非是通过各种数据采集设备、原有各类数据库的日积月累、开源的数据发布平台数据累积（如BBS、推特、微信等）、GPS信息、网络痕迹（如购物、搜索历史等）、用户上传的结构化或者非结构化的信息等汇聚而成，来源非常广泛。下面从大数据来源的主体、来源的行业、数据存储的形式三方面对大数据的来源进行分析。8 8.1.2 大数据的来源 8.1.2 大数据的来源（1）少量企业应用产生的数据。如关系型数据库和数据仓库中的数据等。（2）大量人产生的数据。如推特、微信、通信

6、软件、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据、广播、电视数据等。（3）巨量机器产生的数据。如应用服务器日志、各类传感器日志、声音、图像和视频监控数据、二维码和条形码扫描数据等。按产生数据的主体进行划分1 19 8.1.2 大数据的来源 8.1.2 大数据的来源（1）互联网公司。例如，百度公司数据总量超过了千PB级别，数据涵盖了中文网页、百度推广、百度日志、UGC等多个部分，并以70%以上的搜索市场份额坐拥庞大的搜索数据；阿里巴巴公司保存的数据量超过了百PB级别，拥有90%以上的电商数据，数据涵盖了点击网页数据、用户浏览数据、交易数据、购物数据等；腾讯公司总存储数据量经压

7、缩处理以后仍然超过了百PB级别，数据量月增加达到10%，包括大量社交、游戏等领域积累的文本、音频、视频和关系类数据。按数据来源的行业划分2 210 8.1.2 大数据的来源 8.1.2 大数据的来源（2）电信、金融、保险、电力、石化系统。电信行业数据包括用户上网记录、通话、信息、地理位置数据等，运营商拥有的数据量将近百PB级别，年度用户数据增长超过10%。金融与保险包括开户信息数据、银行网点数据、在线交易数据、自身运营的数据等，金融系统每年产生的数据超过数十PB，保险系统的数据量也超过了PB级别。电力与石化方面，仅国家电网采集获得的数据总量就达到了数十PB，石油化工领域每能年产生和保存下来的数

8、据量也将近百PB级别。11 8.1.2 大数据的来源 8.1.2 大数据的来源（3）公共安全、医疗、交通领域。一个中、大型城市，一个月的交通卡口记录数可以达到3亿条；整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别；航班往返一次产生的数据就达到TB级别；列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。（4）气象、地理、政务等领域。中国气象局保存的数据将近10 PB，每年约增数百TB：各种地图和地理位置信息每年约数十PB：政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。12 8.1.2 大数据的来源 8.1.2 大数据的来源（5）制造业和其

9、他传统行业。制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中，产品设计数据以文件为主，是非结构化数据，对共享要求较高，保存时间较长；企业生产环节的业务数据主要是结构化数据。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。13 8.1.2 大数据的来源 8.1.2 大数据的来源大数据不仅仅体现在数据量大，还体现在数据类型多。其中，有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。结

10、构化数据简单来说就是数据库，如企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等数据。非结构化数据包括所有格式的办公文档、文本、图片、网页、各类报表、图像和音频、视频等数据。按数据存储的形式划分3 314 8.1.2 大数据的来源 8.1.2 大数据的来源大数据的价值不在于存储数据本身，而在于如何挖掘数据，只有具备足够的数据源才可以挖掘出数据背后的价值，因此，获取数据是非常重要的基础。就数据获取而本言，大型互联网企业由于自身用户规模庞大，可以把自身用户产生的交易、社交、搜索等数据充分挖掘，拥有稳定安全的数据资源。对于其他大数据公司和大数据研究机构而言，日前获取大

11、数据的方法有如下4种：按数据存储的形式划分3 315 8.1.2 大数据的来源 8.1.2 大数据的来源（1）系统日志采集。可以使用海量数据采集工具用于系统日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，这些工具均采用分布式架构，能满足大数据的日志数据采集和传输需求。（2）互联网数据采集。可以通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将数据从网页中抽取出来，并将其存储为统一的本地数据文件，它支持图片、音频、视频等文件或附件的采集，而且附件与正文可以自动关联。除了采集网站中包含的内容之外，还可以使用DPI或DFI等带

12、宽管理技术实现对网络流量的采集。16 8.1.2 大数据的来源 8.1.2 大数据的来源（3）APP移动端数据采集。APP是获取用户移动端数据的一种有效方法。APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端的相关信息，包括安装应用的数量和类型等。虽然单个APP用户的数据量有限，但如果有数十万APP用户，获取的用户终端数据和部分行为数据也会达到数亿的量级。（4）与数据服务机构进行合作。数据服务机构通常具备规范的数据共享和交易渠道，人们可以在其平台上快速、准确地获取自己所需要的数据。对于企业生产经营数据或学科研究数据等保密性要求较高的数据，也可

13、以通过与企业或研究机构合作，使用特定系统接口等方式采集数据。17 8.1.2 大数据的来源 8.1.2 大数据的来源不管数据是怎样一个来源，人类社会正经历第二次“数据爆炸”（第一次可以认为发生在造纸术和印刷术发明的时期）。各种数据源源不断的从我们的社交平台、移动互联网、物联网、各类媒介、各类传感设备上产生，种类之多，数量之大已经超出传统技术手段可以控制的范围。18 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响大数据对科学研究、思维方式和社会发展都具有重要而深远的影响。在科学研究方面，大数据使得人类科学研究在经历了科学实验、模型归纳、模拟仿真3种范式之后，迎来了第四种范

14、式数据密集型；在思维方式方面，大数据具有“全样而非抽样、效率而非精确、相关而非因果”三大显著特征，完全覆了传统的思维方式；在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。此外，在就业市场方面，大数据的兴起使得数据科学家成为热门人才；在人才培养方面，大数据人才需求将在很大程度上改变我国高校信息技术相关专业的现有教学和科研体制。19 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响人类在科学研究上先后历经了实验、理论、计算和数据四种范式，如图8-1所示：大数据对科学研究的影响1

15、1图8-1 科学研究的四种范式20 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响1）第一种范式：科学实验在最初的科学研究阶段，人类采用实验来解决一些科学问题，著名的比萨斜塔实验就是一个典型实例。1590年，伽利略在比萨斜塔上做了“两个铁球同时落地”的实验，得出了重量不同的两个铁球同时下落的结论，从此推翻了亚里士多德“物体下落速度和重量成比例”的学说，纠正了这个持续了1900年之久的错误结论。21 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响2）第二种范式：模型归纳实验科学的研究会受到实验条件的限制，难以完成对自然现象更精确的理解。随着科学的进

16、步，人类开始采用各种数学、几何、物理等理论，构建问题模型和解决方案。例如，牛顿第一定律、牛顿第二定律、牛顿第三定律构成了牛顿力学的完整体系，奠定了经典力学的概念基础，它的广泛传播和运用对人们的生活和思想产生了重大影响，在很大程度上推动了人类社会的发展和进步。22 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响3）第三种范式：模拟仿真随着1946年人类历史上第一台计算机ENIAC的诞生，人类社会开始步入计算机时代，科学研究也进入了一个以“计算”为中心的全新时期。在实际应用中，计算科学主要用于对各问题进行计算机模拟和其他形式的计算。通过设计算法并编写相应程序输入计算机运行，

17、人类可以借助于计算机的高速运算能力去解决各种问题。计算机具有存储容量大、运算速度快、精度高、可重复执行等特点，是科学研究的利器，推动了人类社会的飞速发展。23 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响4）第四种范式：数据密集型随着数据的不断累积，其宝贵价值日益得到体现，物联网和云计算的出现，更是促成了数据发展从量变到质变的转变，使人类社会开启了全新的大数据时代。这时，计算机将不仅仅能做模拟仿真，还能进行分析总结。在大数据环境下，一切将以数据为中心，从数据中发现问题、解决问题，真正体现数据的价值。大数据将成为科学工作者的宝藏，从数据中可以挖掘未知模式和有价值的信息，

18、服务于生产和生活，推动科技创新和社会进步。24 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响虽然第三种方式和第四种方式都是利用计算机来进行计算，但是二者还是有本质区别的。在第三种研究范式中，一般先提出可能的理论，再搜集数据，然后通过计算来验证。而第四种研究范式，则是先有了大量已知的数据，然后通过计算机得出之前未有的理论。25 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响美国科学家维克托迈尔舍恩伯格在大数据时代：生活、工作与思维的大变革）一书中明确指出，大数据时代最大的转变就是思维方式的3种转变：全样而非抽样、效率而非精确、相关而非因果。大数据

19、引发思维方式的转变2 226 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响1）全样而非抽样过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，通过对样本数据的分析来推断全集数据的总体特征。通常，样本数据规模要比全集数据小很多，因此，可以在可控的代价内实现数据分析的目的。27 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响现在，我们已经迎来大数据时代，大数据技术的核心就是海量数据的存储和处理，而分布式文件系统和分布式数据库技术提供了理论上近乎无限的数据存储能力，分布式并行编程框架Mapreduc

20、e提供了强大的海量数据并行处理能力。因此，有了大数据技术的支持，科学分析完全可以直接针对全集数据而不是抽样数据，并且可以在短时间内迅速得到分析结果。例如：谷歌公司的Dremel（交互式数据分析系统）可以在23 s内完成PB级别数据的查询。28 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响2）效率而非精确过去，我们在科学分析中采用抽样分析方法，就必须追求分析方法的精确性，因为抽样分析只是针对部分样本的分析，其分析结果被应用到全集数据以后，误差会被放大，这就意味着，抽样分析的微小误差被放大到全集数据以后，可能会变成一个很大的误差。因此，为了保证误差被放大到全集数据时仍然处

21、于可以接受的范围，就必要确保抽样分析结果的精确性。正是由于这个原因，传统的数据分析方法往往更加注重提高算法的精确性，其次才是提高算法效率。29 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响现在，大数据时代采用全样分析而不是抽样分析，全样分析结果就不存在误差被放大的问题。因此，迫求精确性已经不是其首要目标；相反，大数据时代具有“秒级响应”的特征，要求在几秒内就迅速给出针对海量数据的实时分析结果，否则就会丧失数据的价值，因此，数据分析的效率成为关注的核心。30 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响3）相关而非因果过去，数据分析的目的，一方

22、面是解释事物背后的发展机理。例如，一个大型超市在某个地区的连锁店在某个时期内净利润下降很多，这就需要IT部门对相关销售数据进行详细分析并找出问题的原因。另一方面是用于预测未来可能发生的事件。例如，通过实时分析微博数据，当发现人们对雾霾的讨论明显增加时，就可以建议销售部门增加口罩的进货量，因为人们关注雾霾的一个直接结果是，大家会想到购买一个口罩来保护自己的身体健康。不管是哪个目的，其实都反映了一种“因果关系”。31 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响但是，在大数据时代，因果关系不再那么重要，人们转而追求“相关性”而非“因果性”。例如，我们去淘宝网购物时，当我们

23、购买了一个汽车防盗锁以后，淘宝网还会自动提示你，与你购买相同物品的其他客户还购买了汽车坐垫，也就是说，淘宝网只会告诉你“购买汽车防盗锁”和“购买汽车坐垫”之间存在相关性，但是并不会告诉你为什么其他客户购买了汽车防盗锁以后还会购买汽车坐垫。32 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响1）对社会发展的影响大数据将对社会发展产生深远的影响，具体表现在以下几个方面：大数据决策成为一种新的决策方式，因为它可以面向类型繁多、非结构化的海量数据进行决策分析，弄清数据中隐含的事实和事物发展趋势，协助个人、组织和政府实现决策；大数据应用还促进了信息技术与各行业的深度融合，现在就不

24、难看出，大数据将在未来改变几乎每个行业的业务方式和功能；同时，大数据的开发也推动了新技术和新应用的不断涌现，在不远的将来，原来那些依靠人类自身判断的应用领域，将逐渐被各类基于大数据的应用所取代。大数据对社会各方面的影响3 333 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响2）大数据对就业市场的影响在未来5到10年，我国大数据市场规模年均增速将超过30%。未来5年，国内大数据人才缺口将突破150万。在BAT（百度、阿里巴巴和腾讯）发布的招聘职位中，目前大数据岗位占比已经超过60%。与此同时，大数据人才的薪资水平也在水涨船高，Hays亚洲薪酬指南指出，数据专家的年薪范畴

25、为20 000人民币至500 000人民币之间。34 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响3）大数据对人才培养的影响大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。首先，数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才；其次，数据科学家需要大数据应用实战环境，在真正的大数据环境中不断学习、实践并融会贯通，将自身技术背景与所在行业业务需求进行深度融合，从数据中发现有价值的信息。但是目前大多数高校还不具备这种培养环境，不仅缺乏大规模基础数据，也缺乏对领域业务需求的理解。35 8.1.3 大数据对现代社会

26、的影响 8.1.3 大数据对现代社会的影响在未来510年，市场对数据科学家的需求会日益增加，高校应该秉承“培养人才、服务社会”的理念，充分发挥科研和教学综合优势，培养一大批具备数据分析基础能力的数据科学家，有效缓解数据科学家的市场缺口，为促进经济社会发展做出更大贡献。36 8.1.3 大数据对现代社会的影响 8.1.3 大数据对现代社会的影响同时，高校培养数据科学家人才需要采取“两条腿”走路的策略，即“引进来”和“走出去”。所谓“引进来”，是指高校要加强与企业的紧密合作，从企业引进人才，同时也获得真实专业相关数据，为学生搭建起接近企业应用实际的、仿真的大数据实战环境。所谓“走出去”，是指积极鼓

27、励和引导教师和学生走出校园，进入企业去开展教学和实践活动，创造条件让他们参与到企业大数据项目的研发过程中，提高实战能力，为更好培养数据科学家人奠定基础。另外，在课程体系的设计上，高校应该打破学科界限，设置跨学科的“组合课程”，由来自不同院系的老师构建联合教师团队，多方合作，共同培养具有大数据分析能力的人才。37 8.1.4大数据的应用场景 8.1.4 大数据的应用场景大数据应用无处不在，包括零售、金融、医疗、教育、农业、环境等方方面面，下面简单介绍一下它在几个主要领域的应用方式：零售行业大数据应用1 1零售行业大数据应用有两个层面，一个层面是零售行业可以通过大数据了解客户消费喜好和趋势，进行商

28、品的精准营销，降低营销成本。另一层面是根据客户购买的产品，为客户提供可能购买的其他产品，从而扩大销售额，这也属于精准营销范畴。金融行业大数据应用2 2大数据在金融行业应用范围较广，主要包括依据客户消费习惯、地理位置、消费时间进行推荐的精准营销；根据客户的信用，对客户的消费进行风险管控；帮助企业进行决策支持；利用大数据技术加快内部数据处理速度，提高效率；利用大数据计算技术为财富客户推荐产品，进行金融产品设计。38 8.1.4大数据的应用场景 8.1.4 大数据的应用场景医疗行业拥有大量病例、病理报告、治愈方案、药物报告等，如果这些数据被整理和应用将会极大地帮助医生和病人。在未来，借助于大数据平台

29、我们可以收集不同病例和治疗方案，以及病人的基本特征，可以建立针对疾病特点的数据库。如果未来基因技术发展成熟，可以根据病人的基因序列特点进行分类，建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告，参考疾病数据库快速帮助病人确诊，明确定位疾病。在制定治疗方案时，医生可以依据病人的基因特点，调取相似基因、年龄、人种、身体情况相同的有效治疗方案，制定出适合病人的治疗方案，帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。医疗行业大数据应用3 339 8.1.4大数据的应用场景 8.1.4 大数据的应用场景信息技术已在教育领域有了

30、越来越广泛的应用。课堂上，数据不仅可以帮助改善教育教学，在重大教育决策制定和教育改革方面大数据更有用武之地。毫无疑问，在不远的将来，无论是针对教育管理部门，还是校长、教师，以及学生和家长，都可以得到针对不同应用的个性化分析报告。通过大数据的分析来优化教育机制，也可以做出更科学的决策，这将带来潜在的教育革命。不久的将来个性化学习终端，将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向等，并贯穿每个人终身学习的全过程。教育行业大数据4 440 8.1.4大数据的应用场景 8.1.4 大数据的应用场景大数据在农业方面的应用主要是指依

31、据未来商业需求的预测来进行农牧产品生产，降低菜贱伤农的概率。同时大数据的分析将会更加精确地预测未来的天气，帮助农牧民做好自然灾害的预防工作。大数据同时会帮助农民依据消费者消费习惯来决定增加哪些品种的种植、减少哪些品种农作物的生产，提高单位种植面积的产值，同时有助于快速销售农产品，完成资金回流。牧民可以通过大数据分析来安排放牧范围，有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。大数据技术可以帮助政府实现农业的精细化管理，实现科学决策。在数据驱动下，结合无人机技术，农民可以采集农产品生长信息、病虫害信息。相对于过去雇佣飞机的成本将大大降低，同时精度也将大大提高。农牧业大数据应用5 5

32、41 8.1.4大数据的应用场景 8.1.4 大数据的应用场景气象和环境对社会的影响涉及到方方面面。传统上依赖气象的主要是农业、林业和水运等行业部门，而如今，气象和环境预测俨然成为了二十一世纪社会发展的资源，并支持定制化服务满以足各行各业用户的需要。环境大数据应用6 642 8.1.4大数据的应用场景 8.1.4 大数据的应用场景在美国，NOAA（国家海洋暨大气总署）早就在使用大数据业务。NOAA每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后，NOAA会汇总大气数据、海洋数据及地质数据，进行直接测定，绘制出复杂的高保真预测模型，将其提供给NWS（国家气象局）做出气

33、象预报的参考数据。目前，NOAA每年新增管理的数据量就高达30 PB。由NWS生成的最终分析结果，就呈现在日常天气预报和预警报道上。43 8.1.4大数据的应用场景 8.1.4 大数据的应用场景如今，世界超过一半的人口生活在城市里，到2050年这个数据会增加到75%。城市公共交通规划、教育资源配置、医疗资源配置、商业中心建设、房地产规划、产业规划、城市建设等都可以借助大数据技术进行规划和动态调整，使城市资源得到良好的配置。既不出现资源配置不平衡而导致的效率低下及骚乱，又可以避免不必要的资源浪费而导致的财务支出过大，从而有效帮助政府实现资源科学配置，精细化运营城市，打造智慧城市。智慧城市大数据应

34、用7 744 8.1.5大数据的关键技术 8.1.5 大数据的关键技术所谓大数据技术，是指伴随着大数据的采集与预处理、数据存储和管理、数据处理与分析以及数据安全与隐私保护相关的一系列技术，是用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理和分析技术。45 8.1.5大数据的关键技术 8.1.5 大数据的关键技术讨论大数据技术时，首先需要了解大数据的基本处理流程，主要包括数据采集、存储、分析、安全监控和结果呈现等环节。数据无处不在，种类繁多，而且又是非常分散，需要采用相应的设备或软件进行采集。采集到的数据通常无法直接用于后续的数据分析，因为对于来源

35、众多、类型多样的数据而言，数据缺失和语义模糊等问题是不可避免的，因而必须采取相应措施有效解决这些问题，这就需要一个被称为“数据预处理”的过程，把数据变成一个可用的状态。数据经过预处理以后，会被存放到文件系统或数据库系统中进行存储与管理，然后采用数据挖据工具对数据进行处理分析，最后采用可视化工具为用户呈现结果。在整个数据处理过程中，还必须注意隐私保护和数据安全问题。46 8.1.5大数据的关键技术 8.1.5 大数据的关键技术因此，从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容，如图8-2所示。图8-2 大数据涉及的

36、关键技术47 8.1.3大数据的关键技术 8.1.5 大数据的关键技术需要指出的是，大数据技术是许多技术的集合体，有些技术也并非是新生事物，诸如关系数据库、数据仓库、数据采集、ETL、OLAP、数据挖掘、数据隐私和安全、数据可视化等技术是已经发展多年的技术，在大数据时代得到不断补充、完善、提高后又有了新的升华，也可以视为大数据技术的一个组成部分。对于这些技术，本章将不做介绍，重点阐述近些年新发展起来的大数据核心技术，包括分布式并行编程、分布式文件系统、分布式数据库、NOSQL数据库、云数据库、流计算等。48 8.1.6大数据和云计算 8.1.6 大数据和云计算在中国大数据专家委员会成立大会上，

37、委员会主任怀进鹏院士用一个公式描述了大数据与云计算的关系：Gf（x）。x是大数据，f是云计算，G是我们的目标。也就是说云计算是处理大数据的手段，大数据与云计算是一枚硬币的正反面。大数据是需求，计算是手段。没有大数据，就不需要云计算；没有云计算，就无法处理大数据。49 8.1.6大数据和云计算 8.1.6 大数据和云计算事实上，云计算（Cloud Computing）比大数据“成名”要早。2006年8月9日，谷歌首席执行官埃里克施密特在搜索引擎大会上首次提出了云计算的概念，并说谷歌自1998年创办以来，就一直采用这种新型的计算方式。那么，什么是云计算？刘鹏教授对云计算给出了长、短两种定义。长定义

38、是：“云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。”短定义是：“云计算是通过网络按需提供可动态伸缩的廉价计算服务。”50 8.1.6大数据和云计算 8.1.6 大数据和云计算这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无须人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无须为烦琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计

39、算的核心理念是资源池，这与早在2002年就提出的网格计算池（Computing Pool）的概念非常相似。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合，池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，提升平台的服务质量。51 8.1.6大数据和云计算 8.1.6 大数据和云计算之所以称为“云”，是因为云一般都比较大，规模可以动态伸缩，边界是模糊的；云在空中飘忽不定，无法也无须确定它的本体位置，但它确实存在于某处。之所以称为“云”，还因为云计算的鼻祖之一亚马逊公司将大家曾经称为网格计算的东西，取了一个新名称“弹性计算云”（Elasti

40、c Computing Cloud），并取得了商业上的成功。有人将这种模式比喻为从单台发电机供电模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水和电一样，取用方便，费用低廉。它与其他商品最大的不同在于，它是通过互联网进行传输的。52 8.1.6大数据和云计算 8.1.6 大数据和云计算云计算是并行计算（Parallel Computing）、分布式计算（Distributed Computing）和网格计算（Grid Computing）的发展，或者说是这些计算科 学 概 念 的 商 业 实 现。云 计 算 是 虚 拟 化（Virtualization）、

41、效 用 计 算（Utility Computing）、将 基 础 设 施 作 为 服 务IasS（Infrastructure as a Service）、将平台作为服务PaaS（Platform as a Service）和将软件作为服务SaaS（Software as a Service）等概念混合演进并跃升的结果。53 8.1.6大数据和云计算 8.1.6 大数据和云计算从研究现状上看，云计算具有以下特点：（1）超大规模。“云”具有相当的规模。谷歌云计算已经拥上百万台服务器，亚马逊、IBM、微软、Yahoo、阿里、百度和腾讯等公司的“云”均拥有几十万台服务器，“云”能赋予用户前所未有的计

42、算能力。（2）虚拟化。云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无须了解应用运行的具体位置，只需要一台计算机、PAD或手机，就可以通过网络服务来获取各种能力超强的服务。（3）高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。（4）通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。54 8.1.6大数据和云计算 8.1.6 大数据和云计算（5）高可伸缩性。“云”的规模可以动态

43、伸缩，满足应用和用户规模增长的需要。（6）按需服务。“云”是一个庞大的资源池，用户可按需购买，像自来水、电和煤气那样计费。（7）极其廉价。“云”的特殊容错措施使得其可以采用极其廉价的节点来构成云；“云”的自动化管理使数据中心管理成本大幅降低；“云”的公用性和通用性使资源的使用率大幅提升；“云”设施可以建在电力资源丰富的地区，从而大幅降低能源成本。因此“云”具有前所未有的性能价格比。55 8.1.6大数据和云计算 8.1.6 大数据和云计算图8-3 云计算的服务类型云计算按照服务类型大致分为三类：将基础设施作为服务（IaaS）、将 平 台 作 为 服 务（PasS）和 将 软 件 作 为 服 务

44、（SaaS），如图8-3所示。56 8.1.6大数据和云计算 8.1.6 大数据和云计算IaaS将硬件设备等基础资源封装成服务供用户使用，如亚马逊云计算AWS（Amazon Web Services）的弹性计算云EC2和简单存储服务S3。在IaaS环境中，用户相当于在使用裸机和磁盘，既可以让它运行Windows，也可以让它运行Linux，因而几乎可以做任何想做的事情，但用户必须考虑如何才能让多台机器协同工作。IaaS最大的优势在于它允许用户动态申请或释放节点，按使用量计费。运行Iaas的服务器规模达到几十万台之多，用户因而可以认为能够申请的资源几乎是无限的。同时，IaaS是由公众共享的，因而具

45、有更高的资源使用效率。57 8.1.6大数据和云计算 8.1.6 大数据和云计算PaaS对资源的抽象层次更进一步，它提供用户应用程序的运行环境，典型的如Google App Engine。微软的云计算操作系统Microsoft Windows Azure也可大致归入此类。PaaS自身负责资源的动态扩展和容错管理，用户应用程序不必过多考虑节点间的配合问题。但与此同时，用户的自主权降低，必须使用特定的编程环境并遵照特定的编程模型。这有点像在高性能集群计算机里进行MPI编程，只适用于解决某些特定的计算问题。例如，Google App Engine只允许使用Python和Java语言、基于Django

46、的Web应用框架、调用Google App Engine SDK来开发在线应用服务。58 8.1.6大数据和云计算 8.1.6 大数据和云计算SaaS的针对性更强，它将某些特定应用软件功能封装成服务，如Salesforce公司提供 的 在 线 客 户 关 系 管 理 CRM（Client Relationship Management）服务。SaaS既不像PaaS一样提供计算或存储资源类型的服务，也不像IaaS一样提供运行用户自定义应用程序的环境，它只提供某些专门用途的服务供应用调用。59 8.1.6大数据和云计算 8.1.6 大数据和云计算需要指出的是，随着云计算的深化发展，不同云计算解决方

47、案之间相互渗透融合，同一种产品往往横跨两种以上类型。例如，Amazon Web Services是以IaaS发展的，但新提供的弹性MapReduce服务模仿了Google的MapReduce，简单数据库服务SimpleDB模仿了Google Bigtable，这两者属于PaaS的范畴，而它新提供的电子商务服务FPS和DevPay以及网站访问统计服务Alexa Web，则属于SaaS的范畴。在这里，还需要阐述一下云安全与云计算的关系。作为云计算技术的一个分支，云安全技术通过大量客户端的参与来采集异常代码（病毒和木马等），并汇总到云计算平台上进行大规模统计分析，从而准确识别和过滤有害代码。这种技术

48、由中国率先提出，并取得了巨大成功。过渡页 TRANSITION PAGE 8.2 大数据处理架构Hadoop8.2.1 Hadoop简介8.2.2 Hadoop的发展简史8.2.3 Hadoop的特性8.2.4 Hadoop生态系统8.2.5 Hadoop的部署61 8.2 关系数据库Hadoop是一个开源的、可运行于大规模集群服务器上的分布式计算平台，它实现了MapReduce计算模型和分布式文件系统HDFS等功能，在业内得到了广泛的应用，同时也成为大数据的代名词。借助于Hadoop，程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的存储与处理分析。引子62 8.2.

49、1Hadoop简介 8.2.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统（Hadoop Distributed File System，HDFS）和MapReduce。其中，HDFS是针对谷歌文件系统（Google File System，GFS）的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的

50、方式很好地保证了数据的安全性。Mapreduce允许用户在不了解分布式系统底层细节的情况下开发并行应用程序，以及采用MapReduce来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。63 8.2.1Hadoop简介 8.2.1 Hadoop简介Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等都支持Hadoop。64 8.2.2Hadoop的发展史 8.2.2 Hadoop的发展简史Hadoop名称来源于其创建者的孩子给“一头吃饱了的棕黄