大数据与应用.ppt

《大数据与应用.ppt》由会员分享，可在线阅读，更多相关《大数据与应用.ppt（530页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第1章章大数据技术概述大数据技术概述本章主要内容本章主要内容随着互联网技术的蓬勃发展，大数据（随着互联网技术的蓬勃发展，大数据（big data）已经渗透到每个人的日常生活之中。）已经渗透到每个人的日常生活之中。传统的数据挖掘和处理技术已经无法满足传统的数据挖掘和处理技术已经无法满足大数据的处理要求。大数据技术的核心在大数据的处理要求。大数据技术的核心在于挖掘出数据中蕴藏的价值。于挖掘出数据中蕴藏的价值。本章主要介绍大数据的发展历史、基本特本章主要介绍大数据的发展历史、基本特征，大数据处理框架，以及大数据技术的征，大数据处理框架，以及大数据技术的主要应用领域主要应用领域2第第1章章 大数据技

2、术概述大数据技术概述1.1 大数据的发展历史大数据的发展历史1.2 大数据的基本特征大数据的基本特征1.3 大数据处理框架大数据处理框架1.4 大数据技术的主要应用领域大数据技术的主要应用领域31.1 大数据的发展历史大数据的发展历史4信息化浪潮信息化浪潮发生时间发生时间标志标志解决问题解决问题代表企业代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计算和大数据信息爆炸将涌现出一批新的市场标杆企业第四次？1.1 大数据的发展历史大

3、数据的发展历史数据产生方式的变革数据产生方式的变革51.1 大数据的发展历史大数据的发展历史Hadoop项目诞生于项目诞生于2005年，其最初只是年，其最初只是Yahoo公司用来解决网页搜索问题的一个项目，后来因公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被阿帕奇软件基金会其技术的高效性，被阿帕奇软件基金会（Apache Software Foundation）引入并成为）引入并成为开源应用。开源应用。Hadoop本身不是一个产品，而是由本身不是一个产品，而是由多个软件产品组成的一个生态系统。多个软件产品组成的一个生态系统。从技术上看，从技术上看，Hadoop关键服务主要包括：采

4、用关键服务主要包括：采用Hadoop分布式文件系统（分布式文件系统（HDFS）的可靠数据存）的可靠数据存储服务；储服务；MapReduce技术的高性能并行数据处技术的高性能并行数据处理服务。这两项服务为实现结构化和复杂数据的理服务。这两项服务为实现结构化和复杂数据的快速、可靠分析奠定了基础。快速、可靠分析奠定了基础。61.1 大数据的发展历史大数据的发展历史2008 年，美国年，美国“计算社区联盟计算社区联盟”（Computing Community Consortium）发表了一份具有影响力的白皮书发表了一份具有影响力的白皮书大大数据计算：在商务、科学和社会领域创造数据计算：在商务、科学和社

5、会领域创造革命性突破革命性突破2009年，美国政府通过启动年，美国政府通过启动Data.gov网站网站的方式进一步开放数据大门，并向公众提的方式进一步开放数据大门，并向公众提供各种各样的政府数据供各种各样的政府数据71.1 大数据的发展历史大数据的发展历史2010年年2月，肯尼斯月，肯尼斯库克尔在库克尔在经济学人经济学人上发表长达上发表长达14页的大数据专题报告页的大数据专题报告数据，无所不在的数据数据，无所不在的数据2011年年2月，月，IBM的沃森超级计算机每秒扫的沃森超级计算机每秒扫描并分析描并分析4TB（约（约2亿页的文字量）的数据，亿页的文字量）的数据，并在美国著名智力竞赛电视节目并

6、在美国著名智力竞赛电视节目危险边危险边缘缘（Jeopardy）上击败两名人类选手而）上击败两名人类选手而夺冠夺冠81.1 大数据的发展历史大数据的发展历史2011年年5月，全球知名咨询公司麦肯锡全球月，全球知名咨询公司麦肯锡全球研究院（研究院（McKinsey Global Institute，MGI）发布一份报告）发布一份报告大数据：创新、大数据：创新、竞争和生产力的下一个新领域竞争和生产力的下一个新领域2011年年12月，工业和信息化部发布的月，工业和信息化部发布的物物联网联网“十二五十二五”发展规划发展规划中，信息处理中，信息处理技术作为四项关键技术的创新工程之一被技术作为四项关键技术的

7、创新工程之一被提出来，其中包括海量数据存储、数据挖提出来，其中包括海量数据存储、数据挖掘、图像视频智能分析，这些都是大数据掘、图像视频智能分析，这些都是大数据的重要组成部分的重要组成部分91.1 大数据的发展历史大数据的发展历史2012年年3月，美国政府在白宫网站发布月，美国政府在白宫网站发布大大数据研究和发展倡议数据研究和发展倡议，这一倡议标志着，这一倡议标志着大数据已经成为重要的时代特征；美国政大数据已经成为重要的时代特征；美国政府宣布投资府宣布投资2亿美元以推动大数据技术发展，亿美元以推动大数据技术发展，是大数据技术从商业行为上升到国家科技是大数据技术从商业行为上升到国家科技战略的分水岭

8、战略的分水岭2012年年7月，联合国在纽约发布一份关于大月，联合国在纽约发布一份关于大数据政务的白皮书，总结各国政府如何利数据政务的白皮书，总结各国政府如何利用大数据更好地服务和保护人民用大数据更好地服务和保护人民101.1 大数据的发展历史大数据的发展历史2012年年7月，为挖掘大数据的价值，阿里巴月，为挖掘大数据的价值，阿里巴巴集团全面推进巴集团全面推进“数据分享平台数据分享平台”战略，战略，并推出大型的数据分享平台并推出大型的数据分享平台“聚石塔聚石塔”，为天猫、淘宝平台上的电商及电商服务商为天猫、淘宝平台上的电商及电商服务商等提供数据云服务等提供数据云服务2014年年4月，世界经济论坛

9、以月，世界经济论坛以“大数据的回大数据的回报与风险报与风险”为主题发布了为主题发布了全球信息技术全球信息技术报告（第报告（第13版）版）111.1 大数据的发展历史大数据的发展历史2014年年5月，美国发布月，美国发布大数据：把握机遇，大数据：把握机遇，守护价值守护价值白皮书，再次重申要把握大数白皮书，再次重申要把握大数据可为经济社会发展带来创新动力的重大据可为经济社会发展带来创新动力的重大机遇机遇2018年年10月，中国国际大数据大会聚焦大月，中国国际大数据大会聚焦大数据产业高质量发展，围绕数据产业高质量发展，围绕“大数据与实大数据与实体经济深度融合体经济深度融合”，从生态完善、技术突，从生

10、态完善、技术突破、融合应用、环境优化等维度进行了讨破、融合应用、环境优化等维度进行了讨论，并且把大数据安全作为一个重要的研论，并且把大数据安全作为一个重要的研究领域究领域121.2大数据的基本特征大数据的基本特征海量的数据规模（海量的数据规模（volume）快速的数据流转和动态的数据体系快速的数据流转和动态的数据体系（velocity）多样的数据类型（多样的数据类型（variety）低价值密度（低价值密度（value）真实性（真实性（veracity）131.2大数据的基本特征大数据的基本特征海量的数据规模（海量的数据规模（volume）l根据IDC作出的估测，数据一直都在以每年50%的速度增

11、长，也就是说每两年就增长一倍（大数据摩尔定律）：即人类在最近两年产生的数据量相当于之前产生的全部数据量141Byte = 23 Bit1KB = 210 Bytes1MB = 220 Bytes1GB = 230 Bytes1TB = 240 Bytes1PB = 250 Bytes1EB = 260 Bytes1ZB = 270 Bytes （2020年）1YB = 280 Bytes = 1.2x10241.2大数据的基本特征大数据的基本特征快速的数据流转快速的数据流转151.2大数据的基本特征大数据的基本特征多样的数据类型（多样的数据类型（variety）10%的结构化数据，存储在数据库

12、中的结构化数据，存储在数据库中90%的非结构化数据，它们与人类信息密切相的非结构化数据，它们与人类信息密切相关关161.2大数据的基本特征大数据的基本特征低价值密度（低价值密度（value）171.2大数据的基本特征大数据的基本特征真实性（真实性（veracity）l微博、微信、支付宝、淘宝微博、微信、支付宝、淘宝l企业物联网企业物联网181.2大数据的基本特征大数据的基本特征讨论讨论 大数据大数据 = 海量数据？海量数据？191.3 大数据处理框架大数据处理框架按照计算的类型，大数据处理框架可以划按照计算的类型，大数据处理框架可以划分为：分为：l离线计算：数据相对固定，量大离线计算：数据相对

13、固定，量大l批量计算：数据间断更新，中大规模批量计算：数据间断更新，中大规模l实时计算：强调响应时间，量小实时计算：强调响应时间，量小l流式计算：流式计算： 数据连续动态更新或增加，量小数据连续动态更新或增加，量小批处理框架（如批处理框架（如Hadoop）、流处理框架）、流处理框架 （如（如Storm）和混合框架（如）和混合框架（如Spark， Flink）201.3 大数据处理框架大数据处理框架Hadoop HDFS和和MapReducel主要支持离线和批量计算主要支持离线和批量计算l数据存储在分布式集群文件系统数据存储在分布式集群文件系统HDFSl计算使用计算使用MapReduce组件组件

14、优点：优点：l易于编程、扩展性强、高容错性、易于编程、扩展性强、高容错性、PB级级缺点缺点l不支持实时（毫秒响应）不支持实时（毫秒响应）l不擅长流式不擅长流式l不擅长不擅长DAG计算（多次读写）计算（多次读写）211.3 大数据处理框架大数据处理框架流处理框架流处理框架 （如（如Storm）l低延迟（毫秒）、分布式、高性能、可扩展、低延迟（毫秒）、分布式、高性能、可扩展、无数据丢失、高容错无数据丢失、高容错l无状态：任务和心跳保存在无状态：任务和心跳保存在Zookeeper应用应用l实时分析、在线机器学习、分布式远程调用实时分析、在线机器学习、分布式远程调用l网站（服务器）性能监控网站（服务器

15、）性能监控221.3 大数据处理框架大数据处理框架大数据编程语言大数据编程语言lPythonlJava231.4 大数据技术的主要应用领域大数据技术的主要应用领域大数据技术目前已广泛应用于公共事业、大数据技术目前已广泛应用于公共事业、消费、金融、工业、医疗、农业等领域，消费、金融、工业、医疗、农业等领域，成为促进国民经济快速发展的重要科技力成为促进国民经济快速发展的重要科技力量量241.4 大数据技术的主要应用领域大数据技术的主要应用领域在社会发展方面，数据挖掘，大数据决策在社会发展方面，数据挖掘，大数据决策逐渐成为一种新的决策方式，大数据应用逐渐成为一种新的决策方式，大数据应用有力促进了信息

16、技术与各行业的深度融合，有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的大数据开发大大推动了新技术和新应用的不断涌现不断涌现在就业市场方面，大数据的兴起使得数据在就业市场方面，大数据的兴起使得数据科学家成为热门职业科学家成为热门职业在人才培养方面，大数据的兴起，将在很在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业大程度上改变中国高校信息技术相关专业的现有教学和科研体制的现有教学和科研体制251.4 大数据技术的主要应用领域大数据技术的主要应用领域大数据技术在消费领域的应用大数据技术在消费领域的应用l例例1：通过对顾客消费数据的建模分析，顾客：

17、通过对顾客消费数据的建模分析，顾客数据分析部选出数据分析部选出25种典型商品的消费数据构建种典型商品的消费数据构建“怀孕预测指数怀孕预测指数”，可以在很小的误差范围内，可以在很小的误差范围内预测顾客的怀孕情况，以便能早早把孕妇优惠预测顾客的怀孕情况，以便能早早把孕妇优惠广告寄给顾客广告寄给顾客l例例2：沃尔玛在对消费者购物行为进行分析时：沃尔玛在对消费者购物行为进行分析时发现，男性顾客在购买婴儿尿布时，常常会顺发现，男性顾客在购买婴儿尿布时，常常会顺便搭配几瓶啤酒来犒劳自己，于是推出将啤酒便搭配几瓶啤酒来犒劳自己，于是推出将啤酒和尿布捆绑销售的促销手段和尿布捆绑销售的促销手段261.4 大数据

18、技术的主要应用领域大数据技术的主要应用领域大数据技术在金融领域的应用大数据技术在金融领域的应用l例例1：精准营销是基于行为数据预测用户的偏：精准营销是基于行为数据预测用户的偏好和兴趣，继而推荐合适的金融产品好和兴趣，继而推荐合适的金融产品l例例2：大数据风控的两个应用分别为信用风险：大数据风控的两个应用分别为信用风险和欺诈风险，均是通过分析历史事件，找到其和欺诈风险，均是通过分析历史事件，找到其内在规律构建模型，然后用新的数据去验证和内在规律构建模型，然后用新的数据去验证和优化该模型优化该模型271.4 大数据技术的主要应用领域大数据技术的主要应用领域大数据技术在工业领域的应用大数据技术在工业

19、领域的应用l产品创新挖掘和分析产品创新挖掘和分析l产品销售预测与需求管理产品销售预测与需求管理l产品质量管理与分析产品质量管理与分析l产品故障诊断与预测产品故障诊断与预测l生产计划与排程生产计划与排程l工业供应链的分析和优化工业供应链的分析和优化l工业物联网生产线建设工业物联网生产线建设l工业污染与环境监测工业污染与环境监测281.4 大数据技术的主要应用领域大数据技术的主要应用领域大数据技术在医疗领域的应用大数据技术在医疗领域的应用291.4 大数据技术的主要应用领域大数据技术的主要应用领域大数据技术在农业领域的应用大数据技术在农业领域的应用l农业自然资源与环境数据农业自然资源与环境数据l农

20、业生产数据，主要是指种植业生产数据和养农业生产数据，主要是指种植业生产数据和养殖业生产数据殖业生产数据l农业市场数据，主要是指市场供求信息、价格农业市场数据，主要是指市场供求信息、价格行情、生产资料市场信息、价格及利润、流通行情、生产资料市场信息、价格及利润、流通市场和国际市场信息等市场和国际市场信息等l农业管理数据，主要是指国民经济基本信息、农业管理数据，主要是指国民经济基本信息、国内生产信息、贸易信息、国际农产品动态信国内生产信息、贸易信息、国际农产品动态信息和突发事件信息等息和突发事件信息等301.4 大数据技术的主要应用领域大数据技术的主要应用领域 大数据大数据 + 人工智能人工智能

21、= 机器人？机器人？31总结总结本章先后介绍了大数据的发展历史，大数本章先后介绍了大数据的发展历史，大数据的基本特征，大数据处理框架，以及大据的基本特征，大数据处理框架，以及大数据技术的主要应用领域。需要重点掌握数据技术的主要应用领域。需要重点掌握大数据的基本概念和特征，并了解相关技大数据的基本概念和特征，并了解相关技术框架和工具及其应用。术框架和工具及其应用。大数据技术已经初步成熟，并产生了一系大数据技术已经初步成熟，并产生了一系列相关产业和经济效益，掌握好这些技术列相关产业和经济效益，掌握好这些技术对大家今后在专业领域深入发展和工作都对大家今后在专业领域深入发展和工作都有重要帮助。有重要帮

22、助。32谢谢 谢！谢！33第第2章章大数据处理平台大数据处理平台Hadoop本章主要内容本章主要内容Hadoop是一种分布式系统基础架构，以分是一种分布式系统基础架构，以分布式文件系统布式文件系统HDFS和和MapReduce等模块等模块为核心，为用户提供细节透明的系统底层为核心，为用户提供细节透明的系统底层分布式基础架构。用户能够通过分布式基础架构。用户能够通过Hadoop轻轻松地组织计算机资源，搭建分布式计算平松地组织计算机资源，搭建分布式计算平台，并充分应用台，并充分应用Hadoop集群的计算和存储集群的计算和存储能力完成海量数据的处理。能力完成海量数据的处理。本章内容包括本章内容包括H

23、adoop简介、简介、Hadoop的架的架构与组成构与组成第第2章章 大数据技术概述大数据技术概述2.1 Hadoop简介简介2.2 Hadoop架构与组成架构与组成2.1 Hadoop简介简介HHadoop是基于是基于Java语言开发的，具有很好的语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群跨平台特性，并且可以部署在廉价的计算机集群中。中。Hadoop框架中最核心的是框架中最核心的是HDFS和和MapReduce。HDFS（Hadoop distributed file system）是一）是一种种Hadoop分布式文件系统，它为分布式计算存分布式文件系统，它为分布式计算

24、存储提供了底层支持储提供了底层支持Hadoop MapReduce提供对数据的计算，简单提供对数据的计算，简单地讲，就是地讲，就是“对任务的分解与结果的汇总对任务的分解与结果的汇总”。2.1 Hadoop简介简介Hadoop特性特性高效性高可靠性高扩展性支持多种语言高容错性运行在Linux上低成本2.1 Hadoop简介简介Hadoop从从2007推出后，被多个公司支持推出后，被多个公司支持和使用，例如和使用，例如Yahoo，Facebook，Cloudera，Mcrosoft，Amazon，IBM，Google，Oracle等，国内阿里、百度、腾等，国内阿里、百度、腾讯等公司也支持。讯等公司

25、也支持。2.2 Hadoop架构与组成架构与组成Hadoop分布式系统基础框架具有极大的可分布式系统基础框架具有极大的可扩展性，用户可以在不了解分布式底层细扩展性，用户可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集节的情况下开发分布式程序，充分利用集群的威力进行高速运算和存储群的威力进行高速运算和存储2.2 Hadoop架构与组成架构与组成2.2 Hadoop架构与组成架构与组成Hadoop 1.x和和2.x版本的差别版本的差别2.2 Hadoop架构与组成架构与组成MapReduce是一个用于编写并行处理大数是一个用于编写并行处理大数据集的应用程序软件框架。据集的应用程序软件框

26、架。MapReduce作作业分割大型数据集并将数据组织成键值对业分割大型数据集并将数据组织成键值对进行处理进行处理HDFS是是HDInsight上上Hadoop集群的标准集群的标准文件系统。文件系统。HDFS以流式数据访问模式来存以流式数据访问模式来存储超大文件，运行于商用硬件集群上。它储超大文件，运行于商用硬件集群上。它的构建思路是：一次写入、多次读取是最的构建思路是：一次写入、多次读取是最高效的访问模式高效的访问模式2.2 Hadoop架构与组成架构与组成HBase是一个分布式的、面向列的开源数是一个分布式的、面向列的开源数据库，该技术来源于据库，该技术来源于 Fay Chang 所撰写的

27、所撰写的Google论文论文“Bigtable：一个结构化数：一个结构化数据的分布式存储系统据的分布式存储系统”。HBase可以实现可以实现实时地随机访问超大规模数据集实时地随机访问超大规模数据集Apache Pig是一个高级平台，允许使用一是一个高级平台，允许使用一种简化脚本语言（种简化脚本语言（Pig Latin）对超大型数）对超大型数据集执行复杂的据集执行复杂的MapReduce转换。转换。Pig为为大型数据集的处理提供更高层次的抽象。大型数据集的处理提供更高层次的抽象。2.2 Hadoop架构与组成架构与组成Apache Hive是构建于是构建于Hadoop上的一个数上的一个数据仓库软

28、件，允许使用类似于据仓库软件，允许使用类似于SQL的语言的语言（称为（称为HiveQL）来查询和管理分布式存储）来查询和管理分布式存储中的大型数据集。中的大型数据集。Hive是一种基于是一种基于MapReduce的抽象。在运行时，的抽象。在运行时，Hive会将会将查询转换为一系列查询转换为一系列MapReduce作业。作业。Hive比比Pig在概念上更接近于关系数据库管在概念上更接近于关系数据库管理系统，因此适用于结构化程度更高的数理系统，因此适用于结构化程度更高的数据据2.2 Hadoop架构与组成架构与组成Apache Mahout是在是在Hadoop上运行的一上运行的一种可扩展的计算机学

29、习算法库。计算机学种可扩展的计算机学习算法库。计算机学习应用程序采用的是统计学原理，使系统习应用程序采用的是统计学原理，使系统学习数据并使用以往的结果来确定将来的学习数据并使用以往的结果来确定将来的行为。行为。Apache Oozie是一种管理是一种管理Hadoop作业的作业的工作流协调系统。通过与工作流协调系统。通过与Hadoop堆栈集成堆栈集成后，能够支持后，能够支持MapReduce、Pig、Hive和和Sqoop的的Hadoop作业；也能用于安排特定作业；也能用于安排特定于某系统的作业，例如于某系统的作业，例如Java程序或程序或Shell脚脚本。本。2.2 Hadoop架构与组成架构

30、与组成Apache Sqoop是一种用于在是一种用于在Hadoop和关和关系数据库（如系数据库（如SQL）或其他结构化数据存）或其他结构化数据存储之间尽可能高效地传输批量数据的工具。储之间尽可能高效地传输批量数据的工具。Apache ZooKeeper通过数据寄存器的共通过数据寄存器的共享层次结构命名空间（享层次结构命名空间（ZNode），协调大），协调大型分布式系统中的进程。型分布式系统中的进程。ZNode包含协调包含协调流程所需的少量元数据信息，如状态、位流程所需的少量元数据信息，如状态、位置、配置等。置、配置等。谢谢 谢！谢！第第3章章分布式文件系统分布式文件系统HDFS本章主要内容本章

31、主要内容要实现大数据的存储，需要使用几十台、要实现大数据的存储，需要使用几十台、几百台甚至更多的分布式服务器节点。为几百台甚至更多的分布式服务器节点。为了统一管理这些节点上存储的数据，必须了统一管理这些节点上存储的数据，必须使用一种特殊的文件系统使用一种特殊的文件系统分布式文件分布式文件系统。系统。本章主要介绍分布式文件系统本章主要介绍分布式文件系统HDFS的基本的基本特征、体系架构、数据存储及访问方法，特征、体系架构、数据存储及访问方法，在此基础上进一步介绍在此基础上进一步介绍HDFS的文件操作命的文件操作命令、编程接口和编程示例。令、编程接口和编程示例。第第3章章 分布式文件系统分布式文件

32、系统HDFS3.1 HDFS简介简介3.2 HDFS体系架构体系架构3.3 HDFS数据读写过程数据读写过程3.4 保障保障HDFS可靠性的措施可靠性的措施3.5 HDFS Shell3.6 HDFS Java API编程实践编程实践3.1 HDFS简介简介HDFS是是Hadoop的核心技术之一。它为大数据平的核心技术之一。它为大数据平台的其他所有组件提供了最基本的存储功能，其台的其他所有组件提供了最基本的存储功能，其高容错、高可靠、高可扩展、高获得性、高吞吐高容错、高可靠、高可扩展、高获得性、高吞吐率等特征为大数据存储和处理提供了强大的底层率等特征为大数据存储和处理提供了强大的底层存储架构。

33、因此，它是大数据平台的基础。参照存储架构。因此，它是大数据平台的基础。参照Google于于2003年年10月提出的月提出的GFS（Google file system），），Apache实现了实现了Hadoop版的分布式版的分布式文件系统文件系统HDFS，由于，由于HDFS自身的成熟稳定，加自身的成熟稳定，加之用户众多，之用户众多，HDFS已经成为当前分布式存储的已经成为当前分布式存储的事实标准。事实标准。3.1 HDFS简介简介HDFS特点特点l（1）运行在廉价硬件之上）运行在廉价硬件之上l（2）适合存储超大文件）适合存储超大文件l（3）流式数据访问）流式数据访问3.2 HDFS体系架构体系

34、架构HDFS采用主采用主/从（从（master/slave）架构。）架构。术语解释术语解释1. 数据块数据块l为了提高硬盘的效率，文件系统中最小的数据为了提高硬盘的效率，文件系统中最小的数据读写单位不是字节，而是一种数据块。读写单位不是字节，而是一种数据块。lHDFS同样也有块（同样也有块（Block）的概念，将文件划）的概念，将文件划分为一系列的块来存储。与一般文件系统大小分为一系列的块来存储。与一般文件系统大小为若干字节的数据块不同，为若干字节的数据块不同，Hadoop 2.x中中HDFS数据块的默认大小是数据块的默认大小是128MB，比文件系，比文件系统上的数据块大了几千倍，而且数据块的

35、大小统上的数据块大了几千倍，而且数据块的大小可以随着实际需要而变化，配置项为可以随着实际需要而变化，配置项为hdfs-site.xml文件中的文件中的dfs.block.size。术语解释术语解释1. 数据块数据块lHDFS采用多副本方式对数据进行冗余存储。采用多副本方式对数据进行冗余存储。通常一个数据块的多个副本会被分布到不同的通常一个数据块的多个副本会被分布到不同的数据节点上。在数据节点上。在hdfs-site.xml文件中，通过配文件中，通过配置项置项dfs.replication来设置每个来设置每个HDFS块在块在Hadoop集群中保存的份数，值越大，冗余性集群中保存的份数，值越大，冗

36、余性越好，占用存储也越多，默认值为越好，占用存储也越多，默认值为3，即有，即有2份份冗余。冗余。HDFS数据块多副本机制数据块多副本机制术语解释术语解释1. 数据块数据块l多副本策略优点多副本策略优点 （1）加快数据传输速度。）加快数据传输速度。 （2）容易检查数据错误。）容易检查数据错误。 （3）保证数据的可靠性。）保证数据的可靠性。术语解释术语解释2. 心跳心跳l心跳是心跳是DataNode定期向定期向NameNode汇报的信息集合。汇报的信息集合。lHDFS中主节点中主节点NameNode并不会主动连接从节点并不会主动连接从节点DataNode，而是由，而是由DataNode主动发起。正

37、常运行时，主动发起。正常运行时，每次通信都由每次通信都由DataNode主动发起，主动发起，NameNode会根据会根据心跳包判断此心跳包判断此DataNode的当前状态，当的当前状态，当NameNode需需要向要向DataNode发出相关存取命令时，也是通过发出相关存取命令时，也是通过“应答应答心跳包心跳包”传送的。传送的。l如果如果NameNode在心跳包最大间隔时间内依旧接收不在心跳包最大间隔时间内依旧接收不到某到某DataNode的心跳包，的心跳包，NameNode会认为此会认为此DataNode已失效，并将此已失效，并将此DataNode标记为标记为“DeadNodes”。3.2.1

38、 NameNodeNameNode是是HDFS的主进程名，整个集的主进程名，整个集群中只有一个，通常称运行群中只有一个，通常称运行NameNode进进程的节点为名称节点。程的节点为名称节点。NameNode三大功能：三大功能：l（1）管理）管理HDFS命名空间命名空间l（2）协调整个）协调整个HDFS存取存取l（3）应答客户端存取请求）应答客户端存取请求3.2.1 NameNodeNameNode存在单点故障，目前解决方案：存在单点故障，目前解决方案：lHigh Availability with QJMlHigh Availability with NFSlHDFS Federation3.

39、2.2 DataNodeDataNode是是HDFS的从进程名，整个集群中有多的从进程名，整个集群中有多个，通常称运行个，通常称运行DataNode进程的节点为数据节进程的节点为数据节点。点。DataNode在本地文件系统上以块的形式存放在本地文件系统上以块的形式存放HDFS文件，文件，DataNode无法感知文件的存在。对无法感知文件的存在。对外服务时，外服务时，DataNode会按照会按照Client和和NameNode的要求，针对特定块进行读写和复制的要求，针对特定块进行读写和复制操作。操作。HDFS块文件存放在块文件存放在DataNode块目录下块目录下（默认目录是（默认目录是$(df

40、s.data.dir)/current），块的文），块的文件名为件名为blk_blkID。3.2.3 ClientClient是欲使用集群存储服务的机器，显然是欲使用集群存储服务的机器，显然Client上至少应当有一套上至少应当有一套NameNode访问访问协议。事实上，协议。事实上，Client上也只需要此类协议上也只需要此类协议以及相关支持命令、以及相关支持命令、jar包，并不需要任何包，并不需要任何守护进程。守护进程。3.2 HDFS体系架构体系架构NameNode、DataNode和和Client关系关系l（1）NameNode管理所有管理所有DataNode，两者之，两者之间是管理和

41、被管理的关系，间是管理和被管理的关系，DataNode主动向主动向NameNode发送心跳包，发送心跳包，NameNode并不会主并不会主动询问动询问DataNode。l（2）各个）各个DataNode之间是对等的，没有特别之间是对等的，没有特别联系，不过在块复制等操作时，联系，不过在块复制等操作时，DataNode之之间会有大量的间会有大量的RPC调用，此时它们会在调用，此时它们会在NameNode的指挥下协作完成数据存取服务。的指挥下协作完成数据存取服务。3.2 HDFS体系架构体系架构NameNode、DataNode和和Client关系关系l（3）Client和和NameNode之间是

42、服务与被服之间是服务与被服务的关系，务的关系，NameNode为为Client提供服务，提供服务，Client则按使用者需求向则按使用者需求向NameNode发出相关发出相关存取请求，对于特定集群而言，存取请求，对于特定集群而言，NameNode是是固定的，固定的，Client是不断变化的。是不断变化的。l（4）Client和和DataNode之间根本无关系可言，之间根本无关系可言，实际上，实际上，Client并不知道也不应当知道并不知道也不应当知道DataNode的存在，只是在访问具体数据时，的存在，只是在访问具体数据时，NameNode会要求会要求Client到某特定到某特定DataNod

43、e上进行存取。上进行存取。3.3 HDFS数据读写过程数据读写过程HDFS客户端可以通过多种不同方式（如客户端可以通过多种不同方式（如Shell命令、命令、Java API等）对等）对HDFS进行读进行读写操作。写操作。3.3.1 读取数据读取数据3.3.1 读取数据读取数据（1）使用）使用HDFS提供的客户端开发库提供的客户端开发库Client，向远程的，向远程的NameNode发起请求。发起请求。（ 2）NameNode会视情况返回文件的部会视情况返回文件的部分或者全部分或者全部Block列表，对于每个列表，对于每个Block，NameNode都会返回由该都会返回由该Block复制的复制的

44、DataNode地址。地址。（ 3）客户端开发库）客户端开发库Client会选取离客户端会选取离客户端最接近的最接近的DataNode来读取来读取Block；如果客；如果客户端本身就是户端本身就是DataNode，那么将从本地直，那么将从本地直接获取数据。接获取数据。3.3.1 读取数据读取数据（ 4）读取完当前）读取完当前Block的数据后，关闭与当前的数据后，关闭与当前DataNode的连接，并为读取下一个的连接，并为读取下一个Block寻找最寻找最佳的佳的DataNode。（ 5）当读完列表的）当读完列表的Block后，且文件读取还没有后，且文件读取还没有结束，客户端开发库结束，客户端开

45、发库Client会继续向会继续向NameNode获取下一批的获取下一批的Block列表。列表。（ 6）读取完一个）读取完一个Block会进行会进行checksum验证，验证，如果读取如果读取DataNode时出现错误，客户端会通知时出现错误，客户端会通知NameNode，然后再从下一个拥有该，然后再从下一个拥有该Block复制复制的的DataNode地址继续读。地址继续读。3.3.2 写入数据写入数据3.3.2 写入数据写入数据（1）使用）使用HDFS提供的客户端开发库提供的客户端开发库Client，向，向远程的远程的NameNode发起发起RPC请求。请求。（2）NameNode会检查要创建

46、的文件是否已经会检查要创建的文件是否已经存在，创建者是否有权限进行该操作，检查成功存在，创建者是否有权限进行该操作，检查成功则会为文件创建一个记录，否则客户端抛出异常。则会为文件创建一个记录，否则客户端抛出异常。（3）当客户端开始写入文件时，会将文件切分）当客户端开始写入文件时，会将文件切分成多个成多个packet，并在内部以数据队列（，并在内部以数据队列（data queue）的形式管理这些）的形式管理这些packet，并向，并向NameNode申请新的申请新的Block，获取用来存储，获取用来存储replicas合适的合适的DataNode列表，列表的大小根据列表，列表的大小根据在在Nam

47、eNode中对中对replication的设置而定。的设置而定。3.3.2 写入数据写入数据（4）开始以）开始以pipeline（管道）的形式将（管道）的形式将packet写写入所有的入所有的replicas中。把中。把packet以流的方式写入以流的方式写入第一个第一个DataNode，此，此DataNode把把packet存储之存储之后，再将其传递给在此后，再将其传递给在此pipeline中的下一个中的下一个DataNode，直到最后一个，直到最后一个DataNode完成写入操完成写入操作，这种写数据的方式呈流水线的形式。作，这种写数据的方式呈流水线的形式。（5）最后一个）最后一个Data

48、Node成功存储之后会返回一成功存储之后会返回一个个ack packet，在，在pipeline里传递至客户端，在里传递至客户端，在客户端的开发库内部维护客户端的开发库内部维护ack queue，成功收到，成功收到DataNode返回的返回的ack packet后会从后会从ack queue移除相应的移除相应的packet。3.3.2 写入数据写入数据（6）如果传输过程中，有某个）如果传输过程中，有某个DataNode出现故出现故障，那么当前的障，那么当前的pipeline会被关闭，出现故障的会被关闭，出现故障的DataNode会从当前的会从当前的pipeline中移除，剩余的中移除，剩余的B

49、lock会在剩下的会在剩下的DataNode中继续以中继续以pipeline的的形式传输，同时，形式传输，同时，NameNode会分配一个新的会分配一个新的DataNode，保持，保持replicas设定的数量。设定的数量。3.4 保障保障HDFS可靠性的措施可靠性的措施3.4.1 冗余备份冗余备份lHDFS文件的所有数据块都有副本。文件的所有数据块都有副本。HDFS文件文件都是一次性写入的，并且严格限制为任何时候都是一次性写入的，并且严格限制为任何时候都只有一个写用户。都只有一个写用户。DataNode使用本地文件使用本地文件系统存储系统存储HDFS的数据，但是它对的数据，但是它对HDFS的

50、文件的文件一无所知，只是用一个个文件存储一无所知，只是用一个个文件存储HDFS的每的每个数据块。当个数据块。当DataNode启动时，它会遍历本启动时，它会遍历本地文件系统，产生一份地文件系统，产生一份HDFS数据块和本地文数据块和本地文件对应关系的列表，并把这个报告发给件对应关系的列表，并把这个报告发给NameNode，这就是块报告。块报告包括，这就是块报告。块报告包括DataNode上所有块的列表。上所有块的列表。3.4 保障保障HDFS可靠性的措施可靠性的措施3.4.2 副本存放副本存放l副本存放策略很关键，机架内节点之间的带宽副本存放策略很关键，机架内节点之间的带宽比跨机架节点之间的带