Chapter1-Spark编程基础-第1章-大数据技术概述(2018年2月).ppt

《Chapter1-Spark编程基础-第1章-大数据技术概述(2018年2月).ppt》由会员分享，可在线阅读，更多相关《Chapter1-Spark编程基础-第1章-大数据技术概述(2018年2月).ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Spark编程基础厦门大学计算机科学系林子雨厦门大学计算机科学系 2018版林子雨林子雨厦门大学计算机科学系厦门大学计算机科学系E-mail:主页：主页：http:/ 大数据大数据技术技术概述概述（PPT版本号：版本号：2018年年2月）月）温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字Spark编程基础编程基础教材官网：http:/ 大数据时代大数据时代1.2 大数据概念大数据概念1.3 大数据的影响大数据的影响1.4 大数据关键技术大数据关键技术1.5 大数据计算模式大数据计算模式1.6 代表性大数据技术代表性大数据技术百度搜索厦门大学数据库实验室网站访问平台Spark编

2、程基础厦门大学计算机科学系林子雨1.1大数据时代Spark编程基础厦门大学计算机科学系林子雨1.1.1第三次信息化浪潮根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革信息化浪潮信息化浪潮发生时间发生时间标志标志解决问题解决问题代表企业代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计算和大数据信息爆炸将涌现出一批新的市场标杆企业表表1 三次信息化浪潮三次信息化浪潮Spark编程基础厦门大学计算机科学系林子

3、雨1.1.2信息科技为大数据时代提供技术支撑图1-1存储价格随时间变化情况1.存储设备容量不断增加存储设备容量不断增加Spark编程基础厦门大学计算机科学系林子雨1.1.2信息科技为大数据时代提供技术支撑来自斯威本科技大学（SwinburneUniversityofTechnology）的研究团队，在2013年6月29日刊出的自然通讯（NatureCommunications）杂志的文章中，描述了一种全新的数据存储方式，可将1PB（1024TB）的数据存储到一张仅DVD大小的聚合物碟片上。Spark编程基础厦门大学计算机科学系林子雨1.1.2信息科技为大数据时代提供技术支撑图CPU晶体管数目随

4、时间变化情况2.CPU处理能力大幅提升处理能力大幅提升Spark编程基础厦门大学计算机科学系林子雨1.1.2信息科技为大数据时代提供技术支撑图网络带宽随时间变化情况3.网络带宽不断增加网络带宽不断增加Spark编程基础厦门大学计算机科学系林子雨1.1.3数据产生方式的变革促成大数据时代的来临图数据产生方式的变革Spark编程基础厦门大学计算机科学系林子雨1.2大数据概念Spark编程基础厦门大学计算机科学系林子雨1.2.1数据量大n根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）n人类在最近两年产生的数据量相当于之前产生的全部数据量n预计到2

5、020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍Spark编程基础厦门大学计算机科学系林子雨1.2.2数据类型繁多n大数据是由结构化和非结构化数据组成的10%的结构化数据，存储在数据库中90%的非结构化数据，它们与人类信息密切相关p科学研究基因组LHC加速器地球与空间探测p企业应用Email、文档、文件应用日志交易记录pWeb1.0数据文本图像视频pWeb 2.0数据查询日志/点击流Twitter/Blog/SNSWikiSpark编程基础厦门大学计算机科学系林子雨1.2.3处理速度快p从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少p1秒定律：这

6、一点也是和传统的数据挖掘技术有着本质的不同Spark编程基础厦门大学计算机科学系林子雨1.2.4价值密度低价值密度低，商业价值高价值密度低，商业价值高以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值继续装ingSpark编程基础厦门大学计算机科学系林子雨1.3大数据的影响图灵奖获得者、著名数据库专家JimGray博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式实验理论计算数据Spark编程基础厦门大学计算机科学系林子雨1.3大数据的影响在思维方式方面，大数据完全颠覆了传统的思维方式：全样而非抽样效率而非精确相关而非因果Spa

7、rk编程基础厦门大学计算机科学系林子雨1.4大数据关键技术表1-5 大数据技术的不同层面及其功能技技术层术层面面功能功能数据采集利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析数据存储和管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理数据处理与分析利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处

8、理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据数据隐私和安全在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全Spark编程基础厦门大学计算机科学系林子雨1.4大数据关键技术分布式存储分布式处理GFSHDFSBigTableHBaseNoSQL（键值、列族、图形、文档数据库）NewSQL（如：SQLAzure）MapReduce大数据两大核心技术Spark编程基础厦门大学计算机科学系林子雨1.5大数据计算模式大数据计算模式大数据计算模式解决问题解决问题代表产品代表产品批处理计算针对大规模数据的批量处理MapR

9、educe、Spark等流计算针对流数据的实时计算Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等图计算针对大规模图结构数据的处理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查询分析计算大规模数据的存储管理和查询分析Dremel、Hive、Cassandra、Impala等表1-3大数据计算模式及其代表产品Spark编程基础厦门大学计算机科学系林子雨1.6代表性大数据技术1.6.1Hadoop1.6.2Spark1.6.3Flink1.6.4BeamSpark编程基础厦门大学计

10、算机科学系林子雨1.6.1Hadoop图Hadoop生态系统Spark编程基础厦门大学计算机科学系林子雨1.6.1HadoopMapReduce图MapReduce工作流程ShuffleMapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算MapReduce采用“分而治之分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理Spark编程基础厦门大学计算机科学系林子

11、雨1.6.1HadoopYARN一个企业当中同时存在各种不同的业务应用场景，需要采用不同的计算框架MapReduce实现离线批处理使用Impala实现实时交互式查询分析使用Storm实现流式数据实时分析使用Spark实现迭代计算这些产品通常来自不同的开发团队，具有各自的资源调度管理机制为了避免不同类型应用之间互相干扰，企业就需要把内部的服务器拆分成多个集群，分别安装运行不同的计算框架，即“一个框架一个集群”导致问题集群资源利用率低数据无法共享维护代价高YARN的目标就是实现的目标就是实现“一个集群多个框架一个集群多个框架”，为什么？，为什么？Spark编程基础厦门大学计算机科学系林子雨图 在Y

12、ARN上部署各种计算框架YARN的目标就是实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架YARN，在YARN之上可以部署其他各种计算框架由YARN为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩可以实现一个集群上的不同应用负载混搭，有效提高了集群的利用率不同计算框架可以共享底层存储，避免了数据集跨集群移动1.6.1HadoopYARNSpark编程基础厦门大学计算机科学系林子雨1.6.2SparkSpark架构图Spark编程基础厦门大学计算机科学系林子雨1.6.2SparkSpark生态系

13、统Spark编程基础厦门大学计算机科学系林子雨1.6.2SparkHadoop存在如下一些缺点：表达能力有限磁盘IO开销大延迟高任务之间的衔接涉及IO开销在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Hadoop与Spark的对比Spark编程基础厦门大学计算机科学系林子雨1.6.2SparkSpark在借鉴HadoopMapReduce优点的同时，很好地解决了MapReduce所面临的问题相比于Hadoop MapReduce，Spark主要具有如下优点：Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型

14、，编程模型比Hadoop MapReduce更灵活Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制Hadoop与Spark的对比Spark编程基础厦门大学计算机科学系林子雨1.6.2Spark图Hadoop与Spark的执行流程对比Spark编程基础厦门大学计算机科学系林子雨1.6.2Spark执行时间(s)HadoopSpark0204060801001201100.9图Hadoop与Spark执行逻辑回归的时间对比使用Hadoop进行迭代计算非常耗资源Spark将数据载入内存后

15、，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据Spark编程基础厦门大学计算机科学系林子雨1.6.3FlinkFlink架构图Spark编程基础厦门大学计算机科学系林子雨1.6.3FlinkFlink生态系统Spark编程基础厦门大学计算机科学系林子雨1.6.3FlinkFlink与Spark的比较Spark编程基础厦门大学计算机科学系林子雨1.6.3FlinkSpark和Flink全部都运行在HadoopYARN上，性能为FlinkSparkHadoop(MR)，迭代次数越多越明显，性能上，Flink优于Spark和Hadoop最主要的原因是Flink支持增

16、量迭代，具有对迭代自动优化的功能。性能对比性能对比首先它们都可以基于内存计算框架进行实时计算，所以都拥有非常好的计算性能。经过测试，Flink计算性能上略好。Spark编程基础厦门大学计算机科学系林子雨1.6.3Flink流式计算比较流式计算比较它们都支持流式计算，Flink是一行一行处理，而Spark是基于数据片集合（RDD）进行小批量处理，所以Spark在流式处理方面，不可避免增加一些延时。Flink的流式计算跟Storm性能差不多，支持毫秒级计算，而Spark则只能支持秒级计算。SQL支持支持都支持SQL，Spark对SQL的支持比Flink支持的范围要大一些，另外Spark支持对SQL的优化，而Flink支持主要是对API级的优化。既生瑜，何生亮！既生瑜，何生亮！Spark编程基础厦门大学计算机科学系林子雨1.6.4Beam谷歌，Beam，一统天下？Spark编程基础厦门大学计算机科学系林子雨1.6.4BeamSpark编程基础厦门大学计算机科学系林子雨附录A：主讲教师林子雨简介单位：厦门大学计算机科学系E-mail:个人网页：http:/ of Computer Science,Xiamen University,2018