大数据技术原理与应用 (1).pdf

《大数据技术原理与应用 (1).pdf》由会员分享，可在线阅读，更多相关《大数据技术原理与应用 (1).pdf（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原 林子雨林子雨 厦门大学计算机科学系厦门大学计算机科学系 E-mail: 主页：主页： 第第1讲讲 大数据概述大数据概述 大数据技术原理与应用大数据技术原理与应用 https:/www.icourse163.org/course/XMU-1002335004 中国大学MOOC 2018年春季学期 大数据技术原理与应用 厦门大学计算机科学系 林子雨 中国大学MOOC大数据技术原理与应用课程地址: https:/www.icourse163.org/course/XMU-1002335004 大数据技术原理与应用 厦门大学计算机科学系 林子雨 课程重要资料 重要提示：读者在学习大数据技

2、术原理与应用MOOC课程时，在中国大学 MOOC课程的栏目中，有一个名称为“大数据软件安装和编程指南”的子栏目， 进入这个栏目，可以帮助读者顺利完成大数据上机环境的安装和开展基础编程实践 。在观看每个章节的MOOC视频时，可以充分利用该栏目辅助自己完成上机实验 操作。 大数据技术原理与应用 厦门大学计算机科学系 林子雨 欢迎访问教材官网获取教学资源 大数据技术原理与应用大数据概念、存储、处理、分析与应用 厦门大学 林子雨编著，人民邮电出版社，2017年1月第2版 ISBN:978-7-115-44330-4 国内高校第一本系统介绍大数据知识专业教材 京东、当当等各大网店畅销书籍 大数据入门教材

3、精品 国内多所高校采用本教材开课 配套目前国内高校最完备的课程公共服务平台 福建省精品在线开放课程 教材官网：教材官网： 大数据技术原理与应用 厦门大学计算机科学系 林子雨 提纲 1.1 大数据时代大数据时代 1.2 大数据概念大数据概念 1.3 大数据的影响大数据的影响 1.4 大数据的应用大数据的应用 1.5 大数据关键技术大数据关键技术 1.6 大数据计算模式大数据计算模式 1.7 大数据产业大数据产业 1.8 大数据与云计算、物联网的关系大数据与云计算、物联网的关系 欢迎访问大数据技术原理与应用教材官方网站，免费 获取教材配套资源： 本PPT是如下教材的配套讲义： 大数据技术原理与应用

4、概念、存储、处理、分析与应用 （2017年1月第2版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-44330-4 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1大数据时代 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.1第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革 信息化浪潮信息化浪潮 发生时间发生时间 标志标志 解决问题解决问题 代表企业代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹 果、微软、联想、戴 尔、惠普等 第二次浪潮 1995年前后 互联

5、网 信息传输 雅虎、谷歌、阿里巴 巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云计 算和大数据 信息爆炸 将涌现出一批新的市 场标杆企业 表表1-1 三次信息化浪潮三次信息化浪潮 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.2信息科技为大数据时代提供技术支撑 图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加存储设备容量不断增加 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.2信息科技为大数据时代提供技术支撑 来自斯威本科技大学（Swinburne University of Technology）的研究团队，在2013年 6月29日刊出的自然通讯

6、（Nature Communications）杂志的文章中，描述了一 种全新的数据存储方式，可将1PB（1024TB）的数据存储到一张仅DVD大小的聚合 物碟片上。 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.2信息科技为大数据时代提供技术支撑 图1-3 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升处理能力大幅提升 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.2信息科技为大数据时代提供技术支撑 图1-4 网络带宽随时间变化情况 3. 网络带宽不断增加网络带宽不断增加 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.3数据产生方式的变革

7、促成大数据时代的来临 图1-5 数据产生方式的变革 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.1.4 大数据的发展历程 阶段阶段 时间时间 内容内容 第一阶段：萌芽 期 上世纪90年代 至本世纪初 随着数据挖掘理论和数据库技术的逐步成熟，一批 商业智能工具和知识管理技术开始被应用，如数据 仓库、专家系统、知识管理系统等。 第二阶段：成熟 期 本世纪前十年 Web2.0应用迅猛发展，非结构化数据大量产生， 传统处理方法难以应对，带动了大数据技术的快速 突破，大数据解决方案逐渐走向成熟，形成了并行 计算与分布式系统两大核心技术，谷歌的GFS和 MapReduce等大数据技术受到追捧，

8、Hadoop平台 开始大行其道 第三阶段：大规 模应用期 2010年以后 大数据应用渗透各行各业，数据驱动决策，信息社 会智能化程度大幅提高 表1-2 大数据发展的三个阶段 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.2大数据概念 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.2.1 数据量大 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增 长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近 30倍 大数据技术原理与应用 厦门大学计

9、算机科学系 林子雨 1.2.2 数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关 科学研究 基因组 LHC 加速器 地球与空间探测 企业应用 Email、文档、文件 应用日志 交易记录 Web 1.0数据 文本 图像 视频 Web 2.0数据 查询日志/点击流 Twitter/ Blog / SNS Wiki 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.2.3 处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同 大数据技

10、术原理与应用 厦门大学计算机科学系 林子雨 1.2.4 价值密度低 价值密度低，商业价值高价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高 的商业价值 继续装ing 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.3大数据的影响 图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后 历经了实验、理论、计算和数据四种范式 实验 理论 计算 数据 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.3大数据的影响 在思维方式方面，大数据完全颠覆了传统的思维方式： 全样而非抽样 效率而非精确 相关而

11、非因果 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.3大数据的影响 在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据 应用有力促进了信息技术与各行业的深度融合，大数据开发大大推 动了新技术和新应用的不断涌现 在就业市场方面，大数据的兴起使得数据科学家成为热门职业 在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信 息技术相关专业的现有教学和科研体制 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.4大数据的应用 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务 、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印 迹 大数据技术原理与应

12、用 厦门大学计算机科学系 林子雨 典型的大数据应用实例 Kevin Spacey David Fincher 英国同名小说纸牌屋 风靡全球的美剧纸牌屋 大数据分析 大数据技术原理与应用 厦门大学计算机科学系 林子雨 典型的大数据应用实例 从谷歌流感趋势看大数据 的应用价值 “谷歌流感趋势”，通过跟踪 搜索词相关数据来判断全美地 区的流感情况 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.5大数据关键技术 表1-5 大数据技术的不同层面及其功能 技术层面技术层面 功能功能 数据采集 利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数 据文件等，抽取到临时中间层后进行清洗、转换

13、、集成，最后加载 到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础； 或者也可以把实时采集的数据作为流计算系统的输入，进行实时处 理分析 数据存储和管理 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云 数据库等，实现对结构化、半结构化和非结构化海量数据的存储和 管理 数据处理与分析 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算 法，实现对海量数据的处理和分析；对分析结果进行可视化呈现， 帮助人们更好地理解数据、分析数据 数据隐私和安全 在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐 私数据保护体系和数据安全体系，有效保护个人隐私和数据安全 大数

14、据技术原理与应用 厦门大学计算机科学系 林子雨 1.5大数据关键技术 分布式存储 分布式处理 GFSHDFS BigTableHBase NoSQL（键值、列族、图形、文档数据库） NewSQL（如：SQL Azure） MapReduce 大数据 两大核心技术 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.6大数据计算模式 大数据计算模式大数据计算模式 解决问题解决问题 代表产品代表产品 批处理计算 针对大规模数据的批量 处理 MapReduce、Spark等 流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、 Puma、DStream、Super Mar

15、io、银 河流数据处理平台等 图计算 针对大规模图结构数据 的处理 Pregel、GraphX、Giraph、 PowerGraph、Hama、GoldenOrb等 查询分析计算 大规模数据的存储管理 和查询分析 Dremel、Hive、Cassandra、Impala 等 表1-3 大数据计算模式及其代表产品 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.7大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经 济活动的集合 产业链环节产业链环节 包含内容包含内容 IT基础设施层 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如 ，提

16、供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化 管理软件的微软、思杰、SUN、Redhat等 数据源层 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通 大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门 ）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信 、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源 数据管理层 包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如 Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatic

17、a、Datastage、Kettle等）、数据库和 数据仓库（Oracle、MySQL、SQL Server、HBase、GreenPlum等） 数据分析层 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算 框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau 、BI工具（MicroStrategy、Cognos、BO）等等 数据平台层 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴 巴、谷歌、中国电信、百度等 数据应用层 提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业

18、、机构或政府部门，比 如交通主管部门、各大医疗机构、菜鸟网络、国家电网等 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8大数据与云计算、物联网的关系 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相 辅相成，既有联系又有区别 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具 备网络接入条件的地方，就可以随时随地获得所需的各种IT资源 图1-7 云计算的服务模式和类型 1. 云计算概念云计算概念 公有云公有云混合云混合云私有云私有云 应用层应用层 软件即服务软件即服务（SaaSS

19、aaS） 平台层平台层 平台即服务平台即服务（PaaSPaaS） 基础设施层基础设施层 基础设施即服务基础设施即服务（IaaSIaaS） 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 Infrastructure as a Service Platform as a Service Software as a Service SaaS PaaS IaaS Google Apps, Microsoft “Software+Services” IBM IT factory, Google App Engine, F Amazon EC2, IBM Blue Cloud, S

20、un Grid Server Storage Server Storage Visualization Infrastructure Platform Application 从一个集中的系统部署软件，使之在一 台本地计算机上(或从云中远程地)运行 的一个模型。由于是计量服务，SaaS 允许出租一个应用程序，并计时收费 IaaS 将基础设施(计算资源和存储)作为服务 出租 PaaS 类似于 IaaS，但是它包括操作系统和 围绕特定应用的必需的服务 SaaS 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等 2.

21、云计算关键技术云计算关键技术 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控 制设备、监控设备以及各种安全装置等 数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源 ，为各种平台和应用提供运行支撑环境 全国各地推进数据中心建设 3. 云计算数据中心云计算数据中心 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社 会保障等应用，通过集约化建设、管理和运行，可以实现信息资源整合和政务资源 共享

22、，推动政务管理创新，加快向服务型政府转型 教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资 源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标 中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统 ，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力 医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服 务共享，并形成一套全新的医疗健康服务系统，从而有效地提高医疗保健的质量 4. 云计算应用云计算应用 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.1云计算 云计算产业作为战略性新兴产业，近

23、些年得到了迅速发展，形成了成熟的产业链 结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础 设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备 、云安全、云计算交付/咨询/认证等环节 图1-8 云计算产业链 5. 云计算产业云计算产业 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.2物联网 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信 技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物 、物与物相联，实现信息化和远程管理控制 1. 物联网概念物联网概念 图1-9 物联网体系架构 应用层

24、智能交通智能电网智慧农业智能工业智能家居智慧医疗 网络层 电信网 处理层 业务支撑平台（中间件平台） 服务支撑 平台 感知层 RFID网络 RFID标签 和读写器 M2M终端导航定位 网络管理 平台 信息处理 平台 信息安全 平台 互联网广电网电网专用网其他网 传感器网络 二维码 标签 传感器摄像头 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.2物联网 物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与 通信技术、数据挖掘与融合技术等 2. 物联网关键技术物联网关键技术 (a)温湿度传感器 (b)压力传感器(c)烟雾传感器 图1-10 矩阵式二维码 图1

25、-11 采用RFID芯片的公交卡 图1-12 不同类型的传感器 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.2物联网 物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、 智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到 了重要的推动作用 3.物联网应用物联网应用 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.2物联网 完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网 络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大 环节 图1-8 物联网产业链 4.物联网产业物联网产业 信息采集

26、数据传输数据处理 核心感应器 件提供商 感知层末端 设备提供商 网络 提供商 软件与系统解 决方案提供商 系统 集成商 运营及服 务提供商 二 维 码 提 供 商 RFID 及 读 写 机 具 提 供 商 传 感 器 提 供 商 智 能 仪 器 仪 表 提 供 商 射 频 识 别 设 备 提 供 商 传 感 系 统 及 设 备 提 供 商 智 能 控 制 系 统 及 设 备 提 供 商 GPS 设 备 提 供 商 末 端 网 络 产 品 提 供 商 电 信 网 运 营 商 广 电 网 运 营 商 互 联 网 运 营 商 专 网 运 营 商 其 他 网 络 运 营 商 微 操 作 系 统 提 供

27、 商 中 间 件 提 供 商 解 决 方 案 提 供 商 行 业 应 用 集 成 商 行 业 物 联 网 运 营 商 大数据技术原理与应用 厦门大学计算机科学系 林子雨 1.8.3大数据与云计算、物联网的关系 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有 联系 图1-9 大数据、云计算和物联网之间的关系 云计算 大数据 物联网 物联网是大数据的重要来源 大数据技术为物联网数据分析提供支撑 云计算为大数据提供了技术基础 大数据为云计算提供用武之地 云计算为物联网提供海量数据存储能力 物联网为云计算技术提供了广阔的应用空间 大数据技术原理与应用 厦门大学计算机科学系 林

28、子雨 本章小结 本章介绍了大数据技术的发展历程，并指出信息科技的不断进步为大数据时代提供 了技术支撑，数据产生方式的变革促成了大数据时代的来临 大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点，统称 “4V”。大数据对科学研究、思维方式、社会发展、就业市场和人才培养等方面， 都产生了重要的影响，深刻理解大数据的这些影响，有助于我们更好把握学习和应 用大数据的方向 大数据在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内 的社会各行各业都得到了日益广泛的应用，深刻地改变着我们的社会生产和日常生 活 大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术

29、主要 包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层 面的内容 大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层 和数据应用层，在不同层面，都已经形成了一批引领市场的技术和企业 本章最后介绍了云计算和物联网的概念和关键技术，并阐述了大数据、云计算和物 联网三者之间的区别与联系 大数据技术原理与应用 厦门大学计算机科学系 林子雨 附录A：主讲教师林子雨简介 单位：厦门大学计算机科学系 E-mail: 个人网页： 数据库实验室网站： 主讲教师：林子雨主讲教师：林子雨 林子雨，男，1978年出生，博士（毕业于北京大学），现为厦门大学计算机科学系助理

30、教授（讲师），曾任厦门大学信息 科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会委员，中国计算机学会信息系 统专业委员会委员。中国高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数 据研究中心主要建设者和骨干成员，2013年度和2017年度厦门大学教学类奖教金获得者。主要研究方向为数据库、数据 仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在软件学报计算机学报和计算机研究与发展 等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金 项目(No.61303004)、1

31、项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目 (No.2011121049)，主持的教改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目，同时，作为课 题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互 联网经济调研等课题。中国高校首个“数字教师”提出者和建设者，2009年至今，“数字教师”大平台累计向网络免费发 布超过500万字高价值的研究和教学资料，累计网络访问量超过500万次。打造了中国高校大数据教学知名品牌，编著出 版了中国高校第一本系统介绍大数据知识的专

32、业教材大数据技术原理与应用，并成为京东、当当网等网店畅销书籍； 建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供全方位、一站式服务，年访问量超 过100万次。 扫一扫访问个人主页 大数据技术原理与应用 厦门大学计算机科学系 林子雨 附录B：大数据学习路线图 大数据学习路线图访问地址： 大数据技术原理与应用 厦门大学计算机科学系 林子雨 附录C：大数据技术原理与应用教材 欢迎访问大数据技术原理与应用概念、存储、处理、 分析与应用教材官方网站： 扫一扫访问教材官网 大数据技术原理与应用概念、存储、处理、分析与应用（ 第2版），由厦门大学计算机科学系林子雨博士编著，是中国

33、 高校第一本系统介绍大数据知识的专业教材。 全书共有15章，系统地论述了大数据的基本概念、大数据处理 架构Hadoop、分布式文件系统HDFS、分布式数据 库HBase、 NoSQL数据库、云数据库、分布式并行编程模型MapReduce、 Spark、流计算、图计算、数据可视化以及大数据在互联网、生 物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase 和MapReduce等重要章节，安排了入门级的实践操作，让读者 更好地学习和掌握大数据关键技术。 本书可以作为高等院校计算机专业、信息管理等相关专业的大数 据课程教材，也可供相关技术人员参考、学习、培训之用。 大数据技术原理与应用

34、 厦门大学计算机科学系 林子雨 附录D：大数据基础编程、实验和案例教程 本书是与大数据技术原理与应用（第2版）教材配套的唯一指定实验指导书 步步引导，循序渐进，详尽的 安装指南为顺利搭建大数据实 验环境铺平道路 深入浅出，去粗取精，丰富的 代码实例帮助快速掌握大数据 基础编程方法 精心设计，巧妙融合，五套大 数据实验题目促进理论与编程 知识的消化和吸收 结合理论，联系实际，大数据 课程综合实验案例精彩呈现大 数据分析全流程 清华大学出版社 ISBN:978-7-302-47209-4 大数据技术原理与应用 厦门大学计算机科学系 林子雨 附录E：Spark编程基础教材 Spark编程基础编程基础

35、 厦门大学 林子雨，赖永炫，陶继平 编著 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark技术铺平道路 深入浅出，有效降低Spark技术学习门槛 资源全面，构建全方位一站式在线服务体系 本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包 括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、 Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读 者更好地学习和掌握Spark编程方法。本书官网

36、免费提供了全套的在线教学资源，包括讲义PPT、习题、源 代码、软件、数据集、授课视频、上机实验指南等。 人民邮电出版社出版发行，人民邮电出版社出版发行，ISBN:978-7-115-47598-5 教材官网：教材官网： 授课视频：授课视频： 大数据技术原理与应用 厦门大学计算机科学系 林子雨 附录F：高校大数据课程公共服务平台 扫一扫访问平台主页 扫一扫观看3分钟FLASH动画宣传片 国内高校首个大数据课程公共服 务平台，为全国高校教师和学生 提供大数据教学资源一站式“免 费”在线服务，包括课程教材、 讲义PPT、课程习题、实验指南 、学习指南、备课指南、授课视 频、技术资料、实验案例、在线 教程等，目前平台每年访问量超 过100万次，成为全国高校大数 据教学知名品牌 大数据技术原理与应用 厦门大学计算机科学系 林子雨 Department of Computer Science, Xiamen University, 2018