大数据技术原理与应用（第3版）-第2章-大数据处理架构.ppt

《大数据技术原理与应用（第3版）-第2章-大数据处理架构.ppt》由会员分享，可在线阅读，更多相关《大数据技术原理与应用（第3版）-第2章-大数据处理架构.ppt（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 厦门大学计算机科学系 2020年版本第第2章章 大数据处理架构大数据处理架构Hadoop（PPT版本号：版本号：2020年年12月版本）月版本） http:/ 博士博士/副教授副教授厦门大学计算机科学系厦门大学计算机科学系E-mail: 主页：主页：http:/ 厦门大学计算机科学系 林子雨 本章配套教学视频http:/www.icourse163.org/course/XMU-1002335004大数据技术原理与应用（第3版）在线视频观看地址大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 提纲2.1 概述概述2.2

2、Hadoop项目结构项目结构2.3 Hadoop的安装与使用的安装与使用2.4 Hadoop集群的部署与使用集群的部署与使用欢迎访问大数据技术原理与应用教材官方网站：http:/ （2021年1月第3版）ISBN:978-7-115-54405-6厦门大学 林子雨 编著，人民邮电出版社大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1 概述 2.1.1Hadoop简介 2.1.2Hadoop发展简史 2.1.3Hadoop的特性 2.1.4Hadoop的应用现状大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.1 Hadoop简介 Hadoop是Apach

3、e软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduceHadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等，都支持Hadoop大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.2 Hado

4、op发展简史 Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发的文本搜索库。Hadoop源自始于2002年的Apache Nutch项目一个开源的网络搜索引擎并且也是Lucene项目的一部分 在2004年，Nutch项目也模仿GFS开发了自己的分布式文件系统NDFS（Nutch Distributed File System），也就是HDFS的前身 2004年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了MapReduce分布式编程思想 2005年，Nutch开源实现了谷歌的MapReduceHadoop的标志大数据技术原理与应用（第3版） 厦门大学计

5、算机科学系 林子雨 2.1.2 Hadoop发展简史 到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来，成为Lucene项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎 2008年1月，Hadoop正式成为Apache顶级项目，Hadoop也逐渐开始被雅虎之外的其他公司使用 2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系统，它采用一个由910个节点构成的集群进行运算，排序时间只用了209秒在2009年5月，Hadoop更是把1TB数据排序时间缩短到62秒。Hadoop从此名声大震，迅速发展成为大数据时代最具影响力的开源分

6、布式开发平台，并成为事实上的大数据处理标准大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.3 Hadoop的特性 Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性： 高可靠性 高效性 高可扩展性 高容错性 成本低 运行在Linux平台上 支持多种编程语言大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.3 Hadoop的应用现状 Hadoop凭借其突出的优势，已经在各个领域得到了广泛的应用，而互联网领域是其应用的主阵地 2007年，雅虎在Sunnyvale总部建立了M45

7、一个包含了4000个处理器和1.5PB容量的Hadoop集群系统 Facebook作为全球知名的社交网站，Hadoop是非常理想的选择，Facebook主要将Hadoop平台用于日志处理、推荐系统和数据仓库等方面 国内采用Hadoop的公司主要有百度、淘宝、网易、华为、中国移动等，其中，淘宝的Hadoop集群比较大大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.3 Hadoop的应用现状Hadoop在企业中的应用架构大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.4 Apache Hadoop版本演变Apache Hadoop版本分为两代，我们将第一

8、代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则增加了NameNode HA等新的重大特性第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性Hadoop 2.0是基于JDK 1

9、.7开发的，而JDK 1.7在2015年4月已停止更新，于是Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，也就是Hadoop3.0大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.4 Apache Hadoop版本演变大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 Apache Hadoop Hortonworks Cloudera（CDH：Cloudera Distribution Hadoop） MapR 2.1.5 Hadoop各种版本选择 Hadoop版本的考虑因素：是否开源（即是否免费）是否有稳定版是否经实践检验是否有强大的社区支

10、持大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.1.5 Hadoop各种版本大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.2 Hadoop项目结构Hadoop的项目结构不断丰富发展，已经形成一个丰富的Hadoop生态系统资源调度管理框架资源调度管理框架大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.2 Hadoop项目结构组件组件功能功能HDFS分布式文件系统MapReduce分布式并行编程模型YARN资源管理和调度器Tez运行在YARN之上的下一代Hadoop查询处理框架HiveHadoop上的数据仓库HBaseHadoop上的非关系

11、型的分布式数据库Pig一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig LatinSqoop用于在Hadoop与传统数据库之间进行数据传递OozieHadoop上的工作流管理系统Zookeeper提供分布式协调一致性服务Storm流计算框架Flume一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统AmbariHadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控Kafka一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据Spark类似于Hadoop MapReduce的通用并行框架大数据技术原理与应用（

12、第3版） 厦门大学计算机科学系 林子雨 2.2 Hadoop项目结构大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3Hadoop的安装与使用详细安装教程请参考厦门大学数据实验室建设的中国高校大数据课程公共服详细安装教程请参考厦门大学数据实验室建设的中国高校大数据课程公共服务平台上的技术文章：务平台上的技术文章：大数据技术原理与应用（第大数据技术原理与应用（第3版）版） 第二章第二章 大数据处大数据处理架构理架构Hadoop 学习指南学习指南，给出了每步安装命令和效果截图，给出了每步安装命令和效果截图访问地址：访问地址：http:/ Hadoop安装之前的预备知识2.3.2

13、安装Linux虚拟机2.3.3 安装双操作系统2.3.4 详解Hadoop的安装与使用大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.1 Hadoop安装之前的预备知识（一）Linux的选择（1）选择哪个Linux发行版？在Linux系统各个发行版中，CentOS系统和Ubuntu系统在服务端和桌面端使用占比最高，网络上资料最是齐全，所以建议使用CentOS 或Ubuntu在学习Hadoop方面，虽然两个系统没有多大区别，但是推荐使用Ubuntu操作系统（2）选择32位还是64位？如果电脑比较老或者内存小于2G，那么建议选择32位系统版本的Linux如果内存大于4G，那么

14、建议选择64位系统版本的Linux大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.1 Hadoop安装之前的预备知识（二）系统安装方式：选择虚拟机安装还是双系统安装建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装，否则，在配置较低的计算机上运行LInux虚拟机，系统运行速度会非常慢鉴于目前教师和学生的计算机硬件配置一般不高，建议在实践教学中采用双系统安装，确保系统运行速度大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.1 Hadoop安装之前的预备知识（三）关于Linux的一些基础知

15、识Shell是指“提供使用者使用界面”的软件（命令解析器），类似于DOS下的command和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序sudo命令sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码输入密码在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码，读者不要误以为键盘没有响应输入法中英文切换linux中英文的切换方式是使用键盘“shift”键来切换，也可以点击顶部菜单的输入法按钮进行切换。Ubuntu自带的Sunpi

16、nyin中文输入法已经足够读者使用Ubuntu终端复制粘贴快捷键在Ubuntu终端窗口中，复制粘贴的快捷键需要加上 shift，即粘贴是 ctrl+shift+v大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.1 Hadoop安装之前的预备知识（四）Hadoop安装方式Hadoop包括三种安装模式：单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；分布式模式：存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。

17、大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.2 安装Linux虚拟机一、材料和工具1、下载VirtualBox虚拟机软件https:/download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exe2. 下载Ubuntu LTS 16.04（或18.04） ISO映像文件Ubuntu LTS 16.04下载：https:/ LTS 18.04下载：https:/ 厦门大学计算机科学系 林子雨 2.3.2 安装Linux虚拟机二、步骤（一）确认系统版本如果选择的系统是64位Ubuntu系统，

18、那么在安装虚拟机前，我们还要进入BIOS开启CPU的虚拟化大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.2 安装Linux虚拟机(二二)安装前的准备安装前的准备1.打开VirtualBox，点击“创建”按钮，创建一个虚拟机2.给虚拟机命名，选择操作系统，版本3.选择内存大小，这里设置的1024M4.创建虚拟硬盘5.选择虚拟硬盘文件类型VDI6.虚拟硬盘选择动态分配7.选择文件存储的位置和容量大小8.点击创建大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.2 安装Linux虚拟机(三三)安装安装Ubuntu大数据技术原理与应用（第3版） 厦门大学计算

19、机科学系 林子雨 2.3.3 安装双操作系统第一步：制作安装U盘具体可参考百度经验文章http:/ 16.04（或18.04）都可以用，默认windows优先启动可以在电脑启动时，选择进入Ubuntu系统而不是 Windows系统大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.3.4 Hadoop的安装与使用（单机/伪分布式）Hadoop基本安装配置主要包括以下几个步骤：创建Hadoop用户SSH登录权限设置安装Java环境单机安装配置伪分布式安装配置 详细安装配置过程请参考厦门大学数据库实验室出品教程Hadoop安装教程安装教程_单机单机/伪分布式配置伪分布式配置_Hado

20、op3.1.3/Ubuntu18.04http:/ 厦门大学计算机科学系 林子雨 创建Hadoop用户如果安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :$ sudo useradd m hadoop s /bin/bash上面这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：$ sudo passwd hadoop可为 hadoop 用户增加管理员权限，方便

21、部署，避免一些对新手来说比较棘手的权限问题：$ sudo adduser hadoop sudo大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 SSH登录权限设置配置配置SSH的原因的原因：Hadoop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为名称节点可以无密码登录它们SSH是什么？是什么？SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠、专为远程登录会话和其

22、他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。 SSH是由客户端和服务端的软件组成，服务端是一个守护进程(daemon)，它在后台运行并响应来自客户端的连接请求，客户端包含ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 安装Java环境Java环境可选择 Oracle 的 JDK，或是 OpenJDK建议采用手工方式安装Java环境 具体请参考网络教程：http:/ 到J

23、ava官网下载安装文件jdk-8u162-linux-x64.tar.gz在Linux命令行界面中，执行如下Shell命令（注意：当前登录用户名是hadoop）：$cd /usr/lib$sudo mkdir jvm #创建创建/usr/lib/jvm目录用来存放目录用来存放JDK文件文件$cd #进入进入hadoop用户的主目录用户的主目录$cd Downloads #注意区分大小写字母，刚才已经通过注意区分大小写字母，刚才已经通过FTP软件把软件把JDK安装安装包包jdk-8u162-linux-x64.tar.gz上传到该目录下上传到该目录下$sudo tar -zxvf ./jdk-8

24、u162-linux-x64.tar.gz -C /usr/lib/jvm #把把JDK文件文件解压到解压到/usr/lib/jvm目录下目录下大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 下面继续执行如下命令，设置环境变量：安装Java环境$cd $vim /.bashrc请在这个文件的开头位置，添加如下几行内容：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$J

25、AVA_HOME/bin:$PATH继续执行如下命令让.bashrc文件的配置立即生效：$source /.bashrc大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 这时，可以使用如下命令查看是否安装成功：安装Java环境$java -version如果能够在屏幕上返回如下信息，则说明安装成功：hadoopubuntu:$ java -versionjava version 1.8.0_162Java(TM) SE Runtime Environment (build 1.8.0_162-b12)Java HotSpot(TM) 64-Bit Server VM (build

26、25.162-b12, mixed mode)大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 单机安装配置Hadoop 3 可以到官网下载，需要下载 hadoop-3.1.3.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用Hadoop 3 安装文件的下载如果读者是使用虚拟机方式安装Ubuntu系统的用户，请用虚拟机中的Ubuntu自带firefox浏览器访问本指南，再点击下载地址，才能把hadoop文件下载虚拟机ubuntu中。请不要使用Windows系统下的浏览器下载，文件会被下载到Windows系统中，虚拟机

27、中的Ubuntu无法访问外部Windows系统的文件，造成不必要的麻烦。如果读者是使用双系统方式安装Ubuntu系统的用户，请进去Ubuntu系统，在Ubuntu系统打开firefox浏览器，再点击下载大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 单机安装配置选择将 Hadoop 安装至 /usr/local/ 中$ sudo tar -zxf /下载下载/hadoop-3.1.3.tar.gz -C /usr/local # 解压到解压到/usr/local中中$cd /usr/local/$sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为

28、将文件夹名改为hadoop$sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限修改文件权限Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：$ cd /usr/local/hadoop$./bin/hadoop versionHadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 伪分布式安装伪分布式安装配置配置Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节

29、点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 伪分布式安装伪分布式安装配置配置实验步骤：实验步骤：p修改配置文件：core-site.xml，hdfs-site.xml，mapred-site.x

30、mlp初始化文件系统hadoop namenode -formatp启动所有进程start-all.shp访问web界面，查看Hadoop信息p运行实例大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 伪分布式安装伪分布式安装配置配置修改配置文件 core-site.xml hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs:/localhost:9000 name为fs.defaultFS的值，表示hdfs路径的逻辑名称hadoop.t

31、mp.dir表示存放临时数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可 大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 伪分布式安装伪分布式安装配置配置修改配置文件 hdfs-site.xml dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data dfs.replication表示副本的数量，伪分布式要设

32、置为1dfs.namenode.name.dir表示本地磁盘目录，是存储fsimage文件的地方dfs.datanode.data.dir表示本地磁盘目录，HDFS数据存放block的地方大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 伪分布式安装伪分布式安装配置配置关于三种Shell命令方式的区别：1. hadoop fs2. hadoop dfs3. hdfs dfshadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统hadoop dfs只能适用于HDFS文件系统hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统大数据

33、技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.1 集群节点类型 2.4.2 集群规模 2.4.3 集群硬件配置 2.4.4 集群网络拓扑 2.4.5 集群的建立与安装 2.4.6 集群基准测试 2.4.7 在云计算环境中使用Hadoop2.4 Hadoop集群的部署与使用大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.1 Hadoop集群中有哪些节点类型Hadoop框架中最核心的设计是为海量数据提供存储的HDFS和对数据进行计算的MapReduceMapReduce的作业主要包括：（1）从磁盘或从网络读取数据，即IO密集工作；（2）计算数据，即CPU密集

34、工作Hadoop集群的整体性能取决于CPU、内存、网络以及存储之间的性能平衡。因此运营团队在选择机器配置时要针对不同的工作节点选择合适硬件类型一个基本的Hadoop集群中的节点主要有NameNode：负责协调集群中的数据存储DataNode：存储被拆分的数据块JobTracker：协调数据计算任务TaskTracker：负责执行由JobTracker指派的任务SecondaryNameNode：帮助NameNode收集文件系统运行的状态信息大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.2 集群硬件配置在集群中，大部分的机器设备是作为Datanode和TaskTracke

35、r工作的Datanode/TaskTracker的硬件规格可以采用以下方案：4个磁盘驱动器（单盘1-2T），支持JBOD(Just a Bunch Of Disks，磁盘簇)2个4核CPU,至少2-2.5GHz16-24GB内存千兆以太网NameNode提供整个HDFS文件系统的NameSpace(命名空间)管理、块管理等所有服务，因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。硬件规格可以采用以下方案：8-12个磁盘驱动器（单盘1-2T）2个4核/8核CPU16-72GB内存千兆/万兆以太网SecondaryNameNode在小

36、型集群中可以和NameNode共用一台机器，较大的群集可以采用与NameNode相同的硬件大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.3 集群规模要多大 Hadoop集群规模可大可小，初始时，可以从一个较小规模的集群开始，比如包含10个节点，然后，规模随着存储器和计算需求的扩大而扩大如果数据每周增大1TB，并且有三个HDFS副本，然后每周需要一个额外的3TB作为原始数据存储。要允许一些中间文件和日志（假定30%）的空间，由此，可以算出每周大约需要增加一台新机器。存储两年数据的集群，大约需要100台机器对于一个小的集群，名称节点（NameNode）和JobTracker

37、运行在单个节点上，通常是可以接受的。但是，随着集群和存储在HDFS中的文件数量的增加，名称节点需要更多的主存，这时，名称节点和JobTracker就需要运行在不同的节点上第二名称节点（SecondaryNameNode）会和名称节点可以运行在相同的机器上，但是，由于第二名称节点和名称节点几乎具有相同的主存需求，因此，二者最好运行在不同节点上大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.4 集群网络拓扑普通的Hadoop集群结构由一个两阶网络构成每个机架（Rack）有30-40个服务器，配置一个1GB的交换机，并向上传输到一个核心交换机或者路由器（1GB或以上）在相同的机

38、架中的节点间的带宽的总和，要大于不同机架间的节点间的带宽总和大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.5 集群的建立与安装采购好相关的硬件设备后，就可以把硬件装入机架，安装并运行Hadoop安装Hadoop有多种方法：（1）手动安装（2）自动化安装为了缓解安装和维护每个节点上相同的软件的负担，可以使用一个自动化方法实现完全自动化安装，比如Red Hat Linux Kickstart、Debian或者Docker自动化安装部署工具，会通过记录在安装过程中对于各个选项的回答来完成自动化安装过程。大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.6

39、Hadoop集群基准测试如何判断一个Hadoop集群是否已经正确安装？可以运行基准测试Hadoop自带有一些基准测试程序，被打包在测试程序JAR文件中用TestDFSIO基准测试，来测试HDFS的IO性能用排序测试MapReduce：Hadoop自带一个部分排序的程序，这个测试过程的整个数据集都会通过洗牌（Shuffle）传输至Reducer，可以充分测试MapReduce的性能大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 2.4.7 在云计算环境中使用HadoopHadoop不仅可以运行在企业内部的集群中，也可以运行在云计算环境中可以在Amazon EC2中运行Hadoop。

40、EC2是一个计算服务，允许客户租用计算机（实例），来运行自己的应用。客户可以按需运行或终止实例，并且按照实际使用情况来付费Hadoop自带有一套脚本，用于在EC2上面运行Hadoop在EC2上运行Hadoop尤其适用于一些工作流。例如，在Amazon S3中存储数据，在EC2上运行集群，在集群中运行MapReduce作业，读取存储在S3中的数据，最后，在关闭集群之前将输出写回S3中；如果长期使用集群，复制S3数据到运行在EC2上的HDFS中，则可以使得数据处理更加高效，因为，HDFS可以充分利用数据的位置，S3则做不到，因为，S3与EC2的存储不在同一个节点上大数据技术原理与应用（第3版） 厦

41、门大学计算机科学系 林子雨 本章小结Hadoop被视为事实上的大数据处理标准，本章介绍了Hadoop的发展历程，并阐述了Hadoop的高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux平台上、支持多种编程语言等特性Hadoop目前已经在各个领域得到了广泛的应用，雅虎、Facebook、百度、淘宝、网易等公司都建立了自己的Hadoop集群经过多年发展，Hadoop项目已经变得非常成熟和完善，包括Common、Avro、Zookeeper、HDFS、MapReduce、HBase、Hive、Chukwa、Pig等子项目，其中，HDFS和MapReduce是Hadoop的两大核心组件本

42、章最后介绍了如何在Linux系统下完成Hadoop的安装和配置，这个部分是后续章节实践环节的基础大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 附录A：主讲教师林子雨简介单位：厦门大学计算机科学系E-mail: 个人网页：http:/ 厦门大学计算机科学系 林子雨 附录B：大数据学习路线图大数据学习路线图访问地址：http:/ 厦门大学计算机科学系 林子雨 附录C：林子雨大数据系列教材了解全部教材信息：http:/ 厦门大学计算机科学系 林子雨 附录D：大数据导论（通识课版）教材本课程旨在实现以下几个培养目标：p引导学生步入大数据时代，积极投身大数据的变革浪潮之中p了解大数据概念

43、，培养大数据思维，养成数据安全意识p认识大数据伦理，努力使自己的行为符合大数据伦理规范要求p熟悉大数据应用，探寻大数据与自己专业的应用结合点p激发学生基于大数据的创新创业热情教材官网：http:/ ISBN:978-7-04-053577-8 定价：32元 版次：2020年2月第1版大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 附录E：大数据导论教材 林子雨 编著大数据导论 人民邮电出版社，2020年9月第1版 ISBN:978-7-115-54446-9 定价：49.80元教材官网：http:/ 厦门大学计算机科学系 林子雨 附录F：大数据技术原理与应用（第3版）教材欢迎访问

44、大数据技术原理与应用概念、存储、处理、分析与应用教材官方网站：http:/ ISBN:978-7-115-54405-6 定价：59.80元全书共有17章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据 库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark和Flink等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。本书可以作为高

45、等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 附录G：大数据基础编程、实验和案例教程（第2版）本书是与大数据技术原理与应用（第3版）教材配套的唯一指定实验指导书步步引导，循序渐进，详尽的安装指南为顺利搭建大数据实验环境铺平道路深入浅出，去粗取精，丰富的代码实例帮助快速掌握大数据基础编程方法精心设计，巧妙融合，八套大数据实验题目促进理论与编程知识的消化和吸收结合理论，联系实际，大数据课程综合实验案例精彩呈现大数据分析全流程林子雨编著大数据基础编程、实验和案例教程（第2版）清华大学出版社

46、ISBN:978-7-302-55977-1 定价：69元 2020年10月第2版大数据技术原理与应用（第3版） 厦门大学计算机科学系 林子雨 附录H：Spark编程基础（Scala版）Spark编程基础（编程基础（Scala版）版）厦门大学 林子雨，赖永炫，陶继平 编著披荆斩棘，在大数据丛林中开辟学习捷径填沟削坎，为快速学习Spark技术铺平道路深入浅出，有效降低Spark技术学习门槛资源全面，构建全方位一站式在线服务体系本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理

47、、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。人民邮电出版社出版发行，人民邮电出版社出版发行，ISBN:978-7-115-48816-9教材官网：教材官网：http:/ 厦门大学计算机科学系 林子雨 附录I：Spark编程基础（Python版）Spark编程基础（编程基础（Python版）版）厦门大学 林子雨，郑海山，赖永炫

48、编著披荆斩棘，在大数据丛林中开辟学习捷径填沟削坎，为快速学习Spark技术铺平道路深入浅出，有效降低Spark技术学习门槛资源全面，构建全方位一站式在线服务体系本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源

49、，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。人民邮电出版社出版发行，人民邮电出版社出版发行，ISBN:978-7-115-52439-3教材官网：教材官网： http:/ 厦门大学计算机科学系 林子雨 附录J：高校大数据课程公共服务平台扫一扫访问平台主页http:/ 厦门大学计算机科学系 林子雨 附录K：高校大数据实训课程系列案例教材扫一扫访问大数据实训课程系列案例教材主页为了更好满足高校开设大数据实训课程的教材需求，厦门大学数据库实验室林子雨老师团队联合企业共同开发了高校大数据实训课程系列案例，目前已经完成开发的系列案例包括：电影推荐系统（已经于2019年5月出版）电信用户行为分析 （已经于2019年5月出版）实时日志流处理分析微博用户情感分析互联网广告预测分析网站日志处理分析系列案例教材将于2019年陆续出版发行，教材相关信息，敬请关注网页后续更新！http:/ 厦门大学计算机科学系 林子雨 Department of Computer Science, Xiamen University, 2020