尚学堂hadoop大数据培训Hadoop安装配置(每一小步都写得非常清楚).pdf

《尚学堂hadoop大数据培训Hadoop安装配置(每一小步都写得非常清楚).pdf》由会员分享，可在线阅读，更多相关《尚学堂hadoop大数据培训Hadoop安装配置(每一小步都写得非常清楚).pdf（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上北京尚学堂提供1、集群部署介绍1.1 Hadoop简介Hadoop是 Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为 核心 的 Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于 Hadoop的集群来讲，可以分成两大类

2、角色：Master和 Salve。一个 HDFS 集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个 Job 被提交时，JobTracker接收到提交作业和配置信息之后，就会将

3、配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。从上面的介绍可以看出，HDFS 和 MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS 在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和 任务处理。HDFS 在 MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在 HDFS 的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。1.2 环境说明集群中包括4 个节点：1 个 Master，3 个 Salve，节点之间局域网连接，可以相互ping

4、通，具体集群信息可以查看Hadoop集群（第2 期）。节点 IP 地址分布如下：机器名称IP 地址Master.Hadoop192http:/ IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。Master机器主要配置 NameNode和 JobTracker的角色，负责总管分布式数据和分解任务的执行；3 个Salve 机器配置 DataNode和 TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应

5、该有1 个 Master机器，用来作为备用，以防止 Master服务器 宕机，还有一个备用马上启用。后续经验积累一定阶段后补上 一台备用Master机器。1.3 网络配置Hadoop集群要按照1.2 小节 表格所示进行配置，我们在Hadoop集群（第1 期）的 CentOS6.0安装过程就按照提前规划好的主机名进行安装和配置。如果实验室后来人在安装系统时，没有配置好，不要紧，没有必要重新安装，在安装完系统之后仍然可以根据后来的规划对机器的主机名进行修改。下面的例子我们将以Master机器为例，即主机名为Master.Hadoop，IP 为192.168.1.2进行一些主机名配置的相关操作。其他

6、的 Slave机器以此为依据进行修改。1）查看当前机器名称用下面命令进行显示机器名称，如果跟规划的不一致，要按照下面进行修改。hostname 上图中，用 hostname查Master机器的名字为Master.Hadoop，与我们预先规划的一致。2）修改当前机器名称假定 我们发现我们的机器的主机名不是我们想要的，通过对/etc/sysconfig/network文件修改其中HOSTNAME后面的值，改成我们规划的名称。这个/etc/sysconfig/network文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。设定形式：设定值=值/etc/sysconfig

7、/network的设定项目 如下：NETWORKING 是否利用网络北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上GATEWAY 默认网关IPGATEWAYDEV 默认网关的接口名HOSTNAME 主机名DOMAIN 域名用下面命令进行修改当前机器的主机名（备注：修改系统文件一般用root用户）vim/etc/sysconfig/network 通过上面的命令我们从/etc/sysconfig/network中找到 HOSTNAME进行修改，查看

8、内容如下：3）修改当前机器IP假定 我们的机器连IP 在当时安装机器时都没有配置好，那此时我们需要对ifcfg-eth0文件进行配置，该文件位于/etc/sysconfig/network-scripts 文件夹下。在这个目录下面，存放的是网络接口（网卡）的制御脚本文件（控制文件），ifcfg-eth0是默认的第一个网络接口，如果机器中有多个网络接口，那么名字就将依此类推ifcfg-eth1，ifcfg-eth2，ifcfg-eth3，。这里面的文件是相当重要的，涉及到网络能否正常工作。设定形式：设定值=值设定项目项目如下：DEVICE 接口名（设备,网卡）BOOTPROTO IP的配置方法（

9、static:固定 IP，dhcpHCP，none:手动）HWADDR MAC地址ONBOOT 系统启动的时候网络接口是否有效（yes/no）北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上TYPE 网络类型（通常是Ethemet）NETMASK 网络掩码IPADDR IP 地址IPV6INIT IPV6是否有效（yes/no）GATEWAY 默认网关 IP 地址查看/etc/sysconfig/network-scripts/ifcfg-eth0

10、内容，如果 IP 不复核，就行修改。如果上图中IP 与规划不相符，用下面命令进行修改：vim/etc/sysconfig/network-scripts/ifcgf-eth0 修改完之后可以用ifconfig进行查看。4）配置 hosts文件（必须）北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上/etc/hosts这个文件是用来配置主机将用的DNS 服务器信息，是记载LAN 内接续的各主机的对应HostName和 IP 用的。当用户在进行网络连接

11、时，首先查找该文件，寻找对应主机名（或域名）对应的IP 地址。我们要测试两台机器之间知否连通，一般用 ping 机器的 IP，如果想用 ping 机器的主机名 发现找不见该名称的机器，解决的办法就是修改/etc/hosts这个文件，通过把LAN 内的各主机的IP 地址和 HostName的 一一对应 写入这个文件的时候，就可以解决问题。例如：机器为Master.Hadoop:192.168.1.2对机器为Salve1.Hadoop:192.168.1.3用命令 ping记性连接测试。测试结果如下：从上图中的值，直接对IP 地址进行测试，能够ping通，但是对主机名进行测试，发现没有 ping通

12、，提示 unknown host 未知主机，这时查看 Master.Hadoop的/etc/hosts文件内容。发现里面没有192.168.1.3 Slave1.Hadoop内容，故而本机器是无法对机器的主机名为 Slave1.Hadoop 解析。在进行 Hadoop集群 配置中，需要在/etc/hosts文件中添加集群中所有机器的IP 与主机名，这样Master与所有的 Slave机器之间不仅可以通过IP 进行通信，而且还可以通过主机名进行通信。所以在所有的机器上的/etc/hosts文件 末尾 中都要添加如下内容：192.168.1.2 Master.Hadoop 192.168.1.3

13、Slave1.Hadoop 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上192.168.1.4 Slave2.Hadoop 192.168.1.5 Slave3.Hadoop 用以下命令进行添加：vim/etc/hosts 添加结果如下：现在我们在进行对机器为Slave1.Hadoop的主机名进行ping通测试，看是否能测试成功。从上图中我们已经能用主机名进行ping通了，说明我们刚才添加的内容，在局域网内能进行 DNS 解析了，那么现在剩下的

14、事儿就是在其余的Slave机器上进行相同的配置。然后进行测试。（备注：当设置 SSH 无密码验证后，可以 scp 进行复制，然后把原来的hosts文件执行覆盖即可。）1.4 所需软件1）JDK 软件下载地址：http:/ IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上JDK 版本：jdk-6u31-linux-i586.bin2）Hadoop软件下载地址：http:/hadoop.apache.org/common/releases.htmlHadoop版本：hadoop-1.0.0.tar

15、.gz1.5 VSFTP 上传在Hadoop集群（第3 期）讲了 VSFTP 的安装及配置，如果没有安装VSFTP 可以按照该文档进行安装。如果安装好了，就可以通过 FlashFXP.exe软件把我们下载的JDK6.0和 Hadoop1.0软件上传到 Master.Hadoop:192.168.1.2服务器上。刚才我们用一般用户（hadoop）通过 FlashFXP软件把所需的两个软件上传了跟目下，我们通过命令查看下一下是否已经上传了。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就

16、业后付款，平均就业薪水9500 以上从图中，我们的所需软件已经准备好了。2、SSH 无密码验证配置Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过 SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用 SSH 无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH 无密码登录到NameNode。2.1 安装和启动 SSH 协议在Hadoop集群（第 1 期）

17、安装 CentOS6.0时，我们选择了一些基本安装包，所以我们需要两个服务：ssh 和 rsync已经安装了。可以通过下面命令查看结果显示如下：rpm qa|grep openssh rpm qa|grep rsync 假设 没有安装ssh 和 rsync，可以通过下面命令进行安装。yum install ssh 安装 SSH 协议yum install rsync（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）service sshd restart 启动服务确保所有的服务器都安装，上面命令执行完毕，各台机器之间可以通过密码验证相互登。2.2 配置 Mast

18、er 无密码登录所有 Salve 1）SSH 无密码原理Master（NameNode|JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器 Salve（DataNode|Tasktracker）上时，需要在Master上生成一个密钥对，包北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当 Master通过 SSH 连接Salve时，Salve就会生成一个随机数并用Maste

19、r的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到 Slave上。2）Master机器上生成密码对在 Master节点上执行以下命令：ssh-keygen t rsa P 这条命是生成其无密码密钥对，询问其保存路径时直接回车 采用默认路径。生成的密钥对：id_rsa和 id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。查看/home/hadoop/下是否有.ss

20、h 文件夹，且.ssh 文件下是否有两个刚生产的无密码密钥对。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上接着在 Master节点上做如下配置，把id_rsa.pub追加到授权的key 里面去。cat/.ssh/id_rsa.pub /.ssh/authorized_keys 在验证前，需要做两件事儿。第一件事儿是修改文件authorized_keys权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA 功能），另一件事儿是

21、用 root用户设置/etc/ssh/sshd_config的内容。使其无密码登录有效。1）修改文件 authorized_keyschmod 600/.ssh/authorized_keys 备注：如果不进行设置，在验证时，扔提示你输入密码，在这里花费了将近半天时间来查找原因。在网上查到了几篇不错的文章，把作为Hadoop集群 _第 5 期副刊 _JDK 和SSH 无密码配置 来帮助额外学习之用。2）设置 SSH 配置用 root用户登录服务器修改SSH 配置文件/etc/ssh/sshd_config的下列内容。RSAAuthentication yes#启用RSA 认证北京尚学堂-cct

22、v央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上PubkeyAuthentication yes#启用公钥私钥配对认证方式AuthorizedKeysFile.ssh/authorized_keys#公钥文件路径（和上面生成的文件同）设置完之后记得重启 SSH 服务，才能使刚才设置有效。service sshd restart 退出 root登录，使用 hadoop普通用户验证是否成功。ssh localhost 从上图中得知无密码登录本级已经设置完毕，接下来的事儿

23、是把公钥 复制 所有 的 Slave机器上。使用下面的命令格式进行复制公钥：scp/.ssh/id_rsa.pub 远程用户名 远程服务器IP:/例如：scp/.ssh/id_rsa.pub hadoop192.168.1.3:/上面的命令是复制 文件 id_rsa.pub到服务器IP 为192.168.1.3的用户为hadoop 的/home/hadoop/下面。下面就针对IP 为192.168.1.3的 Slave1.Hadoop的节点进行配置。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0

24、 元入学，先就业后付款，平均就业薪水9500 以上1）把 Master.Hadoop上的公钥复制到Slave1.Hadoop上从上图中我们得知，已经把文件id_rsa.pub传过去了，因为并没有建立起无密码连接，所以在连接时，仍然要提示输入输入Slave1.Hadoop服务器用户hadoop的密码。为了确保确实已经把文件传过去了，用SecureCRT登录 Slave1.Hadoop:192.168.1.3服务器，查看/home/hadoop/下是否存在这个文件。从上面得知我们已经成功把公钥复制过去了。2）在/home/hadoop/下创建.ssh文件夹这一步 并不是必须 的，如果在Slave1

25、.Hadoop的/home/hadoop已经存在 就不需要创建了，因为我们之前并没有对Slave机器做过无密码登录配置，所以该文件是不存在的。用下面命令进行创建。（备注：用 hadoop登录系统，如果不涉及系统文件修改，一般情况下都是用我们之前建立的普通用户hadoop进行执行命令。）mkdir/.ssh 然后是修改文件夹.ssh 的用户权限，把他的权限修改为 700，用下面命令执行：chmod 700/.ssh 备注：如果不进行，即使你按照前面的操作设置了authorized_keys权限，并配置了/etc/ssh/sshd_config，还重启了sshd 服务，在Master能用 ssh

26、localhost进行无密码登录，但是对 Slave1.Hadoop进行登录仍然需要输入密码，就是因为.ssh 文件夹的权限设置不对。这个文件夹.ssh在配置 SSH 无密码登录时系统自动生成时，权限自动北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上为700，如果是自己手动创建，它的组权限和其他权限都有，这样就会导致RSA 无密码远程登录失败。对比上面两张图，发现文件夹.ssh 权限已经变了。3）追加到授权文件authorized_keys到目前

27、为止Master.Hadoop的公钥也有了，文件夹.ssh 也有了，且权限也修改了。这一步就是把Master.Hadoop的公钥 追加 到 Slave1.Hadoop的授权文件authorized_keys中去。使用下面命令进行追加并修改authorized_keys文件权限：cat/id_rsa.pub /.ssh/authorized_keys chmod 600/.ssh/authorized_keys 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水95

28、00 以上4）用 root用户修改/etc/ssh/sshd_config具体步骤参考前面Master.Hadoop的设置 SSH 配置 ，具体分为两步：第1 是修改配置文件；第2 是重启 SSH 服务。5）用 Master.Hadoop使用 SSH 无密码登录Slave1.Hadoop当前面的步骤设置完毕，就可以使用下面命令格式进行SSH 无密码登录了。ssh 远程服务器IP 从上图我们主要3 个地方，第1 个就是 SSH 无密码登录命令，第2、3 个就是登录前后 后面的 机器名 变了，由 Master变为了 Slave1，这就说明我们已经成功实现了SSH 无密码登录了。最后记得把/home

29、/hadoop/目录下的 id_rsa.pub文件删除掉。rm r/id_rsa.pub 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上到此为止，我们经过前5 步已经实现了从Master.Hadoop到 Slave1.HadoopSSH无密码登录，下面就是重复上面的步骤把剩余的两台（Slave2.Hadoop和Slave3.Hadoop）Slave服务器进行配置。这样，我们就完成了配置 Master无密码登录所有的 Slave服务器。2.3 配置

30、所有 Slave无密码登录 Master 和 Master无密码登录所有Slave原理一样，就是把Slave的公钥 追加 到 Master的.ssh 文件夹下的 authorized_keys中，记得是 追加（）。为了说明情况，我们现在就以Slave1.Hadoop无密码登录 Master.Hadoop为例，进行一遍操作，也算是巩固 一下前面所学知识，剩余的Slave2.Hadoop和Slave3.Hadoop就按照这个示例进行就可以了。首先创建 Slave1.Hadoop自己的公钥和私钥，并把自己的公钥追加到authorized_keys文件中。用到的命令如下：ssh-keygen t rs

31、a P cat/.ssh/id_rsa.pub /.ssh/authorized_keys 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上接着是用命令scp 复制 Slave1.Hadoop的公钥 id_rsa.pub到Master.Hadoop的/home/hadoop/目录下，并 追加 到Master.Hadoop的authorized_keys中。1）在 Slave1.Hadoop服务器的操作用到的命令如下：scp/.ssh/id_rsa.

32、pub hadoop192.168.1.2:/2）在 Master.Hadoop服务器的操作用到的命令如下：cat/id_rsa.pub /.ssh/authorized_keys 然后删除掉刚才复制过来的id_rsa.pub文件。最后是测试从Slave1.Hadoop到Master.Hadoop无密码登录。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上从上面结果中可以看到已经成功实现了，再试下从Master.Hadoop到Slave1.Hado

33、op无密码登录。至此 Master.Hadoop与Slave1.Hadoop之间可以互相无密码登录了，剩下的就是按照上面的步骤把剩余的Slave2.Hadoop和Slave3.Hadoop与Master.Hadoop之间建立起无密码登录。这样，Master能无密码验证登录每个Slave，每个 Slave也能无密码验证登录到Master。3、Java 环境安装所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK 以及配置环境变量，需要以 root 的身份进行。3.1 安装 JDK 首先用 root身份登录 Master.Hadoop后在/u

34、sr下创建 java文件夹，再把用 FTP上传到/home/hadoop/下的 jdk-6u31-linux-i586.bin复制到/usr/java文件夹中。mkdir/usr/java cp/home/hadoop/jdk-6u31-linux-i586.bin/usr/java 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上接着 进入/usr/java目录 下通过下面命令使其JDK 获得可执行权限，并安装JDK。chmod +x jdk-6

35、u31-linux-i586.bin./jdk-6u31-linux-i586.bin 按照上面几步进行操作，最后点击Enter 键开始安装，安装完会提示你按Enter 键退出，然后查看/usr/java下面会发现多了一个名为 jdk1.6.0_31文件夹，说明我们的JDK 安装结束，删除jdk-6u31-linux-i586.bin文件，进入下一个配置环境变量环节。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上3.2 配置环境变量编辑/etc/

36、profile文件，在后面添加Java 的JAVA_HOME、CLASSPATH以及PATH 内容。1）编辑/etc/profile文件vim /etc/profile 2）添加 Java 环境变量在/etc/profile文件的 尾部 添加以下内容：#set java environment export JAVA_HOME=/usr/java/jdk1.6.0_31/export JRE_HOME=/usr/java/jdk1.6.0_31/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=

37、$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 或者#set java environment export JAVA_HOME=/usr/java/jdk1.6.0_31 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 以上两种意思一样，那么我们就选择第 2 种来进行设置。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，

38、大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上3）使配置生效保存并退出，执行下面命令使其配置立即生效。source/etc/profile 3.3 验证安装成功配置完毕并生效后，用下面命令判断是否成功。java-version 从上图中得知，我们以确定JDK 已经安装成功。3.4 安装剩余机器北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上这时用 普通用户hadoop通过下面命令格式把Master.Hadoop文件夹

39、/home/hadoop/的 JDK 复制到其他Slave的/home/hadoop/下面，剩下的事儿就是在其余的Slave服务器上按照上图的步骤安装JDK。scp/home/hadoop/jdk-6u31-linux-i586.bin 远程用户名 远程服务器IP:/或者scp/jdk-6u31-linux-i586.bin 远程用户名 远程服务器IP:/备注：代表 当前 用户的主目录，当前用户为hadoop，所以 代表/home/hadoop。例如：把 JDK 从Master.Hadoop复制到 Slave1.Hadoop的命令如下。scp/jdk-6u31-linux-i586 hadoo

40、p192.168.1.3:/然后查看 Slave1.Hadoop的/home/hadoop查看是否已经复制成功了。从上图中得知，我们已经成功复制了，现在我们就用最高权限用户root进行安 装了。其他的与这个一样。4、Hadoop 集群安装北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上所有的机器上都要安装hadoop，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以 root 的身份进行。4.1 安

41、装 hadoop 首先用 root用户登录 Master.Hadoop机器，查看我们之前用FTP 上传至/home/Hadoop上传的 hadoop-1.0.0.tar.gz。接着把 hadoop-1.0.0.tar.gz复制到/usr目录下面。cp/home/hadoop/hadoop-1.0.0.tar.gz/usr 下一步进入/usr目录下，用下面命令把hadoop-1.0.0.tar.gz进行解压，并将其命名为 hadoop，把该文件夹的读权限 分配给普通用户hadoop，然后删除hadoop-1.0.0.tar.gz安装包。cd/usr#进入/usr目录tar zxvf hadoop

42、-1.0.0.tar.gz#解压 hadoop-1.0.0.tar.gz 安装包mv hadoop-1.0.0 hadoop#将hadoop-1.0.0文件夹 重命名 hadoop 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上chown R hadoop:hadoop hadoop#将文件夹 hadoop读权限分配给hadoop用户rm rf hadoop-1.0.0.tar.gz#删除 hadoop-1.0.0.tar.gz安装包解压后，并重

43、命名。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上把/usr/hadoop读权 限分配给hadoop用户（非常 重要）北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上删除 hadoop-1.0.0.tar.gz安装包最后在/usr/hadoop下面创建tmp文件夹，把Hadoop的安装路径添加到/e

44、tc/profile中，修改/etc/profile文件（配置java环境变量的文件），将以下语句添加到 末尾，并使其有效：#set hadoop path export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin 1）在/usr/hadoop创建 tmp 文件夹mkdir/usr/hadoop/tmp 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上2）配置/etc/pro

45、filevim/etc/profile 配置后的文件如下：3）重启/etc/profilesource/etc/profile 4.2 配置 hadoop 1）配置 hadoop-env.sh该hadoop-env.sh文件位于 /usr/hadoop/conf目录下。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上在文件的末尾添加下面内容。#set java environment export JAVA_HOME=/usr/java/jdk1.

46、6.0_31 Hadoop配置文件在conf 目录下，之前的版本的配置文件主要是Hadoop-default.xml和 Hadoop-site.xml。由于 Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和 map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和 hdfs-site.xml是站在 HDFS 角度上配置文件；core-site.xml和 mapred-site.xml是站在 MapReduce角度上配置文件。2）配置 core-site.xml文

47、件修改 Hadoop核心配置文件core-site.xml，这里配置的是HDFS 的地址和端口号。hadoop.tmp.dir/usr/hadoop/tmp（备注：请先在/usr/hadoop 目录下建立tmp 文件夹）A base for other temporary directories.北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上 fs.default.name hdfs:/192.168.1.2:9000 备注：如没有配置hadoo

48、p.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。用下面命令进行编辑：编辑结果显示如下：3）配置 hdfs-site.xml文件修改 Hadoop中 HDFS 的配置，配置的备份方式默认为3。北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上dfs.replication 1(备注：replication 是数据副本数量，默认为3，salv

49、e少于 3 台就会报错)用下面命令进行编辑：编辑结果显示如下：4）配置 mapred-site.xml文件修改 Hadoop中 MapReduce的配置文件，配置的是JobTracker的地址和端口。mapred.job.tracker http:/192.168.1.2:9001 北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上用下面命令进行编辑：编辑结果显示如下：5）配置 masters文件有两种方案：（1）第一种修改 localhost为 M

50、aster.Hadoop（2）第二种去掉 localhost，加入 Master机器的 IP：192.168.1.2 为保险起见，启用第二种，因为万一忘记配置/etc/hosts局域网的DNS 失效，这样就会出现意想不到的错误，但是一旦IP 配对，网络畅通，就能通过IP 找到相应主机。用下面命令进行修改：编辑结果显示如下：北京尚学堂-cctv央视网广告合作伙伴，专业 IT培训机构,口碑最好的java培训、,iOS培训，android培训，大数据培训，web 前端，0 元入学，先就业后付款，平均就业薪水9500 以上6）配置 slaves文件（Master主机特有）有两种方案：（1）第一种去掉