Hadoop安装部署介绍资料.doc

《Hadoop安装部署介绍资料.doc》由会员分享，可在线阅读，更多相关《Hadoop安装部署介绍资料.doc（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、*1 安装环境介绍1.1 软件环境1） CentOS6.5 x642） Jdk 1.7 x643） Hadoop 2.6.2 x644） Hbase-0.98.95） Zookeeper-3.4.61.2 集群环境集群中包括3个节点：1个Master，2个Slave机器名称IP地址HadoopZooKeepermyidHbaseMaster.Hadoop10.1.11.150NameNodeserver.11HMaserSlave1.Hadoop10.1.11.151DataNodeserver.22HRegionServerSlave2.Hadoop10.1.11.152DataNodese

2、rver.33HRegionServer2 安装前的准备1.2.2.1.2.1 下载JDKhttp:/ 下载Hadoophttp:/ 下载Zookeeperhttp:/ 下载Hbasehttp:/ 开始安装3.1 CentOS安装配置1） 安装3台CentOS6.5 x64（使用Basic Server模式，其他使用默认配置，安装过程略）2） Master.Hadoop配置a) 配置网络vi /etc/sysconfig/network-scripts/ifcfg-eth0修改为：DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=10.1.11.150NE

3、TMASK=255.255.255.0GATEWAY=10.1.11.254保存，退出（esc+:wq+enter），使配置生效service network restartb) 配置主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master.Hadoop修改为：保存，退出（esc+:wq+enter），使配置生效hostname Master.Hadoopc) 配置hostsvi /etc/hosts修改为：10.1.11.150 Master.Hadoop10.1.11.151 Slave1.Hadoop10.1.11.152 Sla

4、ve2.Hadoopd) 关闭系统防火墙service iptables stopchkconfig iptables offe) 禁止SELINUXvi /etc/sysconfig/selinux修改为：#SELINUX=enforcingSELINUX=disabledf) 调整系统文件限制vi /etc/security/limits.conf在最后增加如下内容* soft nofile 65535* hard nofile 65535vi /etc/pam.d/login修改以下文件：增加如下内容：session required /lib/security/pam_limits.s

5、o以上调整，需要重启系统才能生效g) 配置用户新建hadoop用户和组，设置hadoop用户密码groupadd hadoopuseradd hadoop -g Hadooppasswd hadooph) 无密码密钥对切换到hadoop用户，生成密码对su Hadoopssh-keygen -t rsa -P 生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。a) 把id_rsa.pub追加到授权的key里面去cat /.ssh/id_rsa.pub /.ssh/authorized_

6、keysb) 修改.ssh目录的权限以及authorized_keys 的权限chmod 600 /.ssh/authorized_keysc) 用root用户登录服务器修改SSH配置文件/etc/ssh/sshd_config的下列内容su rootvi /etc/ssh/sshd_config其中三行内容改为启用，如下所示RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys保存，退出（esc+:wq+enter），重新启动SSH服务，使设置生效service sshd res

7、tart3） Slave1.Hadoop、Slave1.Hadoop配置相同的方式配置Slave1和Slave2的IP地址，主机名和hosts文件，新建hadoop用户和组及用户密码等等操作机器名称IP地址Slave1.Hadoop10.1.11.151Slave2.Hadoop10.1.11.1523.2 无密码登陆配置1） 配置Master无密码登录所有Slavea) 使用hadoop用户登陆Master.Hadoopb) 把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopSlave1.Hadoop:/scp /.ssh/

8、id_rsa.pub hadoopSlave2.Hadoop:/c) 在Slave机器上进行配置cat /id_rsa.pub /.ssh/authorized_keysrm r /id_rsa.pub测试Master到Slave的ssh登陆ssh Slave1.Hadoop2） 配置Slave无密码登录Mastera) 使用hadoop用户登陆Slaveb) 把公钥复制Master机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopMaster.Hadoop:/c) 在Master机器上将公钥追加到authorized_keys中cat /id_rsa

9、.pub /.ssh/authorized_keysrm r /id_rsa.pub测试Slave到Master的ssh登陆ssh Master.Hadoop3.3 安装JDK所有的机器上都要安装JDK，先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以root的身份进行。1） 将jdk安装包jdk-7u71-linux-x64.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf jdk-7u71-linux-x64.tar.gz3） 配置环境变量vi /etc/profile增加如下内

10、容：export JAVA_HOME=/usr/local/jdk1.7.0_71export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$PATH:$JAVA_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效java version4） 验证是否安装成功rm f jdk-7u71-linux-x64.tar.gz5） 删除jdk的安装包scp -r /usr/local/jdk1.7.0_71 rootSlave1.Hadoop:/usr

11、/local/scp -r /usr/local/jdk1.7.0_71 rootSlave2.Hadoop:/usr/local/6） 在Slave上重复以上步骤，安装JDK（以下为从Master复制jdk到Slave）3.4 安装Hadoop因为官网没有64位版的haoop2.6.0发行包，需要手动由源代码编译（编译过程另附文件说明），编译后的文件为hadoop-2.6.0.tar.gz，以下使用root身份进行安装。1） 将hadoop安装包hadoop-2.6.0.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf hadoo

12、p-2.6.0.tar.gz3） 在/usr/local/hadoop-2.6.0下面创建tmp文件夹mkdir /usr/local/hadoop-2.6.0/tmp4） 编辑/etc/hadoop/hadoop-env.shvi /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh修改JAVA_HOME的配置：export JAVA_HOME=/usr/local/jdk1.7.0_715） 编辑/etc/hadoop/core-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml

13、修改为： fs.defaultFS hdfs:/Master.Hadoop:9000 hadoop.tmp.dir /usr/local/hadoop-2.6.0/tmp io.file.buffer.size 4096新变量fs.defaultFS 代替旧的fs.default.name6） 编辑/etc/hadoop/hdfs-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/hdfs-site.xml修改为：dfs.namenode.name.dir/usr/local/hadoop-2.6.0/dfs/nametruedfs.datanode.

14、data.dir/usr/local/hadoop-2.6.0/dfs/datatruedfs.replication2dfs.replication值需要与实际的DataNode节点数要一致，本文为27） 编辑/etc/hadoop/yarn-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/yarn-site.xml修改为：yarn.resourcemanager.hostnameMaster.Hadoopyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.addre

15、ssMaster.Hadoop:8032yarn.resourcemanager.scheduler.addressMaster.Hadoop:8030yarn.resourcemanager.resource-tracker.addressMaster.Hadoop:8031yarn.resourcemanager.admin.addressMaster.Hadoop:8033yarn.resourcemanager.webapp.addressMaster.Hadoop:80888） 编辑/etc/hadoop/mapred-site.xml默认没有mapred-site.xml文件，需要

16、复制一份mapred-site.xml.template为 mapred-site.xml即可cp /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml修改为：mapreduce.framework.nameyarntrue9） 编辑 /etc/hadoop/slavesvi /usr/local/hadoop-2.6.0/

17、etc/hadoop/slaves修改为：Slave1.HadoopSlave2.Hadoop10） 把该文件夹的读权限分配给普通用户hadoopchown R hadoop:hadoop /usr/local/hadoop-2.6.0rm -f /usr/local/hadoop-2.6.0.tar.gz11） 删除hadoop的安装包12） 配置环境变量vi /etc/profile增加如下内容：export HADOOP_HOME=/usr/local/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsour

18、ce /etc/profile保存，退出（esc+:wq+enter），使配置生效13） 在Slave上重复以上步骤，安装Hadoop（以下为从Master复制hadoop到Slave）scp -r /usr/local/hadoop-2.6.0 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/hadoop-2.6.0 rootSlave2.Hadoop:/usr/local/14） 测试和启动在Slave上进行如上配置后，使用使用hadoop用户启动服务hdfs namenode format第一次启动需要在Master.Hadoop 执行无错误

19、后，启动服务（先启动HDFS）/usr/local/hadoop-2.6.0/sbin/start-dfs.sh再启动yarn/usr/local/hadoop-2.6.0/sbin/start-yarn.sh在Master 验证启动进程jps在Slave 验证启动进程jps15） 网页查看集群http:/10.1.11.150:50070http:/10.1.11.150:80883.5 安装Zookeeper1） 以root身份将zookeeper-3.4.6.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf zookeeper

20、-3.4.6.tar.gz3） 创建data文件夹mkdir /usr/local/zookeeper-3.4.6/data4） 根据zoo_sample.cfg创建zoo.cfg并修改cp /usr/local/zookeeper-3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.6/conf/zoo.cfgvi /usr/local/zookeeper-3.4.6/conf/zoo.cfg修改为：dataDir=/usr/local/zookeeper-3.4.6/dataserver.1=Master.Hadoop:2888:3888s

21、erver.2=Slave1.Hadoop:2888:3888server.3=Slave2.Hadoop:2888:38885） 在dataDir目录下创建myid文件，设为1，Slave1.Hadoop，Slave2.Hadoop的myid为2，3echo 1 /usr/local/zookeeper-3.4.6/data/myid6） 配置环境变量vi /etc/profile增加如下内容：export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6export PATH=$PATH:$ ZOOKEEPER_HOME/binsource /etc/pr

22、ofile保存，退出（esc+:wq+enter），使配置生效chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/7） 把该文件夹的读权限分配给普通用户hadoop8） 删除安装包rm -f /usr/local/zookeeper-3.4.6.tar.gzsu hadoop/usr/local/zookeeper-3.4.6/bin/zkServer.sh start9） 用hadoop用户启动ZooKeeper集群需要在Master和Slave上分别启动服务/usr/local/zookeeper-3.4.6/bin/zkServer.sh

23、status10） 安装验证/usr/local/zookeeper-3.4.6/bin/zkServer.sh stop11） 停止服务指令为3.6 安装Hbase1） 以root身份将hbase-0.98.9-hadoop2-bin.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf hbase-0.98.9-hadoop2-bin.tar.gzmv hbase-0.98.9-hadoop2 hbase-0.98.93） 编辑/conf/hbase-env.shvi /usr/local/hbase-0.98.9/conf/hba

24、se-env.sh修改为：export JAVA_HOME=/usr/local/jdk1.7.0_71export HBASE_MANAGES_ZK=falseexport HBASE_PID_DIR=/usr/local/hbase-0.98.9/pids使用独立的ZooKeeper时需要修改HBASE_MANAGES_ZK值为false，为不使用默认ZooKeeper实例4） 编辑/conf/hbase-site.xmlvi /usr/local/hbase-0.98.9/conf/hbase-site.xml在configuration里添加：hbase.rootdirhdfs:/Ma

25、ster.Hadoop:9000/hbasehbase.cluster.distributedtruehbase.masterhdfs:/Master.Hadoop:60000hbase.zookeeper.quorumMaster.Hadoop,Slave1.Hadoop,Slave2.Hadoophbase.zookeeper.property.dataDir/usr/local/zookeeper-3.4.6/data5） 编辑/conf/regionservers文件vi /usr/local/hbase-0.98.9/conf/regionservers删除localhost，添加如

26、下内容：Master.HadoopSlave1.HadoopSlave2.Hadoop6） 配置环境变量vi /etc/profile增加如下内容：export HBASE_HOME=/usr/local/hbase-0.98.9export PATH=$PATH:$HBASE_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效7） 删除安装包rm -f /usr/local/hbase-0.98.9chown -R hadoop:hadoop /usr/local/hbase-0.98.9/8） 把该文件夹的读权限分配给普通用户hado

27、op9） 在Slave上执行以上操作（或拷贝配置好的hbase文件夹，然后执行第6、8）scp -r /usr/local/hbase-0.98.9 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/hbase-0.98.9 rootSlave2.Hadoop:/usr/local/su hadoop/usr/local/hbase-0.98.9/start-hbase.sh10） 在Master上用hadoop用户启动hbase11） 查看状态http:/10.1.11.150:60010http:/10.1.11.151:60030http:/1

28、0.1.11.152:600304 集群的启动和查看4.1 启动1） 启动顺序为： HDFS - ZooKeeper - Hbase以下操作都是使用hadoop用户Master节点启动Hadoop集群：/usr/local/hadoop-2.6.0/sbin/start-dfs.sh/usr/local/hadoop-2.6.0/sbin/start-yarn.sh每个节点启动ZooKeeper集群：/usr/local/zookeeper-3.4.6/bin/zkServer.sh startMaster节点启动Hbase集群/usr/local/hbase-0.98.9/bin/start

29、-hbase.sh4.2 命令查看jpsMaster节点上执行显示内容如下：13661 HRegionServer13373 QuorumPeerMain13074 ResourceManager12923 SecondaryNameNode10913 Main13531 HMaster12738 NameNode14044 Jps25431 NodeManager25323 DataNode25666 HRegionServer25925 Jps25585 QuorumPeerMainSlave节点上执行4.3 网页查看http:/10.1.11.150:50070http:/10.1.11

30、.150:8088http:/10.1.11.150:60010http:/10.1.11.151:60030http:/10.1.11.152:600304.4 停止停止顺序为：Hbase - ZooKeeper - HDFS以下操作都是使用hadoop用户Master节点停止Hbase集群/usr/local/hbase-0.98.9/bin/stop-hbase.sh每个节点停止ZooKeeper集群：/usr/local/zookeeper-3.4.6/bin/zkServer.sh stopMaster节点停止Hadoop集群：/usr/local/hadoop-2.6.0/sbin/stop-yarn.sh/usr/local/hadoop-2.6.0/sbin/stop-dfs.sh