2022年搭建Hadoop+Hbase集群 .pdf

搭建 Hadoop+Hbase集群平台软件工程研究所 2014 一、环境及目标：-系统：Ubuntu 12.10-Hadoop 版本：1.0.4-Hbase 版本：0.94.8(hindex secondary index)-节点配置(完全分布式集群)静态 IP Master(job tracker)192.168.0.200 namenode Slave(task tracker/data node)192.168.0.201 Datanode1 Slave(task tracker/data node)192.168.0.202 Datanode2-用户:hadoop 1.1 创建 hadoop 用户组;$sudo addgroup hadoop 记下这里为hadoop 用户设置的密码，后面使用hadoop 用户登录时需要用到。1.2.创建 hadoop 用户;$sudo adduser-ingroup hadoop hadoop 1.3.给 hadoop 用户添加权限，打开/etc/sudoers文件;$sudo gedit/etc/sudoers 1.4.给 hadoop 用户赋予 root 用户同样的权限。在 root ALL=(ALL:ALL)ALL下添加如下内容：hadoop ALL=(ALL:ALL)ALL 二、在 Ubuntu下安装 JDK 2.1 配置环境变量$sudo gedit/etc/profile在文件的末尾加上如下内容，保存并关闭文件#for java export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 使设置生效：到此部JDK的配置就都完成了名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 8 页 -$source/etc/profile为保证正确性，进行简单的测试$java-version 2.2 修改默认 JDK sudo update-alternatives-install/usr/bin/javajava/usr/lib/jvm/jdk1.6.0_45/bin/java 300 sudo update-alternatives-install/usr/bin/javacjavac /usr/lib/jvm/jdk1.6.0_45/bin/javac300 sudo update-alternatives-install/usr/bin/jarjar /usr/lib/jvm/jdk1.6.0_45/bin/jar 300 以下两句可选（最好执行）：sudo update-alternatives-config java sudo update-alternatives-config javac 2.3 修改机器名每当 ubuntu 安装成功时机器名都默认为：ubuntu，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由/etc/hostname文件决定。1.打开/etc/hostname 文件;$sudo gedit/etc/hostname 2.将/etc/hostname文件中的ubuntu 改为对应机器，如主节点中，修改为namenode。重启生效。3.修改/etc/hosts 文件$sudo gedit/etc/hosts 并且将每台机器的IP设置为固定 IP：三、安装 ssh服务ubuntu 一般只是默认安装了ssh-agent,可以用如下命令查看：$sudo ps-ef|grep ssh 如果只有ssh-agent 就需要安装 openssh-server了。$sudo apt-get install ssh openssh-server 3.1 建立 ssh 无密码登录本机首先要转换成 hadoop 用户，执行以下命令：$sudo su-hadoop 名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 8 页 -ssh生成密钥有 rsa和 dsa两种生成方式，默认情况下采用rsa方式。1.创建 ssh-key，这里我们采用 rsa方式;$ssh-keygen-t rsa-P 注意：ssh-kengen 是用连字符连着的，千万不要分开。（注：回车后会在/.ssh/下生成两个文件：id_rsa 和 id_rsa.pub 这两个文件是成对出现的）2.创建授权文件 authorized_keys 进入/.ssh/目录下，发现开始是没有authorized_keys 文件的，可以使用以下两种方法：(1)将 id_rsa.pub 追加到 authorized_keys授权文件中;$cd/.ssh$cat id_rsa.pub authorized_keys (2)复制 id_rsa.pub 为 authorized_keys$cp/.ssh/id_rsa.pub/.ssh/authorized_keys 3.登录 localhost;$ssh localhost 4.执行退出命令(exit 或 CTRL+D);权限要求：hadoop目录 755，.ssh目录 700，authorized_key 文件 600四、安装 hadoop 解压后修改 hadoop/conf/下几个文件：hadoop-env.sh 增加：export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 core-site.xml fs.default.name hdfs:/namenode:9000 hadoop.tmp.dir/home/hadoop/tmp mapred-site.xml mapred.job.tracker 名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 8 页 -hdfs:/namenode:9001 hdfs-site.xml dfs.replication 3 dfs.data.dir/home/hadoop/tmp/data masters：添加作为 secondarynamenode的主机名slaves：添加作为 slave的主机名，一行一个运行 hadoop 1.进入 hadoop 目录下，格式化hdfs 文件系统，初次运行hadoop 时一定要有该操作，$cd/usr/local/hadoop/$bin/hadoop namenode-format 2.启动 bin/start-all.sh进入 bin 目录下，$./start-all.sh 关闭：同目录下./stop-all.sh3.检测 hadoop 是否启动成功$jps 4.Web查看http:/localhost:50070/web UI of theNameNode daemon http:/localhost:50030/web UI of theJobTracker daemon http:/localhost:50060/web UI of theTaskTracker daemon 五、安装 Hbase 需要将 hadoop/lib 下文件全部复制到hbase/lib 目录下。解压后修改 hbase/conf/下几个文件：hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45/export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.4/conf:/home/hadoop/hbase-0.94.8名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 8 页 -/libs export HBASE_PID_DIR=/home/hadoop/tmp/hbase/pids export HBASE_OPTS=-ea-XX:+UseConcMarkSweepGC-XX:+CMSIncrementalMode export HBASE_MANAGES_ZK=true/true 为使用 Hbase自带 ZK，false为使用独立 ZK hbase-site.xml hbase.rootdir hdfs:/namenode:9000/hbase hbase.cluster.distributed true hbase.master hdfs:/namenode:60000 hbase.tmp.dir/home/hadoop/tmp/data hbase.zookeeper.quorum namenode,datanode1,datanode2 hbase.zookeeper.property.dataDir$hbase.tmp.dir/zookeeper hbase.use.secondary.index true 名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 8 页 -hbase.coprocessor.master.classes org.apache.hadoop.hbase.index.coprocessor.master.IndexMasterObserver hbase.coprocessor.region.classes org.apache.hadoop.hbase.index.coprocessor.regionserver.IndexRegionObserver hbase.coprocessor.wal.classes org.apache.hadoop.hbase.index.coprocessor.wal.IndexWALObserver regionservers:添加作为 RS的主机名，一行一个(实验环境 namenode 没有添加)datanode1 datanode2 1.启动 bin/start-hbase.sh 2.进入 shell:bin/hbase shell六、注意事项6.1 权限问题：.ssh 目录权限：700 authorized_key:600/home/hadoop:755 6.2 格式化 HDFS 在 bin/hadoop namenode-format 前必须将各节点tmp文件清空！6.3 source问题如果每次都需要 source profile:直接在.bashrc 文件中加入 source/etc/profile 这行语句名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 8 页 -6.4 替换 Jar 包-将 hbase/lib下的 hadoop-core 删除，替换为 hadoop目录下的 core 版本-将 hadoop/lib下所有 jar 包复制到 hbase/lib下-将 hbase/lib下所有 jar 包复制到 hadoop/lib下-将 hadoop/lib、hbase/lib、hadoop-core、hbase-0.94.8.jar全部加入Eclipse 的 Build Path中。6.5 Kettle出现 unable to connect Hbase Host port:?,无法链接Hadoop与 Hbase的问题将 hadoop/lib,hbase/lib下的 jar 包，放入/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hadoop-20/lib/client 目录下，并且替换对应的hadoop-core.jar包。七、文件配置/etc/hosts 127.0.0.1 localhost 192.168.0.200 namenode 192.168.0.201 datanode1 192.168.0.202 datanode2/etc/profile#for hadoop export HADOOP_HOME=/home/hadoop/hadoop-1.0.4 export HBASE_HOME=/home/hadoop/hbase-0.94.8#for java export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH:名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 8 页 -/etc/sudoers#User privilege specification root ALL=(ALL:ALL)ALL hadoop ALL=(ALL:ALL)ALL 名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 8 页 -