Hbase配置步骤(15页).doc

《Hbase配置步骤(15页).doc》由会员分享，可在线阅读，更多相关《Hbase配置步骤(15页).doc（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、-Hbase配置步骤-第 15 页免密钥登录配置该部分所有的操作都要在lzt用户下，切换回lzt的命令是：su - lzt密码是：lzt1、HadoopMaster节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa生成的密钥在.ssh目录下如下图所示：复制公钥文件cat /.ssh/id_rsa.pub /.ssh/authorized_keys执行ls -l命令后会看到下图的文件列表：修改authorized_keys文件的权限，命令如下：chmod 600 /.ssh/authorized_keys修改完权限后，文件列表情况如下：将authorized_

2、keys文件复制到slave节点，命令如下：scp /.ssh/authorized_keys lztslave:/如果提示输入yes/no的时候，输入yes，回车密码是：lzt2、HadoopSlave节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa将authorized_keys文件移动到.ssh目录mv authorized_keys /.ssh/修改authorized_keys文件的权限，命令如下：cd /.sshchmod 600 authorized_keys3、验证免密钥登陆在HadoopMaster机器上执行下面的命令：ssh slave

3、如果出现下图的内容表示免密钥配置成功：第2章 安装部署HBase该部分的安装需要在Hadoop已经成功安装的基础上,并且要求Hadoop已经正常启动。HBase需要部署在HadoopMaster和HadoopSlave上。下面的操作都是通过HadoopMaster节点进行。本章所有的操作都使用lzt用户，切换用户的命令是：su lzt密码是：lzt2.1 解压并安装HBase使用下面的命令，解压HBase安装包：cd /home/lzt/software/hadoop/apachemv hbase-0.98.7-hadoop2-bin.tar.gz / cdtar -zxvf执行一下ls -l

4、命令会看到下面的图片所示内容，这些内容是HBase包含的文件：2.2 配置HBase进入HBase安装主目录，然后修改配置文件：cd /home/lztconf2.2.1 修改环境变量使用下面的命令打开文件：gedit该文件的靠前部分有下面一行内容：# export JAVA_HOME=/usr将改行内容修改为：export JAVA_HOME=/usr/注意：去掉行首的#2.2.2 修改配置文件用下面的内容替换原先hbase-site.xml中的内容： true hdfs:/master:9000/hbase master 2.2.3 设置regionservers将regionserver

5、s中的localhost修改为下面的内容：slave2.2.4 设置环境变量编辑系统配置文件：执行gedit /.bash_profile将下面代码添加到文件末尾：export HBASE_HOME=/home/lztexport PATH=$HBASE_HOME/bin:$PATHexport HADOOP_CLASSPATH=$HBASE_HOME/lib/*然后执行：source /.bash_profile2.2.5 将HBase安装文件复制到HadoopSlave节点使用下面的命令操作：cdscp -r slave:/2.3 启动并验证HBase进入HBase安装主目录，启动HBas

6、e：cd/home/lzt/ 分步启动： 先启动regionserver，再启动HMaster。 在regionServer上 start regionserver 在master上执行：./bin/hbase-daemon.sh start master执行命令后会看到下面的打印输出：使用Web UI界面查看启动情况：打开Firefox浏览器，在地址栏中输入http:/master:60010，会看到如下图的HBase管理页面：如下图一，看到这些表明HBase已经启动成功，如下图二。HBASE Shell 命令使用：1 进入hbase shell console # bin/hbase sh

7、ell3.2 Linux系统配置以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：su root输入密码：lzt本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：终端打开后如下图中命令行窗口所示。拷贝软件包和数据包将完整软件包“Hadoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster节点的桌面上，并且在终端中执行下面的移动文件命令：mv /home/lzt/Desktop/software /hom

8、e/lzt/mv /home/lzt/Desktop/sogou-data /home/lzt/ 配置时钟同步1、配置自动时钟同步使用Linux命令配置crontab -e键入下面的一行代码：输入i，进入插入模式（星号之间和前后都有空格）0 1 * * * /usr/sbin/ntpdate2、手动同步时间/usr/sbin/ntpdate该项需要在HadoopSlave节点配置。 配置主机名1、HadoopMaster节点使用gedit编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，

9、即下面代码的第3行所示。NETWORKING=yes #启动网络HOSTNAME=master #主机名确实修改生效命令：hostname master检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：hostname执行完命令，会看到下图的打印输入：2、HadoopSlave节点使用gedit编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将Hadoopslave节点的主机名改为slave，即下面代码的第3行所示。NETWORKING=yes #启动网络HOSTNAME=slave #主机名确实修改生效命令：h

10、ostname slave检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：hostname执行完命令，会看到下图的打印输入： 使用setup 命令配置网络环境在终端中执行下面的命令：ifconfig如果看到下面的打印输出如果看到出现红线标注部分出现，即存在内网IP、广播地址、子网掩码，说明该节点不需要配置网络，否则进行下面的步骤。在终端中执行下面命令：setup会出现下图中的内容：使用光标键移动选择“Network configuration”，回车进入该项使用光标键移动选择eth0，回车进入该项按照图中的方式输入各项内容重启网络服务/sbin/service n

11、etwork restart检查是否修改成功：ifconfig看到如下图的内容（IP不一定和下图相同，根据你之前的配置），说明配置成功，特别关注红线部分该项需要在HadoopSlave节点配置。 关闭防火墙在终端中执行下面命令：setup会出现下图中的内容：光标移动选择“Firewall configuration”选项，回车进入选项如果该项前面有“*”标，则按一下空格键关闭防火墙，如下图所示，然后光标移动选择“OK”保存修改内容选择OK该项需要在HadoopSlave节点配置。 配置hosts列表编辑主机名列表的命令：gedit /etc/hosts将下面两行添加到/etc/hosts文件中

12、192.168.1.100 master192.168.1.101 slave注意：这里master节点对应IP地址是，slave对应的IP是，而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址。查看master的IP地址使用下面的命令：Ifconfigmaster节点的IP是下图中红线标注的内容。slave的IP地址也是这样查看。验证是否配置成功的命令是：ping masterping slave如果出现下图的信息表示配置成功：如果出现下图的内容，表示配置失败：该项需要在HadoopSlave节点配置。 安装JDK将JDK文件解压，放到/usr/java目录

13、下cd /home/lzt/software/jdkmkdir /usr/javamv jdk-7u71-linux-x64.gz /usr/java/ cd /usr/javatar -xvf使用gedit配置环境变量gedit /home/lzt/.bash_profile复制粘贴以下内容添加到到上面gedit打开的文件中：export JAVA_HOME=/usrexport PATH=$JAVA_HOME/bin:$PATH使改动生效命令：source /home/lzt/.bash_profile测试配置：java -version如果出现下图的信息，表示JDK安装成功：该项需要在H

14、adoopSlave节点配置。免密钥登录配置该部分所有的操作都要在lzt用户下，切换回lzt的命令是：su - lzt密码是：lzt1、HadoopMaster节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa生成的密钥在.ssh目录下如下图所示：复制公钥文件cat /.ssh/id_rsa.pub /.ssh/authorized_keys执行ls -l命令后会看到下图的文件列表：修改authorized_keys文件的权限，命令如下：chmod 600 /.ssh/authorized_keys修改完权限后，文件列表情况如下：将authorized_ke

15、ys文件复制到slave节点，命令如下：scp /.ssh/authorized_keys lztslave:/如果提示输入yes/no的时候，输入yes，回车密码是：lzt2、HadoopSlave节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa将authorized_keys文件移动到.ssh目录mv authorized_keys /.ssh/修改authorized_keys文件的权限，命令如下：cd /.sshchmod 600 authorized_keys3、验证免密钥登陆在HadoopMaster机器上执行下面的命令：ssh slave如果

16、出现下图的内容表示免密钥配置成功：启动错误处理ERROR: : Master is initializing尝试使用如下方式解决： 停止hbase、hadoop、zk集群；删除datanode节点中的临时文件，删除zk下dataDir中的version-2文件；重新格式化namenode，和zkcf；重起zk、hadoop、hbase集群；但仍然报错，参考这篇文章于是修改hbase配置文件，改成了，增加了（后来正式没用）如下： hdfs:/centos1:9000/hbase true !- hdfs:/centos1:6000 - centos1,centos2,centos3 /home/

17、hbase/zookeeper/data 重启hbase，仍然报错： ERROR: Cant get master address from ZooKeeper; znode data = null参考文章： 先启动regionserver，在启动HMaster。 在regionServer上 start regionserver 在master上执行：./bin/hbase-daemon.sh start master解决问题！第10章 安装部署KafkaKafka集群的安装部署相对简单很多，下面的内容将详细讲解Kafka的安装和部署过程。安装Kafka安装Kafka只需要三步操作：下载、修

18、改配置和启动，下面介绍详细流程。注意，需在每台机器上该操作，比如你准备在三台机器test1，test2和test3上安装kafka，则需要在每个节点上进行如下操作。下载Kafka安装文件通过下面的命令从Apache官方网站下载的安装包，并且解压：cd /opt/modules/wget tar -zxvf ln -s /opt/modules/ /opt/modules/kafkacd /opt/modules/kafka配置Kafka在Kafka根目录下，文件config/是Kafka服务端配置文件，其所有属性的含义和属性设置值如表8-1所示。其中，标有下划线部分的属性参数属于改动的参数，这

19、些参数对应第二列的值是设置后的值。其他参数的值都保持默认值不变。配置参数 参数值解释说明是否必须配置brokerid整型数字Kafka集群唯一的数字，默认值是0必须，且每个节点必须不同，比如三个节点分别是0，1，2hostname()当前服务器的IP可选，最好进行设置port9092Kafka的端口号必须8默认为服务器cpu的数量可选/tmp/kafka-logsKafka数据保存的目录，目录尽量的大必须10每个Topic下分区的数量，这个数值需要和consumer结合起来配置，有多少个partition，一个consumer Group下最多有几个consumer。默认值是1。必须720日志

20、保存的时间，默认为7天必须test1:2181,test2:2181,test3:2181ZooKeeper集群的地址，这需要先把所有的zookeeper配置好，得到zookeeper的集群列表。默认值是localhost:2181必须然后配置日志文件，将conf文件中的配置属性替换为如下代码：log4j.rootLogger=INFO, fileAppender=/var/log/kafka=%d %p %m (%c)%nlog4j.appender.fileAppender.layout.ConversionPattern= %-4r %t %-5p %c %x - %m%n# Turn

21、on all our debugging infolog4j.logger.kafka=INFOlog4j.logger.org.I0Itec.zkclient.ZkClient=DEBUG启动Kafka首先，因为Kafka需要使用hadoop用户启动，按照下面所示代码更改文件权限：mkdir -p /var/log/kafkachown -R hadoop:hadoop /var/log/kafkachown -R hadoop:hadoop /opt/modules/kafka*然后，使用nohup后台启动，代码如下：su -u hadoop bin/kafka-server-start.

22、sh -daemon config/最后，检验是否安装成功。使用Kafka自带的客户端检测。进入Kafka安装主目录，先启动生产者进入交互客户端模式，命令如下：1）创建一个名为test的主题 -create -zookeeper localhost:2181 -replication-factor 1 -partitions 1 -topic test2）在一个终端上启动一个生产者 -broker-list localhost:9092 -topic test然后，键盘输入下面的信息：明天会更好hello world!3） 之后在另一个终端中启动消费者，进入交互客户端，命令如下： -zookeeper localhost:2181 -topic test -from-beginning会发现屏幕上有同样的信息输出，证明Kafka集群已经搭建成功。输出的内容如下：明天会更好hello world!ZooKeeper使用%ZK_HOME%bin目录下的脚本进行服务器的启动，如下：$ sh zkServer.sh start验证服务器。启动完成后，可以使用如下命令来检查服务器启动是否正常：$telnet 127.0.0.1 2181