Hbase配置步骤.doc
+免密钥登录配置该部分所有的操作都要在lzt用户下，切换回lzt的命令是：su - lzt密码是：lzt1、HadoopMaster节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa生成的密钥在.ssh目录下如下图所示：复制公钥文件cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys执行ls -l命令后会看到下图的文件列表：修改authorized_keys文件的权限，命令如下：chmod 600 /.ssh/authorized_keys修改完权限后，文件列表情况如下：将authorized_keys文件复制到slave节点，命令如下：scp /.ssh/authorized_keys lztslave:/如果提示输入yes/no的时候，输入yes，回车密码是：lzt2、HadoopSlave节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa将authorized_keys文件移动到.ssh目录mv authorized_keys /.ssh/修改authorized_keys文件的权限，命令如下：cd /.sshchmod 600 authorized_keys3、验证免密钥登陆在HadoopMaster机器上执行下面的命令：ssh slave如果出现下图的内容表示免密钥配置成功：第2章 安装部署HBase该部分的安装需要在Hadoop已经成功安装的基础上,并且要求Hadoop已经正常启动。HBase需要部署在HadoopMaster和HadoopSlave上。下面的操作都是通过HadoopMaster节点进行。本章所有的操作都使用lzt用户，切换用户的命令是：su lzt密码是：lzt2.1 解压并安装HBase使用下面的命令，解压HBase安装包：cd /home/lzt/software/hadoop/apachemv hbase-0.98.7-hadoop2-bin.tar.gz / cdtar -zxvf hbase-0.98.7-hadoop2-bin.tar.gzcd hbase-0.98.7-hadoop2执行一下ls -l命令会看到下面的图片所示内容，这些内容是HBase包含的文件：2.2 配置HBase进入HBase安装主目录，然后修改配置文件：cd /home/lzt/hbase-0.98.7-hadoop2/conf2.2.1 修改环境变量hbase-env.sh使用下面的命令打开文件：gedit hbase-env.sh该文件的靠前部分有下面一行内容：# export JAVA_HOME=/usr/java/jdk1.6.0/将改行内容修改为：export JAVA_HOME=/usr/java/jdk1.7.0_71/注意：去掉行首的#2.2.2 修改配置文件hbase-site.xml用下面的内容替换原先hbase-site.xml中的内容：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs:/master:9000/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master</value> </property></configuration>2.2.3 设置regionservers将regionservers中的localhost修改为下面的内容：slave2.2.4 设置环境变量编辑系统配置文件：执行gedit /.bash_profile将下面代码添加到文件末尾：export HBASE_HOME=/home/lzt/hbase-0.98.7-hadoop2export PATH=$HBASE_HOME/bin:$PATHexport HADOOP_CLASSPATH=$HBASE_HOME/lib/*然后执行：source /.bash_profile2.2.5 将HBase安装文件复制到HadoopSlave节点使用下面的命令操作：cdscp -r hbase-0.98.7-hadoop2 slave:/2.3 启动并验证HBase进入HBase安装主目录，启动HBase：cd/home/lzt/ hbase-0.98.7-hadoop2bin/start-hbase.sh分步启动： 先启动regionserver，再启动HMaster。 在regionServer上 ./hbase-daemon.sh start regionserver 在master上执行：./bin/hbase-daemon.sh start master执行命令后会看到下面的打印输出：使用Web UI界面查看启动情况：打开Firefox浏览器，在地址栏中输入http:/master:60010，会看到如下图的HBase管理页面：如下图一，看到这些表明HBase已经启动成功，如下图二。HBASE Shell 命令使用：1 进入hbase shell console # bin/hbase shell 3.2 Linux系统配置以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：su root输入密码：lzt本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：终端打开后如下图中命令行窗口所示。3.2.1拷贝软件包和数据包将完整软件包“Hadoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster节点的桌面上，并且在终端中执行下面的移动文件命令：mv /home/lzt/Desktop/software /home/lzt/mv /home/lzt/Desktop/sogou-data /home/lzt/ 3.2.2配置时钟同步1、配置自动时钟同步使用Linux命令配置crontab -e键入下面的一行代码：输入i，进入插入模式（星号之间和前后都有空格）0 1 * * * /usr/sbin/ntpdate us.pool.ntp.org2、手动同步时间/usr/sbin/ntpdate us.pool.ntp.org该项需要在HadoopSlave节点配置。 3.2.3配置主机名1、HadoopMaster节点使用gedit编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第3行所示。NETWORKING=yes #启动网络HOSTNAME=master #主机名确实修改生效命令：hostname master检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：hostname执行完命令，会看到下图的打印输入：2、HadoopSlave节点使用gedit编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将Hadoopslave节点的主机名改为slave，即下面代码的第3行所示。NETWORKING=yes #启动网络HOSTNAME=slave #主机名确实修改生效命令：hostname slave检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：hostname执行完命令，会看到下图的打印输入： 3.2.5使用setup 命令配置网络环境在终端中执行下面的命令：ifconfig如果看到下面的打印输出如果看到出现红线标注部分出现，即存在内网IP、广播地址、子网掩码，说明该节点不需要配置网络，否则进行下面的步骤。在终端中执行下面命令：setup会出现下图中的内容：使用光标键移动选择“Network configuration”，回车进入该项使用光标键移动选择eth0，回车进入该项按照图中的方式输入各项内容重启网络服务/sbin/service network restart检查是否修改成功：ifconfig看到如下图的内容（IP不一定和下图相同，根据你之前的配置），说明配置成功，特别关注红线部分该项需要在HadoopSlave节点配置。 3.2.6关闭防火墙在终端中执行下面命令：setup会出现下图中的内容：光标移动选择“Firewall configuration”选项，回车进入选项如果该项前面有“*”标，则按一下空格键关闭防火墙，如下图所示，然后光标移动选择“OK”保存修改内容选择OK该项需要在HadoopSlave节点配置。 3.2.7配置hosts列表编辑主机名列表的命令：gedit /etc/hosts将下面两行添加到/etc/hosts文件中192.168.1.100 master192.168.1.101 slave注意：这里master节点对应IP地址是192.168.1.100，slave对应的IP是192.168.1.101，而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址。查看master的IP地址使用下面的命令：Ifconfigmaster节点的IP是下图中红线标注的内容。slave的IP地址也是这样查看。验证是否配置成功的命令是：ping masterping slave如果出现下图的信息表示配置成功：如果出现下图的内容，表示配置失败：该项需要在HadoopSlave节点配置。 3.2.8安装JDK将JDK文件解压，放到/usr/java目录下cd /home/lzt/software/jdkmkdir /usr/javamv jdk-7u71-linux-x64.gz /usr/java/ cd /usr/javatar -xvf jdk-7u71-linux-x64.gz使用gedit配置环境变量gedit /home/lzt/.bash_profile复制粘贴以下内容添加到到上面gedit打开的文件中：export JAVA_HOME=/usr/java/jdk1.7.0_71/export PATH=$JAVA_HOME/bin:$PATH使改动生效命令：source /home/lzt/.bash_profile测试配置：java -version如果出现下图的信息，表示JDK安装成功：该项需要在HadoopSlave节点配置。 3.2.9免密钥登录配置该部分所有的操作都要在lzt用户下，切换回lzt的命令是：su - lzt密码是：lzt1、HadoopMaster节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa生成的密钥在.ssh目录下如下图所示：复制公钥文件cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys执行ls -l命令后会看到下图的文件列表：修改authorized_keys文件的权限，命令如下：chmod 600 /.ssh/authorized_keys修改完权限后，文件列表情况如下：将authorized_keys文件复制到slave节点，命令如下：scp /.ssh/authorized_keys lztslave:/如果提示输入yes/no的时候，输入yes，回车密码是：lzt2、HadoopSlave节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa将authorized_keys文件移动到.ssh目录mv authorized_keys /.ssh/修改authorized_keys文件的权限，命令如下：cd /.sshchmod 600 authorized_keys3、验证免密钥登陆在HadoopMaster机器上执行下面的命令：ssh slave如果出现下图的内容表示免密钥配置成功：启动错误处理ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing尝试使用如下方式解决： 停止hbase、hadoop、zk集群；删除datanode节点中的临时文件，删除zk下dataDir中的version-2文件；重新格式化namenode，和zkcf；重起zk、hadoop、hbase集群；但仍然报错，参考这篇文章http:/blog.csdn.net/arlanhon/article/details/21304465于是修改hbase配置文件hbase-site.xml，hbase.rootdir改成了hbase.root.dir，增加了hbase.master（后来正式没用）如下：<configuration> <property> <name>hbase.root.dir</name> <value>hdfs:/centos1:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-<property> <name>hbase.master</name> <value>hdfs:/centos1:6000</value> </property> -> <property> <name>hbase.zookeeper.quorum</name> <value>centos1,centos2,centos3</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hbase/zookeeper/data</value> </property></configuration>重启hbase，仍然报错： ERROR: Cant get master address from ZooKeeper; znode data = null参考文章： 先启动regionserver，在启动HMaster。 在regionServer上 ./hbase-daemon.sh start regionserver 在master上执行：./bin/hbase-daemon.sh start master解决问题！第10章 安装部署KafkaKafka集群的安装部署相对简单很多，下面的内容将详细讲解Kafka的安装和部署过程。安装Kafka安装Kafka只需要三步操作：下载、修改配置和启动，下面介绍详细流程。注意，需在每台机器上该操作，比如你准备在三台机器test1，test2和test3上安装kafka，则需要在每个节点上进行如下操作。10.1.1下载Kafka安装文件通过下面的命令从Apache官方网站下载Kafka-0.8.1.1的安装包，并且解压：cd /opt/modules/wget http:/apache.tradebit.com/pub/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgztar -zxvf kafka_2.10-0.8.1.1.tgzln -s /opt/modules/kafka_2.10-0.8.1.1 /opt/modules/kafkacd /opt/modules/kafka配置Kafka在Kafka根目录下，文件config/server.properties是Kafka服务端配置文件，其所有属性的含义和属性设置值如表8-1所示。其中，标有下划线部分的属性参数属于改动的参数，这些参数对应第二列的值是设置后的值。其他参数的值都保持默认值不变。表8-1 Kafka-0.8.1.1配置属性列表配置参数 参数值解释说明是否必须配置brokerid整型数字Kafka集群唯一的数字，默认值是0必须，且每个节点必须不同，比如三个节点分别是0，1，2hostnameInetAddress.getLocalHost()当前服务器的IP可选，最好进行设置port9092Kafka的端口号必须num.io.threads8默认为服务器cpu的数量可选log.dir/tmp/kafka-logsKafka数据保存的目录，目录尽量的大必须num.partitions10每个Topic下分区的数量，这个数值需要和consumer结合起来配置，有多少个partition，一个consumer Group下最多有几个consumer。默认值是1。必须log.retention.hours720日志保存的时间，默认为7天必须zk.connecttest1:2181,test2:2181,test3:2181ZooKeeper集群的地址，这需要先把所有的zookeeper配置好，得到zookeeper的集群列表。默认值是localhost:2181必须然后配置日志文件，将conf/log4j.properties文件中的配置属性替换为如下代码：log4j.rootLogger=INFO, fileAppenderkafka.log.dir=/var/log/kafka#log4j.appender.stdout=org.apache.log4j.ConsoleAppender#log4j.appender.stdout.layout=org.apache.log4j.PatternLayout#log4j.appender.stdout.layout.ConversionPattern=%d %p %m (%c)%nlog4j.appender.fileAppender=org.apache.log4j.FileAppenderlog4j.appender.fileAppender.File=kafka.log.dir/kafka-request.loglog4j.appender.fileAppender.layout=org.apache.log4j.PatternLayoutlog4j.appender.fileAppender.layout.ConversionPattern= %-4r %t %-5p %c %x - %m%n# Turn on all our debugging infolog4j.logger.kafka=INFOlog4j.logger.org.I0Itec.zkclient.ZkClient=DEBUG启动Kafka首先，因为Kafka需要使用hadoop用户启动，按照下面所示代码更改文件权限：mkdir -p /var/log/kafkachown -R hadoop:hadoop /var/log/kafkachown -R hadoop:hadoop /opt/modules/kafka*然后，使用nohup后台启动，代码如下：su -u hadoop bin/kafka-server-start.sh -daemon config/server.properties最后，检验是否安装成功。使用Kafka自带的客户端检测。进入Kafka安装主目录，先启动生产者进入交互客户端模式，命令如下：1）创建一个名为test的主题bin/kafka-topics.sh -create -zookeeper localhost:2181 -replication-factor 1 -partitions 1 -topic test2）在一个终端上启动一个生产者bin/kafka-console-producer.sh -broker-list localhost:9092 -topic test然后，键盘输入下面的信息：明天会更好hello world!3） 之后在另一个终端中启动消费者，进入交互客户端，命令如下：bin/kafka-console-consumer.sh -zookeeper localhost:2181 -topic test -from-beginning会发现屏幕上有同样的信息输出，证明Kafka集群已经搭建成功。输出的内容如下：明天会更好hello world!ZooKeeper使用%ZK_HOME%bin目录下的zkServer.sh脚本进行服务器的启动，如下：$ sh zkServer.sh start验证服务器。启动完成后，可以使用如下命令来检查服务器启动是否正常：$telnet 127.0.0.1 2181
