在Linux 上安装Hadoop 教程.pdf

《在Linux 上安装Hadoop 教程.pdf》由会员分享，可在线阅读，更多相关《在Linux 上安装Hadoop 教程.pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、在在 Linux 上安装上安装 Hadoop 教程教程 在虚拟机中安装的 Ubuntu系统下搭建 Hadoop 集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。采用的简单方法是宿主机使用 Serv-U 建立一个 FTP 然后在虚拟机上登录将文件拷出来。要先熟悉 Linux 的基本概念和操作，如：cd、ls、tar、cat、ssh、scp、cp、rm、sudo、su、apt-get等操作。一一.实践环境实践环境：Ubuntu10.04+jdk1.6+hadoop-0.20.1 机器名 IP 作用 Master 192.168.0.3 Namenode、master、jobtracker S

2、lave1 192.168.0.4 Datanode、slave、tasktracker Slave2 192.168.0.6 Datanode、slave、tasktracker 二二.安装步骤安装步骤：1.在虚拟机上安装 Ubuntu10.04。这个很简单可以上网参考基本上是一直“下一步”就行。注意两个地方：一个是出现选择存储空间时直接选择使用整个磁盘就行，不要进行手动分区。第二个就是我才用的上网方法是 NAT 技术。配置详情在 11.30 日的日志里。2.2.对三台虚拟机做一下更新。$sudo apt-get update。后面要安装软件时，如果没有更新，在安装所需软件时，可能会说找不到

3、软件，安装不上。注意选择软件源时不要仅仅是一个网站，建议使用“中国 的服务器”。3 3.修改机器名和 hosts 文件。IP 为 192.168.128.2 的虚拟机做 namenode 机器名叫 master。IP 为 192.168.128.3 和 192.168.128.4 的虚拟机做 datanode 机器名分别叫 slave1，slave2 第一步：修改三台虚拟机的机器名。对 master$vi /etc/hostname /sudo hostname master 倒是有用啊 进入文件后将机器名改成 master 对 slave$vi /etc/hostname 进入文件后机器名改

4、成 slave1$vi /etc/hostname 第二步：修改三台虚拟机的/etc/hosts 文件。对 master 和 slave vi /etc/hosts 进入文件后原内容删除加入如下内容。192.168.0.3 master master 192.168.0.4 slave1 slave1 192.168.0.6 slave2 slave2 4 4.在三台虚拟机上分别新建一个名字为 jsj 的用户。第一步：rootmaster:$adduser jsj 第二步：提示你要求你填写一些信息，可以直接回车。第三步：设置 jsj 这个用户的密码（尽量简单一致）。Sudo 第四步：rootm

5、aster:/home$chown -R jsj:jsj jsj /将 jsj 文件夹的所用者改成 jsj 用户的。否则我们用 adduser jsj 创建了 jsj 用户后，jsj 用户不能在自己的主目录下创建文件夹，（如：$mkdir.ssh）提示没有权限创建文件夹。要添加新用户到 sudo，最简单的方式就是使用 usermod 命令。运行$sudo usermod-G admin username 这就你要作的，然而，如果用户已经是其他组的成员，你需要添加-a 这个选项，象这样$sudo usermod-a-G admin username 5 5.在三台虚拟机上分别配置 ssh 无密码

6、登录。第一步：rootmaster:$sudo apt-get install ssh /开启 ssh 服务。第二步：jsjmaster:$mkdir.ssh 在三台虚拟机的/home/jsj 目录下都用 jsj 用户建立一个.ssh 目录 第三步：jsjmaster:/.ssh/$ssh-keygen t rsa P f/.ssh/id_dsa ssh-keygen-t rsa-P /这个命令将为 masters 上的 jsj 用户生成其密钥对，生成的密钥对 id_dsa，id_dsa.pub，默认存储在/home/jsj/.ssh 目录下。第四步：jsjmaster:/.ssh/$cat

7、id_dsa.pub authorized_keys。cat/.ssh/id_rsa.pub /.ssh/authorized_keys/把 id_dsa.pub 追加到授权 key 里面(当前并没有 authorized_keys 文件是你也可以直接使用 cp 命令)。至此无密码登录到本机已经配置好了。可以使用$ssh localhost 命令测试一下。第一次登录时要输入 yes，之后就不用了。第五步：jsjmaster:/.ssh/$scp id_dsa.pub jsjslave1:/home/jsj/.ssh/将 id_dsa.pub 文件传送到 slave1 这台虚拟机上。slave2

8、 同理。現在的 ssh 使用同樣的方法會出現錯誤訊息 Agent admitted failure to sign using the key 解決方式 使用 ssh-add 指令将私钥 加进来（根据个人的密匙命名不同更改 id_rsa）#ssh-add /.ssh/id_rsa /authorized_keys 第六步：到 slave1 这台虚拟机上执行第四步的操作。slave2 同理。至此 master 就可以无密码登录到 slave1 和 slave2 上了。如果想要 slave1 和 slave2 都可以无密码登录到master 上必须在 slave1 和 salve2 上也操作第三部

9、生成自己的密钥对而且要将密钥对追加到三台机器的 authorized_keys 文件里。至此各个机器上的 SSH 配置已经完成，可以测试一下了，比如 master 向 slave1 发起 ssh连接 jsjmater:/.ssh$ssh slave1 如果 ssh 配置好了，就会出现以下提示信息 The authenticity of host dbrg-2 cant be established.Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.Are you sure you want to co

10、ntinue connecting(yes/no)?OpenSSH 告诉你它不知道这台主机，但是你不用担心这个问题，因为你是第一次登录这台主机。键入“yes”。这将把这台主机的“识别标记”加到“/.ssh/know_hosts”文件中。第二次访问这台主机的时候你会发现不需要输入密码就可以建立 ssh 连接了，恭喜你，配置成功了。不过，别忘了测试本机 ssh localhost (因为后面的 Hadoop 命令受到这一步的影。注意如果你没有成功记住删除“/.ssh/know_hosts”文件就可以重新开始。6 6.在三台虚拟机上分别安装 jdk1.6 第一步：将 jdk-6u13-linux-i

11、586.bin 拷到/home/jsj 目录下 第二步：rootmaster:/home/jsj$chmod u+x jdk-6u13-linux-i586.bin/将 bin 文件修改成可执行文件。第三步：rootmaster:/home/jsj/$./jdk-6u13-linux-i586.bin/运行安装文件 第四步：rootmaster:/$gedit/etc/profile 在文件里面加入如下信息。export JAVA_HOME=/home/jsj/jdk1.6.0_13 export JRE_HOME=/home/jsj/jdk1.6.0_13/jre export CLASSP

12、ATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 然后 rootmaster:/$source/etc/profile 是文件内容生效。第五步：重启电脑，在任何用户中$java version 如果显示如下信息：java version 1.6.0_13 Java(TM)SE Runtime Environment(build 1.6.0_04-b12)Java HotSpot(TM)Client VM(build 10.0-b19,mixed mode,sh

13、aring)说明 jdk 安装成功。你可以在 slave1 和 slave2 上执行同样的操作，也可以使用$scp r 将 jdk1.6.0_13 文件夹拷到其它两台虚拟机上，然后配置环境变量就 OK 了。至此 jdk 安装成功。注意安装 jdk 时容易出现的一个问题:第一是安装完成后只有安装时的登录用户可用 java 其它用户 可用。这样的话你要设置一下/etc/environment 文件。设置方法网上搜索就可以。7 7.在三台虚拟机上分别安装 Hadoop-0.20.1 第一步：将 hadoop-0.20.1.tar.gz 文件拷贝到/home/jsj 目录下。第二步：rootmaste

14、r:/home/jsj/$tar-xzvf hadoop-0.20.1.tar.gz/将文件解压。第三步：rootmaster:/home/jsj/$chown jsj:jsj hadoop-0.20.1/将文件所有者改成 jsj。第四步：rootmaster:/home/jsj/$gedit/etc/profile 进入文件将如下信息加到文件里。export HADOOP_HOME=/home/jsj/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 第五步：更改 conf 目录下的 conf/core-site.xml,conf/hdfs-s

15、ite.xml,conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。rootmaster:/home/jsj/hadoop-0.20.1/conf/$gedit hadoop-env.sh 进入文件加入如下信息。export JAVA_HOME=/home/jsj/jdk1.6.0_13 rootmaster:/home/jsj/hadoop-0.20.1/conf/$gedit masters 进入文件加入如下信息。192.168.128.2 rootmaster:/home/jsj/hadoop-0.20.

16、1/conf/$gedit slaves 进入文件加入如下信息。192.168.128.3 192.168.128.4 rootmaster:/home/jsj/hadoop-0.20.1/conf/$gedit core-site.xml 进入文件加入如下信息。hadoop.tmp.dir /home/jsj/tmp A base for other temporary directories.fs.default.name hdfs:/192.168.128.2:9000 rootmaster:/home/jsj/hadoop-0.20.1/conf/$gedit hdfs-site.xm

17、l 进入文件加入如下信息。(replication 默认是 3，如果不修改，datanode 少于三台就会报错)。dfs.replication 1 rootmaster:/home/jsj/hadoop-0.20.1/conf/$gedit mapred-site.xml 进入文件加入如下信息。mapred.job.tracker 192.168.128.2:9001 第六步：jsjmaster:/$scp r hadoop-0.20.1 jsjslave1:/home/jsj/hadoop-0.20.1/将文件 hadoop-0.20.1 拷贝到其它两个虚拟机上就可以了。至此 hadoop

18、 安装完成。注意一个问题：运行时出现找不到主函数的错误，说明 profile环境变量的设置没有起效。可以在/etc/environment 文件里加入一些信息。具体信息网上搜索。8 8.运行 hadoop 自带的例程 wordcount。第一步：jsjmaster:/hadoop-0.20.1/bin/$hadoop namenode format/格式化文件系统，新建一个文件系统。第二步：jsjmaster:/hadoop-0.20.1/$start-all.sh/启动 hadoop 的所有守护进程。第四步：jsjmaster:/hadoop-0.20.1/$jps /查看进程，master

19、 虚拟机上的结果。在 slave1 和 slave2 虚拟机上 jsjslave1:/hadoop-0.20.1/$jps 第四步：(1)先在本地磁盘建立两个输入文件 file01 和 file02:第五步：jsjmaster:/soft/$echo“Hello World Bye World”file01 jsjmaster:/soft/$echo“Hello Hadoop Goodbye Hadoop”file02/在本地磁盘建立两个输入文件 file01 和 file02。将 Hello World Bye World 语句和Hello Hadoop Goodbye Hadoop 语句分

20、别加到 file01 文件和 file02 文件里面。第六步：jsjmaster:/hadoop-0.20.1/$hadoop fs mkdir input/在 hdfs 中建立一个 input 目录 第七步：jsjmaster:/hadoop-0.20.1/$hadoop fs copyFromLocal/home/jsj/soft/file0*input/将 file01 和 file02 拷贝到 hdfs 中。第八步：jsjmaster:/hadoop-0.20.1/$hadoop jar hadoop-0.20.1-examples.jar wordcount input output

21、/执行 wordcount。第九步：jsjmaster:/hadoop-0.20.1/$hadoop fs-cat output/part-r-00000/完成之后，查看结果：Bye 1 Goodbye 1 Hadoop 2 Hello 2 World 2 在运行完一次例子程序后，需要进去删除到 input 和 output 要执行 Hadoop fs rmr/user/wy/input Hadoop fs rmr/user/wy/output 来清除掉上一次例子程序产生的运行目录。不仅如此还要把各个节点的 tmp 删除，log 删除 就可以了 每天机器上都要配置 hadoop_home pa

22、th 防火墙问题 sudo ufw disable 磁盘问题 安全模式问题 hadoop dfsadmin-safemode leave 至此 hadoop 运行环境已经全部搭建完成。如果要按照此方法搭建请注意每次运行命令的用户和路径。这次搭建过程中还存留的一个问题就是/etc/profile 和/etc/environment 文件的区别。Ubuntu 文本编辑文本编辑（vi 和和 nano）命令命令 1、用 vi 命令修改：vi 是 Unix 世界里极为普遍的全萤幕文书编辑器，几乎可以说任何一台 Unix 机器都会提供这套软体就像 windows 的记事本一样。键入 vi/etc/host

23、s 进入 vi 界面，把光标移动到文件未尾。按 ESC 键进行命令模式（不放心可以多按几下），然后输入 A，新起一行 输入你要配置的 host，如：192.168.0.192 。完成后 按 ESC 键进行命令模式，输入:wq(注意需要输入:)保存退出。2、用 nano 命令修改：nano 是一个小巧自由，并且友好的编辑器，在大部分 linux 上都有 nano 命令。相对 vi，不熟悉 linux 的我感觉 nano 要简单许多：打开后直接编辑，命令如下：sudo nano/etc/hosts 完成后按 ctrl+x 退出，按 y 保存，回车，OK Tools 打开 Ubuntu 里的终端。输

24、入命令 cd vmware-tools-distrib/sudo./vmware-install.pl 本人在安装 vmware tools 时发现了诸多问题，但最终还是顺利解决，针对网上比较普遍的方法，本人在此弄一个更为简便的操作指引，希望能给新手一点帮助。第一步：进入系统后，点击虚拟机上的安装 vmware tools，回到桌面回看到一个 vmware tools 的 cdrom图标。第二步：打开它，复制“vmwaretools.tar.gz”，打开文件系统，打开 home 文件夹，打开当前用户为名的 文 件 夹，粘 贴vmwaretools.tar.gz，同 时 解 压 此 文 件“到

25、此 处”。第三步：在此文件夹空白处点击右键，点击属性，在点击窗口中的“权限”，把里面所有“文件夹访问”的内容改为“创建和删除文件”便可。第四步：回到刚才目录，单击 vmware-tools-distrib 文件夹，然后打开终端（应用程序-附件-终端）。第五步：在命令行输入“ls”后将列出文件夹文件；接着输入“cd vmware-tools-distrib”指定到此文件夹，接着输入“ls”列出此文件夹内容，接着输入“sudo./vmware-install.pl”，输入用户密码便可开始安装了。第六 步：接 下 来N多 的enter，N多 的YES，自 己慢慢 按 吧。第七步：直到你看到-the

26、vmware team 就可关闭窗口，然后重新启动就可以焕然一新 虚拟机采用 NAT 上网问题 VMware 我重新装了一遍，然后把 win7 防火墙打开，再将本地连接共享，同时 VNET8 采用使用获取 IP 最后再 VMware 里 restart VNET8,ok,搞定哇 设置 root 密码：sudo passwd 切换回来 su 用户名 2.远远程程拷拷贝贝命命令令:1)拷拷贝贝本本地地文文件件到到远远端端：scp 本地文件名 远端用户名远端 IP 地址:远端绝对路径，包含文件名 示例：把本端当前目录下的 a.tgz 文件拷贝到远端(192.168.1.41)目录/etc/my 下，

27、并命名为b.tgz，如下写 scp a.tgz root192.168.1.41:/etc/my/b.tgz 2)拷拷贝贝远远端端文文件件到到本本地地：scp 远端用户名远端 IP 地址:远端绝对路径，包含文件名 本地文件名 示例：把远端(192.168.1.41)/etc/my 目录下的 a.tgz 文件拷贝到本地当前目录下，并命名为b.tgz，如下写 scp root192.168.1.41:/etc/my/a.tgz b.tgz 3)拷拷贝贝本本地地文文件件夹夹到到远远端端：scp-r 本地目录 远端用户名远端 IP 地址:远端目录的绝对路径 4)拷拷贝贝远远端端文文件件夹夹到到本本地地

28、：scp-r 远端用户名远端 IP 地址:远端目录的绝对路径 本地目录 HDFS 和 HBase:文件系统和文件系统中的数据库 http:/ 配置好的 hadoop-0.21.0 不兼容目前的 hbase-0.20.6(最新版)我日，重新配置 先用 hadoop-0.20.2 搭配 hbase-0.20.6 會比較妥當 hbase 集群安装集群安装 并且已经安装成功 Hadoop-0.20.2 及以上版本。安装包准备 需要安装包：zookeeper-3.3.2.tar.gz（stable 版本）hbase-0.20.2.tar.gz（stable 版本）安装步骤 安装和配置 ZooKeeper

29、 HBase 从 0.20.0 开始，需要首先安装 ZooKeeper。从 apache 上下载 zookeeper-3.2.1.tar.gz（Stable 版本），解压到/home/hdfs/目录下。（1）在 namenode 节点新建 zookeeper 目录，在该目录下新建 myid 文件。（2）在 zookeeper-3.2.1/conf 目录下，拷贝 zoo_sample.cfg 为 zoo.cfg。在 zoo.cfg 中将 dataDir 改为/home/hdfs/zookeeper，在文件末位添加所有的主机：server.1=10.192.1.1:2888:3888 server

30、.2=10.192.1.2:2888:3888 server.3=10.192.1.3:2888:3888 （3）用 scp 命令将 namenode 节点的的/home/hdfs/zookeeper-3.2.1 和/home/hdfs/zookeeper 拷贝到其余所有主机的/home/hdfs 目录下。（4）参照 zoo.cfg 中的配置，在各主机 myid 文件中写入各自的编号。如：10.192.1.1 入 1,10.192.1.2 写入 2（5）在所有节点上执行 bin/zkServer.sh start，分别启动。执行 bin/zkCli.sh-server xxx.xxx.xxx.

31、xxx:2181，检查指定服务器是否成功启动。vi/etc/profile export HBASE_HOME=/hadoop/hbase export PATH=$PATH:$HBASE_HOME/bin export HADOOP_HOME=/hadoop/hadoop export PATH=$PATH:$HADOOP_HOME/bin 安装和配置 HBase tar-zxvf hbase-0.20.6.tar.gz cd hbase-0.20.6 mv*/hadoop/hbase 下载 HBase0.20.1 版本，解压到 namenode 节点的/home/hdfs 目录下。配置说明

32、（1）系统所有配置项的默认设置在 hbase-default.xml 中查看，如果需要修改配置项的值，在 hbase-site.xml 中添加配置项。在分布式模式下安装 HBase，需要添加的最基本的配置项如下：hbase.rootdir hdfs:/hadoop2-namenode:9000/hbase The directory shared by region servers.hbase.cluster.distributed true The mode the cluster will be in.Possible values are false:standalone and pse

33、udo-distributed setups with managed Zookeeper true:fully-distributed with unmanaged Zookeeper Quorum(see hbase-env.sh)hbase.zookeeper.property.dataDir /hadoop/zookeeper Property from ZooKeepers config zoo.cfg.The directory where the snapshot is stored.hbase.zookeeper.property.clientPort 2222 Propert

34、y from ZooKeepers config zoo.cfg.The port at which the clients will connect.hbase.zookeeper.quorum hadoop2-namenode,hadoop2-datanode1,hadoop2-datanode2 Comma separated list of servers in the ZooKeeper Quorum.For example,.By default this is set to localhost for local and pseudo-distributed modes of o

35、peration.For a fully-distributed setup,this should be set to a full list of ZooKeeper quorum servers.If HBASE_MANAGES_ZK is set in hbase-env.sh this is the list of servers which we will start/stop ZooKeeper on.（2）在conf/hbase-env.sh中修改添加配置项：export JAVA_HOME=/usr/java/jdk1.6.0_22 export HBASE_MANAGES_

36、ZK=true export HADOOP_CONF_DIR=/hadoop/hadoop-config HADOOP_CLASSPATH 要設 hbase 的環境，而 HBASE_CLASSPATH 要設 hadoop 的環境，有了這行可以解決編譯 hbase 程式時出現 run time error 并把/hadoop-0.20.1/conf/hdfs-site.xml 拷贝至/hbase-3.2.1/conf/目录下。（3）将 ZooKeeper 的配置文件 zoo.cfg 添加到 HBase 所有主机的 CLASSPATH 中。（4）在conf/regionservers中 添 加ha

37、doop-0.20.1/conf/slaves中 所 有 的datanode节 点。hadoop2-datanode1 hadoop2-datanode2 启动 Hadoop、ZooKeeper 和 HBase 之间应该按照顺序启动和关闭：启动 Hadoop启动 ZooKeeper 集群启动 HBase停止 HBase停止 ZooKeeper 集 群停止 Hadoop。在 namenode 节点执行 bin/hbase-daemon.sh，启动 master。执行 bin/start-hbase.sh 和 bin/stop-hbase.sh 脚本启动和停止 HBase 服务。/hadoop/h

38、base/bin/hbase-daemon.sh start master/hadoop/hbase/bin/hbase-daemon.sh stop master/hadoop/hbase/bin/start-hbase.sh/hadoop/hbase/bin/stop-hbase.sh /hadoop/hbase/bin/hbase shell Gedit /etc/profile Hbase 时 每次都要 source/etc/profile 怪了怪了 重启 VM 无效 重启电脑再开启 VM 有效了。晕 在 HBase 运行 java 可以先在 windows 系统上写好并且编译好 ja

39、va.class 文件然后再拖到ubuntu 直接 hbase XXX 这个就是利用了 java 跨平台的好处，很方便，特别是用虚拟机的时候。Watcher 找不到，就在 hadoop-env.sh 中加入 CLASSPATH 注意：zookeeper 用的什么 就加相应的 zookeeper-3.3.3.jar 名字千万不要写错啊。我损失半天的时间了。http:/ /返回的是比特，先转换为字符串再转换为 int int temp=Integer.parseInt(Bytes.toString(value.getValue();context.write(new Text(Bytes.toString(value.getKey(),new IntWritable(temp);