Hadoop完全分布式搭建.doc

《Hadoop完全分布式搭建.doc》由会员分享，可在线阅读，更多相关《Hadoop完全分布式搭建.doc（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、完全分布式环境安装(完整亲测)一、安装linux系统Hadoop需要至少3个节点才能算是完全分布式环境，需要在虚拟机中安装3个 linux操作系统，比较快速的方式是通过安装一个操作系统，再复制2个操作系统。这一步也可以在最后做，完全配置好一台linux系统环境之后再克隆，会节省一些时间，看个人的习惯。过程如下：1、使用VMware的克隆功能2、选择创建完成克隆3、输入主机名称，完成克隆操作。主机列表如下：主机名IP地址用途master192.168.1.101namenode、secondorynamenode、jobtracker任务node1192.168.1.102slave结点node

2、2192.168.1.103slave结点(冗余节点)二、配置每台机器IP地址最好配置每台机器的ip地址，否则每次开机地址都可能发生变化。通过ifconfig命令查看当前IP地址（因为我使用的是centerOS7.5 所以显示eno16777736 其实和eth0是一样的）修改IP地址登陆图形界面修改固定IP三、配置hosts文件三台机器都配置相同的hosts同时需要把主机名改掉四、增加Hadoop允许账号rootlocalhost # groupadd hadoop /添加组rootlocalhost # useradd -s /bin/bash grid -g hadoop -G root

3、 /添加用户 属于hadoop和root组rootlocalhost # passwd grid /添加密码更改用户 grid 的密码 。新的 密码：无效的密码： 密码少于 8 个字符重新输入新的 密码：passwd：所有的身份验证令牌已经成功更新。rootlocalhost # su - grid /切换到grid用户gridlocalhost $ 五、配置ssh免密码连入1、产生公共秘钥2、复制公共秘钥 三台机器都执行3、需要把maste的公钥，写到node1和node2 实现免密码登陆gridnode2 .ssh$ scp gridmaster:/.ssh/id_dsa.pub ./ma

4、ster_dsa.pub /把master的公钥复制到本地The authenticity of host master (192.168.0.100) cant be established.ECDSA key fingerprint is 38:f8:18:b1:3c:e6:c6:a7:52:80:dc:97:3f:ba:de:35.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added master,192.168.0.100 (ECDSA) to the list of k

5、nown hosts.gridmasters password: id_dsa.pub 100% 616 0.6KB/s 00:00 gridnode2 .ssh$ cat master_dsa.pub authorized_keys /master的公钥写入keysgridnode2 .ssh$ 然后在master 输入gridmaster $ ssh node1 /首次会询问，退出之后再次连接不再询问五、下载并解压hadoop下载hadoop 1.0.1版本 使用解压缩命令解压缩gridnode2 $ tar -xzvf hadoop-1.0.1.tar.gz六、配置namenode,修改

6、site文件到目前为止，准备工作已经完成，下面开始修改hadoop的配置文件了，即各种site文件，文件存放在/hadoop/conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。Core-site.xml配置如下：Hdfs-site.xml配置如下：接着是mapred-site.xml文件：配置hadoop-env.sh文件这个需要根据实际情况来配置。七、配置masters和slaves文件根据实际情况配置masters的主机名，在本实验中，masters主结点的主机名为master,于是在masters文件中填入： 同理，在s

7、laves文件中填入：八、向各节点复制hadoop向node1节点复制hadoop： 向node2节点复制hadoop:这样，结点node1和结点node2也安装了配置好的hadoop软件了。九、格式化namenode这一步在主结点master上进行操作：注意：上面只要出现“successfully formatted”就表示成功了。十、启动hadoop这一步也在主结点master上进行操作：十一、 用jps检验各后台进程是否成功启动在主结点master上查看namenode,jobtracker,secondarynamenode进程是否启动。如果出现以上进程则表示正确。在node1和nod

8、e2结点了查看tasktracker和datanode进程是否启动。先来node1的情况:下面是node2的情况：进程都启动成功了。恭喜十二、 通过网站查看集群情况 在浏览器中输入：http:/192.168.1.100:50030，网址为master结点所对应的IP： 在浏览器中输入：http:/192.168.1.100:50070，网址为master结点所对应的IP：关闭防火墙设置systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动9境启(开 整 测

9、 止停 . 设设 的所结 ，000 : 00 ：器在 的所点 ， 0 : :. ./ 入中在情集查过了成况况 况情 动启进 和 看了 确示程以动否进 看 启功是台验 用作作上 点在 了成就 要只作行 点在 了软 的装 结和 制 复 制复各入填文 同入入 机点主 验实机 配文 置置配况根文 . 件 下置 下置配 件文 . 、 - . - 置主 /放件件 即，置 改面成已作止文文 置 . 0- - $ 压令压使 0 载询再连再，询/ $ 输 $ 钥公 0: 0 . : ) 00 ., ( : : : : : 0. 本到公 / . .: 登密现 和 ，公 把要执都三钥共秘公生连码 $ 用 切 # 新功成证身有：码密入字 于密码密码密 密 户密添 - - /- # 加添 账允 改名主 同配文 定面地地的一 显. 的我址 看命 化生可地次否地 台每地 台置点节冗 0. . 结 0 . 任任 、 、 0. 用地机下如作操完名机克完择功隆 下惯的人间一会再境系 置配后最统系操制统个装过式较比作 装机拟，式分算才 少 系系