虚拟化与云计算课程实验报告Hoop平台搭建.pdf

《虚拟化与云计算课程实验报告Hoop平台搭建.pdf》由会员分享，可在线阅读，更多相关《虚拟化与云计算课程实验报告Hoop平台搭建.pdf（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 虚拟化与云计算 实 验 报 告 目录 一、实验目标.错误!未定义书签。二、实验内容.错误!未定义书签。三、实验步骤.错误!未定义书签。四、实验遇到的问题及其解决方法.错误!未定义书签。五、实验结论.错误!未定义书签。一、实验目的 1.实验题目：配置和使用 SAN 存储 掌握在 Linux 上配置 iSCSI target 服务的方法;2.实验题目：Hadoop&MapReduce 安装、部署、使用 Hadoop-HDFS 配置运行 MapReduce 程序,使用 MapReduce 编程 二、实验内容 1.实验题目：配置和使用 SAN 存储 配置在 Linux 上 iSCSI 实现两台机器间

2、的共享存储;2.实验题目：Hadoop&MapReduce 1.掌握在集群上使用虚拟机模拟安装部署 Hadoop-HDFS 的方法;2.掌握在 HDFS 运行 MapReduce 任务的方法;3.理解 MapReduce 编程模型的原理,初步使用 MapReduce 模型编程;三、实验步骤及实验结果 1.实验题目：配置和使用 SAN 存储 在实验 1 中我作为主机提供共享存储空间,实验地点是在机房,但是由于我当时没有截图所以回寝室在自己的电脑上重做,以下为主机步骤：确定以 root 身份执行以下步骤 sudo su 安装 iSCSI Target 软件 修改/etc/default/iscsi

3、target ISCSITARGET_ENABLEtrue 创建共享存储 共享存储可以是 logical volumes,image files,hard drives,hard drive partitions or RAID devices 例如使用 image file 的方法,创建一个 10G 大小的 LUN：dd if=/dev/zero of=/storage/bs=1024k count=10240 1.5 修改/etc/iet/添加：Target username password OutgoingUser Lun 0 Path=/storage/,Type=fileio Al

4、ias LUN1 MaxConnections 6 修改/etc/iet/如果只允许特定 IP 的 initiator 访问 LUN,则如下设置 如果任意 initiator 均可以访问,则：ALL ALL 启动/重启动 iSCSI target /etc/iscsitarget start /etc/iscsitarget restart 2.实验题目：Hadoop&MapReduce 1.安装 JDK在实验中安装为 OpenJDK 6 Runtime 2.安装 openssh-server,命令为：sudo apt-get install openssh-server,并检查 ssh se

5、rver 是否已经启动：ps-e|grep ssh,如果只有 ssh-agent 那ssh-server 还没有启动,需要/etc/ssh start,如果看到 sshd 那说明ssh-server 已经启动了;3.免密码 ssh 设置,确认能否不输入口令就用 ssh 登录 localhost:ssh localhost 如果不输入口令就无法用 ssh 登陆 localhost,执行下面的命令：$ssh-keygen-t rsa-f/.ssh/id_rsa cat/.ssh/.ssh/authorized_keys 再次执行 ssh localhost,完成后请登入确认不用输入密码 4.安装

6、Hadoop 解压 Hadoop 安装包到安装目录,在本实验中我新建了一个用户 hadoop并把 hadoop 解压到 home/hadoop 文件夹下,在伪分布模式下使用的版本为,在分布模式下因为要与 Eclipse 兼容所以最终使用版本为,下面部分截图为版本为;并编辑 conf/,将 JAVA_HOME 设置为 Java 安装根路径 运行运行bin目录下的hadoop,如显示hadoop 脚本的使用文档,说明安装已经完成;如下图所示：5.安装部署单机伪分布式模式 Hadoop-HDFS Hadoop 可以在单节点上以伪分布式模式运行;编辑/conf/tmp/hadoop/hadoop-$编

7、辑/opt/hadoop/conf/1 编辑/opt/hadoop/conf/localhost:9001 格式化 HDFS bin/hadoop namenode format 启动 Hadoop,启动后可使用命令 jps 查看已启动进程,观察是否 namenode、datanode 已启动,关闭所有服务,使用命令,bin/6.浏览 NameNode 和 JobTracker 的网络接口,地址默认为：NameNode-fs-put home/lee/桌面 testfile input 运行 Hadoop 自带的 wordcount 例子 bin/hadoop jar wordcount in

8、put output 将输出文件从分布式文件系统拷贝到本地文件系统查看 bin/hadoop fs-get output/home/lee/文档 cat/home/lee/文档/output/7.安装部署多机 Hadoop-HDFS 这个部署多机的实验在实验室没有做完,最后实在宿舍完成的,节点为两个,使用系统为 wubi 安装的 Ubuntu,所以不需要桥接方式因为有固定 IP,以下步骤为我做为 Master 时的实验截图：本机名为node1,另外一台机器为node2,两台机器均建立一个名为hadoop的管理员用户用于统一部署安装 hadoop;编辑文件/etc/hosts ubuntu 替换

9、为 node1 编辑/etc/hostname 文件 删除该文件的所有内容,添加 node1 运行命令 hostname node1 a)指定 IP 地址 编辑文件/etc/network/interfaces auto eth0 iface eth0 inet static address netmask 重启网络服务 sudo/etc/networking restart 查看 IP 地址 ifconfig b)修改/etc/hosts 文件 node1 中：node1 node2 node2 中：node1 node2 c)配置从 node1 无需输入密码 ssh 登录 node1、no

10、de2,命令如下：首先在 node1、node2 下建立 home/hadoop/.ssh 文件夹 在 node1master 上：$ssh-keygen-t rsa$cat.ssh/.ssh/authorized_keys 这两行命令生成密钥并将公钥导出到 authorized_keys 中,然后将此文件拷贝到 node2slaves 中的相同文件夹下,因为通过网络命令拷贝比较困难所以我在这里用 U 盘拷贝的,之后就可以成功无密码登录 node2 d)编辑/conf/1.试登录 DFS 分布式文件系统时显示无法连接；解决方法：经查此为版本问题,可能是由于 Eclipse 的版本太新而 Had

11、oop 版本没跟上所致；最后使用网上有人运行成功的 eclipse 和 可以运行成功,正确添加 node1 节点；2.头一天登录成功,第二天尝试再此登录的时候虽然显示各节点服务启动正常,但是在 Eclipse 中显示无法进入 DFS 文件系统,查看 logs 中的 Namenode 记录发现报错“could only be replicated to 0 nodes,instead of 1”；解决办法：经尝试此为节点启动顺序的问题,分别按顺序在 node1 和 node2上 开 启namenodenode1、datanodenode2、jobtrackernode1、tasktrackern

12、ode2,注意我在此处只能分别开启,如果使用全部自动开启的话就会出现上述问题中的启动所有节点正常但是无活节点可用的情况;3.有时之后再此format之后再次启动会发现Namenode或 Datanode无法启动成功；解决办法：此种错误出现的原因有：1 查看 logs 发现报错为“XX does not exist”,说明我们在配置等文件中设置的文件夹路径不对或文件夹不存在；2logs 文件中提示“NameNode is not formatted”,即 Namenode 节点未成功格式化；3“Hadoop 在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本可以查看/

13、home/hadoop/name/current 目录下的VERSION文件,上面记录了版本信息”,因为重启节点后数据更新导致了Namenode 和 Datanode 版本不一致；针对以上三种情况的解决方案为：1 根据logs报错信息重新mkdir；2 重新hadoop namenode format；3 如上所述此为上一次的文件未清理导致文件不匹配的出现的错误导致节点服务关闭,这时我们要分别删除配置文件中设置的、的文件夹下的目录清空并再此 format 即可；当然这不是最好的办法因为这样做会让上次上传的文件删除消失；更好的解决办法还在尝试；五、实验结论 总体来说这次实验其实还是比较有趣的,有

14、别于以前大多数时候做的纯编程,这次实验主要是实践环境上的配置,使用的技术也比较新；当然做的过程中比较苦恼,因为不太习惯Linux下的命令行模式以及log查询记录文档模式还有英文的一些 API 文档和提示信息,网上的信息也比较杂乱,致使差错、纠错比较耗费时间和精力；同时对于 MapReduce 编程模式的理解也花费了一定时间,不过也加深了我对分布式计算的理解；初步感觉 MapReduce 模式的有一些局限性,似乎只能处理能分解成这样的计算任务,但是觉得不是所有的传统在本地上的计算服务都能分解成这样的模式,可能比较适合于搜索等应用,范围具有一定局限性；当然也可能是我的理解还不够,今后会继续这方面的

15、学习;此次试验中参考的网站有：1.Hadoop 快速入门：中 ssh 无密码配置,hadoop 节点之间无密码登录使用 Linux 和 Hadoop 进行分布式计算 2.Hadoop 学习全程记录在 Eclipse 中运行第一个 MapReduce 程序分析hadoop 的 WordCount 例子转 WordCount 改进实现正确识别单词以及词频降序排序使用常见问题以及解决方法 集群配置 3.linux 下安装 hadoop 并在 windows 下远程连接此 hadoop,开发调试 4.Incompatible namespaceIDs.datanode namespaceID.报错 could only be replicated to 0 nodes,instead of 1 新手求教：could only be replicated to 0 nodes,instead of 1