2022年Hadoop安装配置 .pdf

Hadoop 安装配置一、软件Java：jdk-8u45-linux-x64.gzHadoop：hadoop-2.6.0.tar.gz虚拟机： VMware-workstation-full-11.1.0-2496824.exeLinux 系统： CentOS-7-x86_64-DVD-1503-01.isoLinux 远程登录软件： Xmanager-v5.0.0547二、集群说明Hadoop环境搭建使用 1个Namenode和2个Datanode，说明如下hostnameIP角色server192.168.1.130Namenodeslave1192.168.1.131Datanodeslave2192.168.1.132Datanode三、安装与配置*说明：若 hadoop用户权限不够，在命令前添加sudo，系统提示输入密码后即可(1) 安装Vmware Workstation(2) 安装Linux 系统先安装一个 Linux 系统，在 Vmware Workstation选择自定义安装，使用ISO镜像，虚拟机设置如下：项目设置说明Linux 全名hadoop计算机名，自定义用户名hadoop自定义密码hadoop自定义处理器数量2自定义每个处理器核心数量2自定义内存1G自定义网络连接使用桥接网络I/O 控制LSI Logic选择默认名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 9 页 - - - - - - - - - 虚拟磁盘类型SCSI选择默认磁盘创建新虚拟磁盘最大磁盘大小30G自定义，一般不低于推荐值存储模式存储为单个文件(3) 使当前用户获得 sudo权限进入超级用户模式，输入su -，输入超级用户密码（hadoop）添加文件的写权限，输入命令“chmod u+w /etc/sudoers”编辑/etc/sudoers 文件，找到 “root ALL=(ALL) ALL”，在其下添加“hadoop ALL=(ALL) ALL ”(hadoop 为用户名 )，保存退出如果撤销文件的写权限，输入命令chmod u-w /etc/sudoers，此处不需要使用 su hadoop命令切换为 hadoop用户，以后操作均使用hadoop身份(4) 配置静态 IP编辑/etc/sysconfig/network-scripts/ifcfg-eno16777736 文件，如下所示，带 #号的为修改或添加项TYPE=EthernetBOOTPROTO=static #改为静态DEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_FAILURE_FATAL=noNAME=Auto EthernetUUID=76304098-8f46-4185-8337-bb7f0d90423e #随系统而不同，不用修改ONBOOT=yes #改为yes，开机启动网卡名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 9 页 - - - - - - - - - # 以下为添加项，可在路由器中查找IPADDR0=192.168.1.130 #自己要设置的 ip地址GATEWAY0=192.168.1.1 #网关PREFIXO0=24 #子网掩码， 24即255.255.255.0DNS1=202.114.64.2 #DNS服务器地址DNS2=202.114.96.2 #备用DNS服务器地址*网络配置一般可在路由器中查到使用service network restart命令重启网络服务使用ip addr命令查询 ip是否为所设置的静态ip成功(5) 修改系统 hostname编辑文件 /etc/hostname ，将原 hostname 改为 server（可自定义），保存退出(6) 修改hosts文件编辑/etc/hosts，在文件末尾添加所有节点的IP和hostname，如下 192.168.1.130 server 192.168.1.131 slave1 192.168.1.132 slave2(7) 建立Windows对Linux 的远程连接安装Xmanager，使用 Xshell新建对 server的远程连接，连接设置如下：项目设置名称server协议SSH主机192.168.1.130连接异常关闭时自动连接间隔30秒，限制 0分钟开启连接时要输入用户名和密码，此后可以用此操纵Linux ，当然也可直接使用 Linux 的Terminal。(8) 传输安装文件建立(7)的连接成功后，打开Xshell菜单栏 窗口传输新建文件，打开 Xftp ，此后可通过 Xftp 操作 Linux 文件夹 /文件。将 Java 和hadoop的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 9 页 - - - - - - - - - gz文件直接拖入到 Linux 的/home/hadoop文件夹下（可自行选择文件夹），完成传输。(9) 安装Java和Hadoop，配置环境变量在Terminal中，进入 /home/hadoop文件夹，使用 tar zxf jdk-8u45-linux-x64.tar.gz 命令解压缩 Java jdk文件，得到 jdk1.8.0_45文件夹，为之后使用方便，使用 mv jdk1.8.0_45 jdk18 命令重命名文件夹为jdk18。也可以在 Xftp 中直接右键重命名文件夹。按照同样方法安装hadoop，重命名文件夹为 hadoop。编辑/etc/profile文件，在文件末尾添加export JAVA_HOME=/home/hadoop/jdk18exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/hadoop/hadoopexportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/SBIN:$PATH保存退出，使用 source /etc/profile命令让文件修改后立即生效。使用java version和hadoop version命令，若能正确显示软件版本号，说明安装成功(10) 配置 hadoop文件首先在 /home/hadoop下新建文件夹：mkdir p /home/hadoop/tmpmkdir -p /home/hadoop/dfs/namemkdir -p /home/hadoop/dfs/name然后进入 /home/hadoop/hadoop/etc/hadoop 文件夹，编辑文件中的 段编辑core-site.xml hadoop.tmp.dir /usr/hadoop/tmp A base for other temporary directories. fs.defaultFS hdfs:/server:9000 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 9 页 - - - - - - - - - io.file.buffer.size 4096 编辑hadoop-env.sh和yarn-env.sh，在开头添加 export JAVA_HOME=/home/hadoop/jdk18编辑hdfs-site.xml dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.replication 2 dfs.nameservices hadoop-cluster1 dfs.namenode.secondary.http-address server:50090 dfs.webhdfs.enabled true 其中dfs.replication配置了文件块的副本数，一般不大于Datanode的个数，根据实际情况设置。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 9 页 - - - - - - - - - 编辑mapred-site.xml，由于文件夹中只有mapred-site.xml.template文件，使用 cp mapred-site.xml.template mapred-site.xml命令得到 mapred-site.xml文件后进行编辑 mapreduce.framework.name yarn true mapreduce.jobtracker.http.address server:50030 mapreduce.jobhistory.address server:10020 mapreduce.jobhistory.webapp.address server:19888 mapred.job.tracker server:9001 编辑yarn-site.xml yarn.resourcemanager.hostname server yarn.nodemanager.aux-services mapreduce_shuffle名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 9 页 - - - - - - - - - yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address server:8032 yarn.resourcemanager.scheduler.address server:8030 yarn.resourcemanager.resource-tracker.address server:8031 yarn.resourcemanager.admin.address server:8033 yarn.resourcemanager.webapp.address server:8088 至此，配置完成，这些都是基本配置，更多配置可在网上进行搜索。(11) 克隆并配置虚拟机关机，在 VMware Workstation 中选中该虚拟机，使用管理菜单下的克隆，创建完整克隆，由于本文设置Datanode的数量为 2，克隆两个虚拟机。克隆完成后，将 hostname 分别改成 slave1和slave2，在/etc/sysconfig/network-scripts/ifcfg-eno16777736 文件中，设置IPADDR0 分别为 192.168.1.131和192.168.1.132，其余配置不变。(12) 在server中配置 slaves编辑/home/hadoop/hadoop/etc/hadoop/slaves ，添加名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 9 页 - - - - - - - - - localhost slave1 slave2localhost不确定是否要添加(13) 实现三个虚拟机之间ssh无密码登录对每一虚拟机，使用命令ssh-keygen -t rsa ，回车几次，可得到/home/hadoop/.ssh 文件夹，及里面的私钥文件：id_raa和公钥文件：id_rsa.pub。对.ssh文件夹赋予 700权限：chmod 700 /home/hadoop/.ssh 。然后将选择 server，进入 /home/hadoop/.ssh ，使用 cat id_rsa.pub authorized_keys得到 authorized_keys文件并赋予 600权限。将authorized_keys文件传到 slave1的.ssh文件夹中： scp authorized_keys hadoopslave1:/home/hadoop/.ssh进入slave1的.ssh文件夹中，将 slave1的公钥文件添至authorized_keys： cat id_rsa.pub authorized_keys然后将 slave1添加后的 authorized_keys传给 slave2，同样添加 slave2的公钥文件。将server、slave1中的 authorized_keys删除：rm -rf authorized_keys最后，将 slave2添加后的 authorized_keys文件传给 server和slave1的.ssh文件夹中。总而言之，就是使 authorized_keys文件包含所有三个虚拟机的公钥，并且每个虚拟机的.ssh文件夹都有此文件。使用server验证ssh登录 slave1： ssh 192.168.1.131第一次可能要输入 slave1的密码（ hadoop），同理验证 slave2。(14) 格式化 hdfs文件系统选择server，进入 /home/hadoop/hadoop/bin文件夹，使用命令./hdfs namenode format(15) 启动 yarn选择server，进入 /home/hadoop/hadoop/sbin文件夹，使用命令 ./start-yarn.sh(16) 查看运行情况选择server，进入 /home/hadoop/jdk18/bin文件夹，使用命令 ./jps名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 9 页 - - - - - - - - - 则会显示 23824 ResourceManger 121168 Jps 23939 NodeManager 23508 DataNode 23327 NameNode打开浏览器，输入 server:50070，选择上方菜单栏里的Datanodes，则会显示三个节点的情况。说明运行成功。五、运行示例程序新建两个 txt文件，如file1.txt ： hello hadoopfile2.txt ： hello mapReduce将文件传输到 server中，如新建的 /home/hadoop/txtfile文件夹。进入/home/hadoop/hadoop/bin，创建一个 input文件夹： ./hadoop fs -mkdir /input将txt文件复制到 input文件夹中： ./hadoop fs -put -f /home/hadoop/txtfile/file1.txt /home/hadoop/txtfile/file2.txt /input可以通过命令 ./hadoop fs -ls /input/查看 input文件夹里是否有 txt文件。运行 wordcount示例： ./hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount3查看运行结果： ./hdfs dfs -cat /output/wordcount3/*则会显示单词统计结果： hadoop 1 hello 2 mapReduce 1名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 9 页 - - - - - - - - -