2023国开大数据导论实验报告实验2 Hadoop开发环境部署.docx

《2023国开大数据导论实验报告实验2 Hadoop开发环境部署.docx》由会员分享，可在线阅读，更多相关《2023国开大数据导论实验报告实验2 Hadoop开发环境部署.docx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、实验2 Hadoop开发环境部署Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸 缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收 集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高， 但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处 理中得到了广泛的应用。1 .实验目的通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop 的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决 大数据

2、分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立 基础，而且可以提高工程实践能力。2 .实验要求在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主 要内容如下所述。(1)制订安装计划。(2)安装SSH协议。(3)安装0penJDK1.8开发环境。(4) Hadoop系统部署。(5)伪分布式Hadoop环境部署。6 6) Eclipse开发环境的安装。7 .实验内容(1)制订实验计划。(2)完成SSH协议安装。(3)完成 0penJDKL8 安装。(4)完成Hadoop系统部署。(5)完成伪分布式Hadoop环境部署。(6)完成Ec

3、lipse开发环境的安装。8 .实验总结通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程， 掌握伪分布式Hadoop的安装方法和Eclipse开发环境的安装与使用方法。百度一下，你就知道-Mozilla Hrefox数百度一下,你就知道新闻 haol23 地图 贴吧 视频 图片 网盘 更多一 .正在打开 您选择了打开：文件类型：GZ文件(201 MB) 来源：您想要Firefox如何处理此文件？打开，通过(0)浏览(B)积存文件(S)以后自动采用相同Z动作处理此类文件。份)取消确定CM钠啾2.1. 2安装文件下载完安装文件以后，需要对文件进行解压。按照L

4、inux系统使用的默认规范, 用户安装的软件一般都是存放在“/usr/local/”目录下。请使用hadoop用户登 录Linux系统，打开一个终端，进行以下操作：2. 1. 2. 1 解压解压到/usr/local中拷贝代码sudo tar -zxf/home/user/Downloads/hadoop-2. 7. 1. tar. gz -C /u2. L 2. 2将文件夹名改为hadoop拷贝代码cd /usr/localsudomv . /hadoop-2. 7. 1/ . /hadoophadoopecs-3918:-$ cd /usr/local hadoop(J Ha *r C q

5、 C ，、3a2.1. 2. 3修改文件权限拷贝代码 sudo chown -R hadoop . /hadoop2. 1. 2. 4检查Hadoop是否可用Hadoop解压后即可使用，可以输入如下命令来检查Hadoop是否可用，成功则会 显示Hadoop版本信息：拷贝代码 cd /usr/1 ocal/hadoop . /bin/hadoop versionhadoop(aecs-3918:-$ cd /usr/localhadoop(aecs-3918:/usr/loGal$ sudo chown -R hadoop ./hadoopSubversion -r 15 536e6ce657a

6、Compiled by jenkins on 2015-06-29T06:04ZFrom source with checksum fc0ala23fcl868e4d5ee7fa2b28a58aThis command was run using /usr/local/hadoop/share/hadoop/common/hc2. 2单机模式配置Hadoop默认模式为非分布式模式（本地模式），只需配置好hadoop-env. sh文 件中的JAVAJ0ME,无需进行其他配置即可运行。配置hadoop-env. sh文件中的JAVA HOME步骤如下：先输入echo $JAVA_HOME命令查看

7、JAVA_HOME的路径 拷贝代码 vi /usr/local/hadoop/etc/hadoop/hadoop-env. shzexport JAVA HOME=JAVA HOME,7usr/local/hadoop/etc/hadoop/hadoop-env.sh,1 98L, 4224C csdnc?进入编辑界面后找到 exoort JAVA_HOME=$ JAVA_HOME将$ JAVA_H0ME替换为真正的JAVA_HOME路径即可，然后保存退出。 以下是真实的JAVA_HOME:拷贝代码/usr/share/jdkl. 8. 0_181可以直接替换，直接把前一行注释掉，然后粘贴后一

8、行：wq!保存并且退出2. 2.1查看所有例子Hadoop附带了丰富的例子，运行如下命令可以查看所有例子： 拷贝代码 cd /usr/local/hadoopsudo . /bin/hadoop jar /share/hadoop/mapreduce/hadoop-mapreduce-examp les-2. 7. 1. jar上述命令执行后，会显示所有例子的简介信息，包括grep、join、wordcount 等。Terminal 终端-hadoop9ecs-3918: /usr/k)cal/putes the histogram of tfcompute exact digits of P

9、i. pute exact bits of Pi.in the input.aggregatewordhist: An Aggregate based map/reduce program that words in the input files.bbp: A map/reduce program that uses Bailey-Borwein-Plouffe to dbcount: An example job that count the pageview counts from a distbbp: A map/reduce program that uses a BBP-type

10、formula to grep: A map/reduce program that counts the matches of a regexjoin: A job that effects a join over sorted, equally partitioned datasets multifilewc: A job that counts words from several files.pentomino: A map/reduce tile laying program to find solutions to pentomino problems.pi: A map/redu

11、ce program that estimates Pi using a quasi-Monte Carlo method, randomtextwriter: A map/reduce program that writes 10GB of random textual data per node, randomwriter: A map/reduce program that writes 10GB of random data per node, secondarysort: An example defining a secondary sort to the reduce.sort:

12、 A map/reduce program that sorts the data written by the random writer.sudoku: A sudoku solver.teragen: Generate data for the terasort terasort: Run the terasortteravalidate: Checking results of terasortwordcount: A map/reduce program that counts the words in the input files.wordmean: A map/reduce p

13、rogram that counts the average length of the words in the input f: s.wordmedian: A map/reduce program that counts the median length of the words in the input ，es.wordstandarddeviation: A map/reduce program that counts the standard deviation of the len( of the words in the input files.hadoopecs -3918

14、 ;/usr/local/hadoop$ |0soM2. 2. 2运行grep例子这里选择运行grep例子，可以先在“/usr/local/hadoop”目录下创建一个文件 夹input,并复制一些文件到该文件夹下，然后，运行grep程序，将input文 件夹中的所有文件作为grep的输入，让grep程序从所有文件中筛选出符合正则 表达式“dfsa-z. + ”的单词，并统计单词出现的次数，最后，把统计结果输出 到 “/usr/local/hadoop/output”文件夹中。2. 2. 2. 1 配置 hosts实验第一步我们已经配置过hosts 了。2. 2. 2. 2将配置文件复制到in

15、put目录下拷贝代码 cd /usr/local/hadoop mkdir inputcp . /etc/hadoop/*. xml ./input2. 2. 2. 3 运行拷贝代码./bin/hadoopjar /share/hadoop/mapreduce/hadoop-mapreducor tne words in tne input rues.hadoopecs-3918:/usr/local/hadoop$ cd /usr/logal/hadoophadoopecs-3918:/usr/local/hadoop$ mkdir inputhadoopecs-3918:/usr/loca

16、l/hadoop$ cp ./etc/hadoop/*.xml ./inputsDN4一 一-dAhadoopecs-3918:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-maprei examples-*.jar grep ./input ./output *dfsa-z.22/05/24 11:09:41 INFO Configuration.deprecation: session.id is deprecated. Instead, use i etrics.session-id22/05/24

17、 11:09:41 INFO jvm.JvmMetcs: Initializing JVM Metrics with processName=JobTracki essionld= 22/05/24 11:09:41 INFO input.FileinputFormat: Total input paths to process : 822/05/24 11:09:41 INFO mapreduce.JobSubmitter: number of splits:822/05/24 11:09:42 INFO mapreduce.JobSubmitter: Submitting tokens f

18、or job: job local4864圈Map output bytes=17Map output materialized bytes=25 Input split bytes=121 Combine input records=0 Combine output records=0 Reduce input groups=l Reduce shuffle bytes=25 Reduce input records=l Reduce output records=l Spilled Records=2 Shuffled Maps =1 Failed Shuffles=0 Merged Ma

19、p outputs=l GC time elapsed (ms)=0Total committed heap usage (bytes)=702545920 Shuffle ErrorsBAD ID=0 CONNECTION=0 10 ERR0R= WRONG LENGTH=0 I WRONG MAP=0 WRONG REDUCEDFile Input Format Counters Bytes Read=123File Output Format Counters Bytes Written=23CSDN &GC?2. 2. 2. 4查看运行结果拷贝代码 cat . /output/*执行成

20、功后，输出了作业的相关信息，输出的结果是符合正则表达式的单词“dfsadmin” 出现了 1 次。J Bytes wntten=23 hadoopeft-3918:/usr/local/hadoop$ cat ./output/* 1 dfsadtnincsdn sc?3. 2. 2. 5 删除 output 文件需要注意的是，Hadoop默认不会覆盖结果文件，因此，再次运行上面实例会提 示出错。如果要再次运行，需要先使用如下命令把。utput文件夹删除：拷贝代码rm -r . /outputhadoop(aecs-3918:/usr/local/hadoop$ rm -r ./outptit

21、c?3伪分布式模式配置Hadoop可以在单个节点(一台机器)上以伪分布式的方式运行，同一个节点既 作为名称节点(NameNode),也作为数据节点(DataNode),读取的是分布式文 件系统HDFS中的文件。3.1修改配置文件需要配置相关文件，才能够让Hadoop在伪分布式模式下顺利运行。Hadoop的配 置文件位于“/usr/local/hadoop/etc/hadoop/中，进行伪分布式模式配置时， 需要修改2个配置文件，即core-site, xml和hdfs-site. xmlo3. 1. 1 修改 core-site, xml 文件可以使用vim编辑器打开core-site, xm

22、l文件，它的初始内容如下:hadoop(aecs-3918:/usr/local/hadoop$ cd etc/hadoophadoopecs-3918:/usr/local/hadoop/etc/hadoop$ Iscapacity-scheduler.xml configuration.xsl container-executor.cfg core-site.xml hadoop-env.cmd hadoop-env.sh hadoop-metrics2.properties hadoop-metrics.properties hadoop-policy.xml hdfs-site.xml

23、一一 rcqc /_1httpfs-env.shhttpfs-log4j.properties httpfs-signature.secret httpfs-site.xml kms-acls.xmlkms-env.shkms-log4j.properties.kms-site, xmlMog4j .properties mapred-env.cmdmapred-env.shmapred-queues.xml.template mapred-site.xml.template slavesssl-client.xml.example ssl-server.xml.example yarn-en

24、v.cmd yarn-env.sh yarn-site.xmlCSDN &GC?拷贝代码configurationhadoop. tmp. dirfile:/usr/local/hadoop/tmpAbase for other temporary directories. fs. defaultFShdfs:/localhost:9000hadoop.tmp.dirfile:/usr/local/hadoop/tmpdescriptior Abase for other temporary directories. tfs?vdefaultFSvali ? hdfs:/localhost:9

25、000/configuration在上面的配置文件中，hadoop. tmp. dir用于保存临时文件，若没有配置 hadoop. tmp. dir这个参数，则默认使用的临口寸目录为“/tmp/hadoo-hadoop”， 而这个目录在Hadoop重启时有可能被系统清理掉，导致一些意想不到的问题， 因此，必须配置这个参数。fs. defaultFS这个参数，用于指定HDFS的访问地址， 其中，9000是端口号。3. 1. 2 修改 hdfs-site. xml 文件修改配置文件hdfs-site. xml,修改后的内容如下：删除原来两个configuration,然后直接粘贴下面的代码。拷贝代

26、码dfs. replicationldfs. namenode. name. dirfile:/usr/local/hadoop/tmp/dfs/namedfs. datanode. data. dirfile:/usr/local/hadoop/tmp/dfs/data4. 2执行名称节点格式化修改配置文件以后，要执行名称节点的格式化，命令如下：拷贝代码 cd /usr/local/hadoop. /bin/hdfs namenode -format如果格式化成功，会看到 “successfully formatted和 Exitting with status 0”的提示信息，若为“Exi

27、tting with status 1”，则表示出现错误。at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554) Caused by: org.xml.sax.S/kXParseException; systemld: file:/usr/local/hadoop/etc/hadoop/core e.xml; lineNumber: 17; columnNumber: 1; Content is not allowed in prolog.at org.apache.xerces.parsers.D

28、OMParser.parse(Unknown Source)at org.apache.xerces.jaxp.DocumentBuilderlmpl.parse(Unknown Source)at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:150)at org.apache.hadoop.conf.Configuration.parse(Configuration.java:2480)at orgapache.hadoop.conf.Configuration.parse(Configuration.java:2

29、468)at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2539).7 more22/05/24 11:23:32 INFO util.ExitUtil: Exiting with status 122/05/24 11:23:32 INFO namenode.NameNode: SHUTDOWN MSG:/*率*率*尊*本*羊*.hadoop-env. sh, vim hadoop-env. sh* 本*,* 丰*本率*本 /CSDNGdfs. replication c/nawlvD r od。

30、rt|,d f s. namenode. naw .dirfile:/usr/local/hadoop/tnp/dfs/naie-)，I ULJv dfs.datanode.data.dir file:/ur/local/hadoop/tmp/dfs/dataWv . WP . Ob* -INSERT -25,1 CSDN authorized_keys # 人我欢安装Java环境:Jsudo apt-get install openjdk-7-jre openjdk-rjdk| /.bashrc# 设置在文件最前面添加如下单独一行:这个警告提示信息可以忽略，并不会影响Hadoop正常使用ha

31、doopecs-e8bd:/u/local/hadoopS jps6564 SecondaryNameWode6358 DataNode6201 NameNode6699 JpSCSDN &GC?3. 3.2判断是否成功启动Hadoop启动完成后，可以通过命令jps来判断是否成功启动，命令如下:拷贝代码jps若成功启动，则会列出如下进程：NameNode DataNode和SecondaryNameNodeo通过start-dfs. sh命令启动Hadoop以后，就可以运行MapReduce程序处理数据，此时是对HDFS进行数据读写，而不是对本地文件进行读写。hadoopecs-e8bd:/u

32、/local/hadoopS jps6564 SecondaryNameWode6358 DataNode6201 NameNode6699 JpSCSDN 飘5C?如果能够看到SecondaryNameNode NameNode和DataNode三个进程，就说明启 动成功了。如果要停止Hadoop执行，可以执行如下命令：/usr/local/hadoop,/sbin/stop-dfs. shhadoopecs-e8bd:/usr/local/hadoop$ /usr/local/hadoop-su: /usr/local/hadoop: Is a directoryhadoopecs-e8b

33、d:/usr/local/hadoopS ./sbin/stop-dfs.shStopping namenodes on localhostlocalhost: stopping namenodelocalhost: stopping datanodeStopping secondary namenodes 0.0,00.0.0.0: stopping secondarynamenodeCSDN GC?fl _ _ _ 一 一 _ _ _ _ 1 _ 一 ，一 一 ，一 _ 一 3. 4使用Web界面查看HDFS信息Hadoop成功启动后，可以在Linux系统中（不是Windows系统）打开一

34、个浏览器，在地址栏输入如下地址，就可以查看名称节点和数据节点信息，还可以在线 查看HDFS中的文件。拷贝代码 http: /localhost: 500703. 5运行Hadoop伪分布式实例上面的单机模式中，grep例子读取的是本地数据，伪分布式模式下，读取的则 是分布式文件系统HDFS上的数据。3. 5.1 HDFS中创建用户目录要使用HDFS,首先需要在HDFS中创建用户目录（本教程全部统一采用hadoop 用户名登录Linux系统），命令如下：拷贝代码 cd /usr/local/hadoop . /bin/hdfs dfs -mkdir -p/user/hadoop3. 5. 2复制

35、文件接着需要把本地文件系统的“/usr/local/hadoop/etc/hadoop”目录中的所有 xml文件作为输入文件，复制到分布式文件系统HDFS中的“/user/hadoop/input 目录中，命令如下：拷贝代码 cd /usr/local/hadoop . /bin/hdfs dfs -mkdir input在HDFS中创建hadoop用户对应的input目录拷贝代码./bin/hdfs dfs -put . /etc/hadoop/*. xml input把本地文件复制到HDFS中3. 5. 3查看HDFS中的文件列表复制完成后，可以通过如下命令查看HDFS中的文件列表：拷贝代

36、码./bin/hdfs dfs -Is input执行上述命令以后，可以看到input目录下的文件信息。3. 5. 4运行grep程序现在就可以运行Hadoop自带的grep程序，命令如下：拷贝代码./bin/hadoopjar . /share/hadoop/mapreduce/hadoop-mapreduce-examples-*. jar grep input output dfsa-z. +3. 5.5查看HDFS中的结果运行结束后，可以通过如下命令查看HDFS中的output文件夹中的内容：拷贝代码./bin/hdfs dfs -cat output/*需要强调的是，Hadoop运行

37、程序时，输出目录不能存在，否则会提示如下错误 信息：org. apache, hadoop. mapped. FileAlreadyExistsException: Output directory hdfs:/localhost:9000/user/hadoop/output already exists 因此，若要再次执行grep程序3. 5.6删除HDFS中的output文件夹需要执行如下命令删除HDFS中的output文件夹：拷贝代码/bin/hdfs dfs -rm -r output删除output文件夹3. 6 关闭 Hadoop如果要关闭Hadoop,可以执行下面命令：拷贝代码

38、 cd /usr/local/hadoop . /sbin/stop-dfs. sh下次启动Hadoop时，无需进行名称节点的初始化（否则会出错），也就是说， 不要再次执行“hdfs namenode -formatv命令，每次启动Hadoop只需要直接运 行start-dfs. sh命令即可。3.7配置PATH变量前面在启动Hadoop时，都要加上命令的路径，比如，/sbin/start-dfs. sh” 这个命令中就带上了路径，实际上，通过设置PATH变量，就可以在执行命令时， 不用带上命令本身所在的路径。具体操作方法是，首先使用vim编辑器打开“/.bashrc”这个文件，然后，在这个文

39、件的最后面位置加入如下单独一行：拷贝代码 export HADOOP_HOME=/usr/local/hadoop exportPATH=$HAD00P_H0ME/b i n:$HAD00P_H0ME/sbin:$PATH添加后，执行命令source /.bashrc”使设置生效。设置生效后，在任何目录 下启动Hadoop,都只要直接输入start-dfs. sh命令即可，同理，停止Hadoop, 也只需要在任何目录下输入stop-dfs. sh命令即可。export 3AVA_H0ME=/usr/lib/jvm/java-7-openjdk-amd64使JAVA_HOME变量生效:/bash

40、rc # 使受气置4安装 Hadoop 2:Hsudo tar -zxvf /hadoop-2e60targz -C /usr/local #mv ,/hadoop-260/ ./hadoop# /义力乂ha doochown -R hadoop ./hadoop进行伪分布式配置:修改配置文件core-site.xml (vim/usr/local/hadoop/etc/hadoop/core-site.xml)：hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbase for other temporary directories.fs.defaultFShdfs:/localhost:9000修改配置文件hdfs-site.xml：dfs.replicationldfsnamenode.name.dir