2022年RedHatlinux.下Hadoop单机配置 .pdf

《2022年RedHatlinux.下Hadoop单机配置 .pdf》由会员分享，可在线阅读，更多相关《2022年RedHatlinux.下Hadoop单机配置 .pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Red Hat linux 9.0 下 Hadoop单机配置 詹坤林 1 hadoop 获取.1 2 hadoop 安装前提 .1 3 详细安装过程.2 1 hadoop获取下载： http:/ 是 hadoop，Hbase ，Hive等都是子项目。 2 hadoop安装前提Hadoop 的安装与运行需要依赖以下程序，在安装Hadoop之前，请确保在计算机上已经安装了以下软件： (1)Java?1.5.x及以上版本， 推荐 Sun公司的官方版本 (http:/)， 必须安装。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精

2、心整理 - - - - - - - 第 1 页，共 4 页 - - - - - - - - - 下载时请注意选择对应于机器配置的正确的版本（操作系统、32/64位） ； (2) ssh( 安全外壳协议) ，必须安装，且每次系统启动时sshd 服务也必须自动启动。 Ubuntu 用户可以用以下命令自动下载并安装： $ sudo apt-get install ssh $ sudo apt-get install rsync red hat linux 9 (i) 默认已经安装ssh 服务，以下命令查看版本 rootlinux-zkl root# rpm -q openssh-server ope

3、nssh-server-3.5p1-6 (ii)设置 ssh 为开机自启动 使用 ntsysv命令， 在弹出窗口中选择sshd 服务，在前面加上 *号( 定位到 ， 然后按以下空格键即可加上 *号) ，然后按Tab 键，到确定按钮，回车确定。 (iii)启动 sshrootlinux-zkl root# /etc/init.d/sshd start 启动 sshd 确定 rootlinux-zkl root# /etc/init.d/sshd stop 停止 sshd ： 确定 其 他Linux版 本 的 用 户 可 以 到http:/ 载openssh 并按照相关说明安装； (3) 如果运行

4、在Windows 平台上，则必须安装Cygwin（从 http:/ ，安装好 Cygwin 之后还需要安装openssh 包。 需要注意的是，由于Hadoop需要通过ssh 服务在各个节点之间登录并运行服务，因此必须确保安装Hadoop 的各个节点之间的网络畅通，网络畅通的标准是每台机器的主机名和IP 地址能够被所有机器正确解析（包括它自己）. 3 详细安装过程(0) 软件必备：安装jdk1.5 以上 (我的 jdk 安装在/usr/java/jdk1.6.0_13下面)。(1) 下载 hadoop-0.20.1.tar.gz ，拷贝到 linux 某文件夹， 例如 /usr/hadoop(自

5、己建的一个文件夹hadoop)，然后解压文件，得到 /usr/hadoop/hadoop-0.20.1 (2)修改 conf/hadoop-env.sh 文件 rootlinux-zkl root# vi /usr/hadoop/hadoop-0.20.1/conf/hadoop-env.sh 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - # Set Hadoop-specific environment variables

6、here. # The only required environment variable is JAVA_HOME. All others are # optional. When running a distributed configuration it is best to # set JAVA_HOME in this file, so that it is correctly defined on # remote nodes. # The java implementation to use. Required. # export JAVA_HOME=/usr/lib/j2sd

7、k1.5-sun export JAVA_HOME=/usr/java/jdk1.6.0_13 在其中设置 JAVA_HOME 环境变量： export JAVA_HOME=C:Program FilesJavajdk1.5.0_01” (这里因为路径中 Program Files 中间有空格，一定要用双引号将路径引起来) (3) 配置完毕了(4) 测试例子 : 在Hadoop 中，带有几个示例程序并且已经打包成了hadoop-0.20.1-examples.jar。其中有一个 WordCount 程序，功能是统计一批文本文件中各个单词出现的次数，我们先来看看怎么运行这个程序。 $ cd /u

8、sr/hadoop/hadoop-0.20.1 $ mkdir test-in $ cd test-in $ echo hello world bye world file1.txt $ echo hello hadoop goodbye hadoop file2.txt #在 test-in 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数 $ cd . $ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out 注意事项： 运行 bin/hadoop jar hadoop-0.16

9、.0-examples.jar wordcount test-in test-out 时，务必注意第一个参数是 jar, 不是 jar 。注意文件分别是file1.txt,file2.txt，test-out 目录是程序生成的,运行前必须先删除test-out 目录#执行完毕，下面查看执行结果： $ cd test-out $ cat part-00000 bye 1 goodbye 1 hadoop 2 hello 2 world 2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -