2022年Linux下Nutch-.分布式配置 .pdf

《2022年Linux下Nutch-.分布式配置 .pdf》由会员分享，可在线阅读，更多相关《2022年Linux下Nutch-.分布式配置 .pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、linux下 nutch-1.0 集群配置 1 Linux 下 Nutch-1.0 集群配置詹坤林中科院研究生院信息学院 2010 年 5 月目录0 集群网络环境介绍.11/etc/hosts文件配置.12 SSH无密码验证配置.22.1 配置所有节点之间SSH无密码验证.23 JDK 安装和 Java 环境变量配置.33.1 安装 JDK 1.6.33.2 Java 环境变量配置.34 Nutch 集群配置.35 Nutch 集群启动.66 Nutch 分布式爬虫.80 集群网络环境介绍集群中所有节点均是Cent-OS系统，防火墙均禁用，sshd 服务均开启；所有节点上均有一个名为nutch

2、 的用户，用户主目录是/home/nutch。集群包含三个节点：1 个 namenode，2 个 datanode，节点之间局域网连接，可以相互 ping 通。节点 IP 地址和主机名分布如下：10.10.97.132 gc03vm12 namenode 10.10.97.142 gc04vm12 datanode01 10.10.97.144 gc04vm14 datanode02 1/etc/hosts文件配置namenode节点上 vi/etc/hosts，将所有节点的名字和IP 地址写入其中，写入如下内容，注意注释掉127.0.0.1行：10.10.97.132 gc03vm12 10

3、.10.97.142 gc04vm12 10.10.97.144 gc04vm14#127.0.0.1 centos54 localhost.localdomain localhost/etc/hosts文件需要复制到所有数据节点上。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 11 页 -linux下 nutch-1.0 集群配置 2 2 SSH无密码验证配置Nutch 是基于 Hadoop的，Hadoop需要使用 SSH协议，namenode将使用 SSH协议启动 namenode和 datanode 进程，datanode 向 namenode传递心跳信息可能也是使用 S

4、SH协议，这是我认为的，还没有做深入了解，datanode 之间可能也需要使用 SSH协议。假若是，则需要配置使得所有节点之间可以相互SSH无密码登陆验证)。2.1 配置所有节点之间SSH无密码验证(0)原理节点 A要实现无密码公钥认证连接到节点B上时，节点 A是客户端，节点B是服务端，需要在客户端 A上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到服务端B上。当客户端 A通过 ssh 连接服务端 B时，服务端 B就会生成一个随机数并用客户端A的公钥对随机数进行加密，并发送给客户端A。客户端 A收到加密数之后再用私钥进行解密，并将解密数回传给B，B确认解密数无误之后就允许 A进行连接

5、了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端A公钥复制到 B上。因此如果要实现所有节点之间无密码公钥认证，则需要将所有节点的公钥都复制到所有节点上。(1)所有机器上生成密码对(a)所有节点用 nutch 用户登陆，并执行以下命令，生成rsa 密钥对:zklzkl-ubuntu:$ssh-keygen-t rsa Generating public/private rsa key pair.Enter file in which to save the key(/home/zkl/.ssh/id_rsa):默认路径Enter passphrase(empty for

6、 no passphrase):回车，空密码Enter same passphrase again:Your identification has been saved in/home/zkl/.ssh/id_rsa.Your public key has been saved in/home/zkl/.ssh/id_rsa.pub.这 将 在/home/nutch/.ssh/目 录 下 生 成 一 个 私 钥 id_rsa和 一 个 公 钥id_rsa.pub。(b)将所有 datanode 节点的公钥id_rsa.pub传送到 namenode上:cp id_rsa.pub datanod

7、e01.id_rsa.pub scp datanode01.id_rsa.pub namenode节点 ip 地址:/home/nutch/.ssh .cp id_rsa.pub datanode0n.id_rsa.pub(c)namenode 节点上综合所有公钥(包括自身)并传送到所有节点上cp id_rsa.pub authorized_keys namenode自己的公钥cat datanode01.id_rsa.pub authorized_keys.cat datanode0n.id_rsa.pub authorized_keys 然后使用 SSH协议将所有公钥信息authorize

8、d_keys复制到所有 DataNode的.ssh 目录下zklzkl-ubuntu:$scp authorized_keys data节点 ip 地址:/home/zkl/.ssh 名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 11 页 -linux下 nutch-1.0 集群配置 3 这样配置过后，所有节点之间可以相互SSH 无密码登陆，可以通过命令“ssh 节点 ip 地址”来验证。3 JDK 安装和 Java 环境变量配置3.1 安装 JDK 1.6 root 用户登陆，在 Namenode 节点上新建文件夹/usr/program，下载 JDK安装包jdk-6u13-

9、linux-i586.bin,复制到目录/usr/program 下，在命令行进入该目录，执行命令“./jdk-6u13-linux-i586.bin”，命令运行完毕，将在目录下生成文件夹 jdk1.6.0_13，安装完毕。安装完成后，修改/usr/program目录拥有着为 nutch 用户，Chown-R nutch:nutch/usr/program/usr/program 目录需要复制到所有数据节点上。3.2 Java 环境变量配置root 用户登陆，命令行中执行命令”vi/etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile这个文件很重要，后面Hado

10、op的配置还会用到)。#set java environment export JAVA_HOME=/usr/program/jdk1.6.0_13/export JRE_HOME=/usr/program/jdk1.6.0_13/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 保存并退出，执行以下命令使配置生效chmod+x /etc/profile source /etc/profile 配置完毕，在命令行中使用命令”ja

11、va-version”可以判断是否成功。在 nutch 下测试 java-version/etc/profile复制到所有数据节点上。4 Nutch 集群配置在 namenode上执行:下载 nutch-1.0，将其解压到/home/nutch/nutchinstall目录下，使用如下名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 11 页 -linux下 nutch-1.0 集群配置 4 命令:tar zxvf nutch-1.0.tar.gz(1)配置 Hadoop的配置文件(a)配置 hadoop-env.sh$vi nutch-1.0/conf/hadoop-env.sh

12、#set java environment export JAVA_HOME=/usr/program/jdk1.6.0_13/(b)配置 conf/hadoop-site.xml hadoop.tmp.dir /home/nutch/nutchinstall/hadooptmp A base for other temporary directories.fs.default.name hdfs:/gc03vm12:9000 dfs.replication 2 mapred.job.tracker gc03vm12:9001 dfs.name.dir /home/nutch/nutchins

13、tall/filesystem/name Determines where on the local filesystem the DFS name node should store the name table.If this is a comma-delimited list of directories then the name table is replicated in all of the directories,for redundancy.名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 11 页 -linux下 nutch-1.0 集群配置 5 dfs.dat

14、a.dir /home/nutch/nutchinstall/filesystem/data Determines where on the local filesystem an DFS data node should store its blocks.If this is a comma-delimited list of directories,then data will be stored in all named directories,typically on different devices.Directories that do not exist are ignored

15、.mapred.local.dir /home/nutch/nutchinstall/filesystem/local Determines where on the local filesystem an DFS data node should store its blocks.If this is a comma-delimited list of directories,then data will be stored in all named directories,typically on different devices.Directories that do not exis

16、t are ignored.(c)配置 masters 文件,加入 namenode 的主机名gc03vm12 (d)配置 slaves 文件,加入所有 datanode 的主机名gc04vm12 gc04vm14(2)配置 nutch 的配置文件配置 nutch-site.xml文件 http.agent.name nutch-1.0 HTTP User-Agent request header.名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 11 页 -linux下 nutch-1.0 集群配置 6(3)复制配置好的各文件到所有数据节点上。root 用户下:scp/etc/h

17、osts 数据节点 ip 地址:/etc/hosts scp/etc/profile 数据节点 ip 地址:/etc/profile scp/usr/program 数据节点 ip 地址:/usr/program nutch 用户下:scp/home/nutch/nutchinsta 数据节点 ip 地址:/home/nutch/5 Nutch 集群启动Namenode 执行：格式化 hadoop，bin/hadoop namenode format 启动 hadoop 所有进程，bin/start-all.sh 可以通过以下启动日志看出，首先启动namenode,然后启动datanode1,

18、datanode2,然后启 动secondarynamenode。再 启 动jobtracker,然 后 启 动tasktracker1,最 后 启 动tasktracker2。启动 hadoop 成功后，在namenode中生成了hadooptmp 文件夹和filesystem文件夹，在 datanode 中生成了 filesystem文件夹。namenode上用 java 自带的小工具jps 查看进程zklzkl-ubuntu:/$jps 8383 JobTracker 8733 Jps 8312 SecondaryNameNode 8174 NameNode 每个 datanode 上查

19、看进程zklzkl-ubuntu:/$jps 7636 DataNode 7962 Jps 7749 TaskTracker 在 namenode上查看集群状态bin/hadoop dfsadmin report Configured Capacity:16030539776(14.93 GB)Present Capacity:7813902336(7.28 GB)DFS Remaining:7748620288(7.22 GB)名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 11 页 -linux下 nutch-1.0 集群配置 7 DFS Used:65282048(62.2

20、6 MB)DFS Used%:0.84%-Datanodes available:2(2 total,0 dead)Name:10.10.97.142:50010 Decommission Status:Normal Configured Capacity:8015269888(7.46 GB)DFS Used:32641024(31.13 MB)Non DFS Used:4364853248(4.07 GB)DFS Remaining:3617775616(3.37 GB)DFS Used%:0.41%DFS Remaining%:45.14%Last contact:Thu May 13

21、06:17:57 CST 2010 Name:10.10.97.144:50010 Decommission Status:Normal Configured Capacity:8015269888(7.46 GB)DFS Used:32641024(31.13 MB)Non DFS Used:3851784192(3.59 GB)DFS Remaining:4130844672(3.85 GB)DFS Used%:0.41%DFS Remaining%:51.54%Last contact:Thu May 13 06:17:59 CST 2010 Hadoop 的 web 方式查看：http

22、:/namenode ip 地址:50070 名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 11 页 -linux下 nutch-1.0 集群配置 8 Hadoop查看工作情况:http:/namenode ip地址:50030 6 Nutch 分布式爬虫Nutch 爬虫命令是:bin/nutch Crawl -dir d-threads n-depth i-topN N 其中的 参数是入口地址文件或其所在的目录，必须是HDFS中的目录，爬虫完毕将在HDFS 中生成存有爬下来的数据的目录-dir d。(1)入口地址文件在本地磁盘中新建一个文件，写入一个入口url，然后将其复制到

23、HDFS 中，使用如下命令:bin/hadoop dfs-copyFromLocal crawltest/urls urls(2)配置所有节点上的conf/crawl-urlfilter.txt文件#skip file:,ftp:,&mailto:urls-(file|ftp|mailto):#skip image and other suffixes we cant yet parse-.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|B

24、MP)$名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 11 页 -linux下 nutch-1.0 集群配置 9#skip URLs containing certain characters as probable queries,etc.-?*!=#skip URLs with slash-delimited segment that repeats 3+times,to break loops-.*(/+)/+1/+1/#accept hosts in MY.DOMAIN.NAME#允许下载所有+#skip everything else-.(3)爬虫测试，使用如下命令分

25、布式爬虫:bin/nutch crawl urls-dir data-depth 3-topN 10 crawl started in:data rootUrlDir=urls threads=10 depth=3 topN=10 Injector:starting Injector:crawlDb:data/crawldb Injector:urlDir:urls Injector:Converting injected urls to crawl db entries.Injector:Merging injected urls into crawl db.Injector:done Ge

26、nerator:Selecting best-scoring urls due for fetch.Generator:starting Generator:segment:data/segments/20100513022002 Generator:filtering:true 名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 11 页 -linux下 nutch-1.0 集群配置 10 Generator:topN:10 Generator:Partitioning selected urls by host,for politeness.Generator:done.Fetc

27、her:Your http.agent.name value should be listed first in http.robots.agents property.Fetcher:starting Fetcher:segment:data/segments/20100513022002 Fetcher:done 第一层的网页下载完毕，depth=0 CrawlDb update:starting CrawlDb update:db:data/crawldb CrawlDb update:segments:data/segments/20100513022002 CrawlDb updat

28、e:additions allowed:true CrawlDb update:URL normalizing:true CrawlDb update:URL filtering:true CrawlDb update:Merging segment data into db.CrawlDb update:done Generator:Selecting best-scoring urls due for fetch.Generator:starting Generator:segment:data/segments/20100513022124 Generator:filtering:tru

29、e Generator:topN:10 Generator:0 records selected for fetching,exiting.Stopping at depth=1-no more URLs to fetch.此处就停止了，不能下载第二层的网页，正常情况下是不会出现此错误的。LinkDb:starting LinkDb:linkdb:data/linkdb LinkDb:URL normalize:true LinkDb:URL filter:true LinkDb:adding segment:hdfs:/gc03vm12:9000/user/nutch/data/segmen

30、ts/20100513022002 名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 11 页 -linux下 nutch-1.0 集群配置 11 LinkDb:done Indexer:starting Indexer:done Dedup:starting Dedup:adding indexes in:data/indexes Dedup:done merging indexes to:data/index Adding hdfs:/gc03vm12:9000/user/nutch/data/indexes/part-00000 done merging crawl finished:data 爬虫完毕，hdfs 中生成 data 目录所有节点上的爬虫日志在logs/hadoop.log如下：从浏览器中可以查看到分布式爬虫时作业状态：名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 11 页 -