《hadoop培训》PPT课件.ppt

《《hadoop培训》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《hadoop培训》PPT课件.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Page 2提纲n hadoop的组成部分和安装方法n hadoop的web接口n hadoop的命令行接口ndfsnjobnjarndfsadminn.n hadoop的编程接口nmapreduce任务编程nhdfs编程n Streaming编程框架n 任务的调试和查错Page 3hadoop的软件结构和安装方法n 软件结构（我们目前主要使用的）nDFS模块，包含了Namenode, Secondary Namenode, Datanode等模块，这些模块分别会运行在主节点和从节点上，通过http协议进行交互nmapred模块，包含了JobTracker和TaskTracker模块，这些模块

2、运行在主节点和从节点上，也通过http协议进行交互Page 4hadoop的软件结构和安装方法n 软件安装方法n下载程序包n解压后配置相关参数,所有的配置文件在主文件夹下的conf文件夹内。n分发程序目录到集群中所有机器n命令行启动集群start-mapred.shPage 5hadoop的接口n 通过接口了解hadoop内部的情况nweb接口n部分命令行接口n 通过接口控制hadoop的运行和态nweb接口（需开启配置中web控制选项）n命令行接口n 通过接口提交任务n命令行接口结合编程接口Page 6hadoop的web接口n hdfs，默认用浏览器访问namenode节点的50070端口

3、即可nhdfs接口中可以访问n mapred，默认用浏览器访问jobtracker节点的50030端口即可，一般将同一台机器作为jobtracker和namenode节点Page 7hadoop的命令行接口n dfsn-mv -cp(宜使用distCp工具替代) -ls .n jobn-list -kill -history .n jar : 读取配置运行java程序nStreaming.jarnmyjob.jarnwordcount.jarn.n ?admin：管理和查看hadoop上的详细状态n.n .Page 8hadoop任务运行原理n hadoop任务（Job）由多个子任务（Task

4、）组成，tasks由以下两部分n多个mapper，其中mapper的个数由输入文件格式规定的文件分块数确定，mapper的运行和数据分块所在的机器有很大的关系n多个/0个 reducer，reducer的个数由用户提交任务时指定n 集群中JobTracker负责调度Job和Job之下的tasks，而每个tasktracker负责接收task任务并运行之n提交任务过程：用户与JobTracker交互，提交任务资源和配置n运行任务过程：JobTracker将队列中的tasks按调度算法分配给各tasktracker的空闲槽，tasktracker随后就运行之并监视汇报tasks的运行情况。Page

5、 9hadoop任务运行原理-通过hadoop编程接口提交任务n 以一个任务的提交为例：WordCount.jarn 其代码结构如下：这个程序其实和普通的java程序没有区别，其实现了mapper，reducer接口，并通过main函数加载配置和参数，上传jar，提交任务并监控运行情况public class WordCountpublic static class TokenizerMapper extends Mapperpublic static class IntSumReducer extends Reducer public static void main(String args

6、) Page 10hadoop编程接口，hadoop任务运行原理n 以一个任务的提交为例：WordCount.jarn 其main函数如下，其中就包含了提交任务的流程：public static void main(String args) throws Exception Configuration conf = new Configuration(); /读取默认的配置文件 String otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); /通用参数解析 if (otherArgs.length != 2

7、) System.err.println(Usage: wordcount ); System.exit(2); Job job = new Job(conf, word count); /新建任务对象 job.setJarByClass(WordCount.class);/主类 job.setMapperClass(TokenizerMapper.class);/mapper job.setCombinerClass(IntSumReducer.class);/作业合成类 job.setReducerClass(IntSumReducer.class);/reducer job.setOut

8、putKeyClass(Text.class);/设置作业输出数据的关键类 job.setOutputValueClass(IntWritable.class);/设置作业输出值类 FileInputFormat.addInputPath(job, new Path(otherArgs0);/文件输入 FileOutputFormat.setOutputPath(job, new Path(otherArgs1);/文件输出 System.exit(job.waitForCompletion(true) ? 0 : 1);/提交任务，等待完成退出. Page 11hadoop编程需要实现的接口

9、n 调用提交任务接口：submitjobandmonitor(jobconf); 其中jobconf需要在提交任务时设置好n 实现map接口：map端进程运行时调用的接口，默认为n 实现reduce接口：reduce端进程运行时调用的接口n 实现partitioner接口：partitioner接口用于分配map端输出到reduce端n 实现输入输出文件读写接口：默认有用于文本文件读写的接口Page 12Streaming编程框架n Streaming？n Streaming也就是一个java编写的任务提交工具nStreaming自己实现的mappernStreaming自己的reducern

10、输入输出接口n额外的针对子进程的输入输出接口n针对输入输出文件的输入输出接口Page 13Streaming编程框架n 如何编写Streaming的mapper端和reduce端子程序？nmapredlib库，我们的声学模型训练工具三期中，包含了这个mapredlib库，其中包含了处理我们规定的文件格式的输入输出和检索的功能n从标准输入读入数据使用mapredlib库提供的ReadOneMI的功能从标准输入读入数据，然后使用GetTailByType从数据块中提取需要的数据类型数据（如从一句话的所有数据中提取特征，标注，lattice等）n向标准输出写出输出数据使用mapredlib库提供的A

11、ddTail功能添加数据到输出数据块中使用mapredlib库提供的WriteOneMI功能写出数据块到标准输出中Page 14Streaming编程框架n 自定义Streaming支持的文件内数据结构Page 15Streaming编程框架n mapredlib库内定义的数据结构Page 16Streaming编程框架n 子程序运行的原理？n子程序运行在集群上的时候的环境tasktracker为每一个分配到它的子程序（mapper或reducer子进程分配一个临时文件夹，子程序由mapper或reducer启动后就会在其中运行n子程序需要的资源的分发方式1.使用-file 参数上传单个文件，

12、tasktracker会将指定的文件从hdfs上下载并将其软链接到每个task当前文件夹中Page 17Streaming编程框架n 子程序的调试方法n数据的准备，可使用fetchdata_hdp.jar工具从hdfs上下载到文件中的一块作为调试程序的输入文件分块n调试环境的准备，将提交任务时的命令行作为调试命令行，提交任务时上传的文件作为资源文件放在执行目录下nIDE的选择： linux下使用gdb或者codelite windows下使用visual studio，调试过程和普通的C+/C程序一致n Streaming工具的调试方法n在本地使用eclipse即可像调试java程序一样调试S

13、treaming工具n除非要改写得到自己的partitioner，否则不要修改Streaming工具Page 18编写Streaming框架下程序时的常见问题n1.为什么包含了相应的库，但是编译的时候显示undefined function xxxxxxx?n答：有可能是因为你呃库为C语言，这时候cpp程序包含的C头文件需要加上extern “C”n比如nexter “C”n#include “MapInput.h”nn2.在一个库A依赖另一个库B的函数c时，我先后链接了两个库A,B，为什么仍然有库A中引用的函数显示undefined function c?n答：在可执行程序中没有直接引用c时

14、，链接程序先引用A时不会提取出c备用，所以在链接到B库时，其中引用的c符号就找不到了。n这个时候需要先链接B库再链接A库。n3.为什么Streaming启动后无缘无故报错，提示IOException Array Out of Bound等错误？n答：这时很可能是由于输入的打包文件的64M边界处没有处理好，需要检查打包程序。n在linux下可以通过如下步骤检查：nsplit b64m file.pakn#这时文件夹中会有xaa xab等一大堆文件，每个文件都是从file.pak中解散出来的64M分块n#这时只需要检查xab、xac、xad等的开头是否完整的数据条目即可。n4.如何使用带动态链接库

15、的程序？n答：我们的修改版Streaming程序中默认将当前执行目录下的bin文件夹加入了LD_LIBRARY_PATH环境变量中了。这样在执行这样的Streaming任务时就可以通过 cacheArchive参数将所有动态链接库打包成的tar包下载到每台机器上并解压到当前目录的bin目录下即可。但是由于-cacheArchive使用的是软链接方式创建的bin目录，所以不能将动态链接库文件分散放在多个tar下，这样会引起冲突。n5.为什么程序持续出现timeout 600现象导致task被kill？n答：导致这个问题的有两种原因：n1.tasktracker所在机器繁忙，这个的解决需要酌情减少

16、tasktracker上的map和reduce槽数。n2.子程序有bug，刘丹目前碰到了这个问题，他的程序中有部分析构代码进入了死循环，所以其程序无法自行了结导致了tasktracker一直在忙等。n6.关于strtok的常见错误？n答：strtok不能嵌套使用，比如line=strtok(B,”xx”) 然后word = strtok(line,”a”)后又想通过line=strtok(NULL,”xx”)得到B之后的line是行不通的。nstrtok中的参数不能使用静态字符串。比如不能用line=strtok(“abcd abdc”,” “)n7.关于RecordReader256报错，wrong data，什么原因？n答：原因可能是由于打包数据的程序处理不当导致打包成的文件的块交接处出错。或者由于上传的数据不完整导致最后数据没有完全读入。Page 19编写Streaming框架下程序时的常见问题n 请大家平时遇到问题或解决问题后略有记录，作为后来人的参考依据Page 2021 结束语结束语