大数据处理技术简介课件.ppt

《大数据处理技术简介课件.ppt》由会员分享，可在线阅读，更多相关《大数据处理技术简介课件.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 HadoopHadoop 目目 录录 1.Hadoop 简介简介 2.实例演示实例演示 1.定义定义 2.数据的来源数据的来源 1.分布式储存系统（分布式储存系统（GFS/HDFS）2.分布式计算模型（分布式计算模型（MapReduce）2 一、大数据背景一、大数据背景3我们正处在信息爆炸的年代我们正处在信息爆炸的年代20002000年年 数字数据只占全球数据量的数字数据只占全球数据量的1/41/420072007年年 所有数据中只有所有数据中只有7%7%是存储在报纸、是存储在报纸、书籍、图片等媒介上的模拟数据，其余书籍、图片等媒介上的模拟数据，其余93%93%全是全是数字数据（二进制数据

2、）数字数据（二进制数据）Google Google 单日单日数据处理数据处理量量超过超过 24 PB24 PBFacebook Facebook 单日单日照片更新量超过照片更新量超过 1 1千万千万张张淘宝网淘宝网 单日数据产生量超过单日数据产生量超过 5 5万万 GBGB大数据背景大数据背景 定义定义4大大数据定义数据定义 “大数据大数据”是指一个是指一个数据集（数据集（DatasetsDatasets），它的它的尺寸大到已经无法由尺寸大到已经无法由传统的数据库软件传统的数据库软件去采集、储去采集、储存、管理和分析。存、管理和分析。大数据背景大数据背景 定义定义5数据的分类数据的分类l结构化

3、数据：结构化数据：行数据行数据,存储在数据库里存储在数据库里,可以用二维表可以用二维表结构结构来逻辑来逻辑表达实现的表达实现的数据。数据。例如：二维表l半结构化数据：半结构化数据：自描述，数据结构和内容混杂在自描述，数据结构和内容混杂在一起一起的数据。的数据。例如：XML、HTML等。l非结构化数据：非结构化数据：除去以上两种类型除去以上两种类型例如：音视频、图片等。大数据背景大数据背景 定义定义62000200020002000年以后非结构化数据占绝大部分年以后非结构化数据占绝大部分年以后非结构化数据占绝大部分年以后非结构化数据占绝大部分大数据背景大数据背景 数据的来源数据的来源7从非结构化

4、数据到结构化数据从非结构化数据到结构化数据非非结结构构化数据化数据行行业业技技术术结结构化构化半半结结构构化数据化数据视频、音视频、音频识别技频识别技术等术等大数据背景大数据背景 数据的来源数据的来源8网页爬虫网页爬虫网页爬虫网页爬虫视频识别视频识别视频识别视频识别语音识别语音识别语音识别语音识别等等等等大数据背景大数据背景 数据的来源数据的来源9 传统关系数据库，如传统关系数据库，如传统关系数据库，如传统关系数据库，如：OracleOracle、MYSQLMYSQLl无法储存几亿行长，几百万行宽的表格，无法储存几亿行长，几百万行宽的表格，巨大的数据巨大的数据直接导致数据库崩溃直接导致数据库崩

5、溃l半半结构化数据和脏数据结构化数据和脏数据将会导致出错（类型不严格）将会导致出错（类型不严格）传统方法失效传统方法失效 ！如何解决？如何解决？大数据处理技术的解决办法：大数据处理技术的解决办法：大数据背景大数据背景 数据的来源数据的来源10某搜索引擎搜索日志某搜索引擎搜索日志大数据背景大数据背景 数据的来源数据的来源11 二、大数据处理实现技术二、大数据处理实现技术12大数据处理技术面对的大数据处理技术面对的第一个问题第一个问题 如何高效存储大规模文件？如何高效存储大规模文件？大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS13数据数据读取问

6、题读取问题1 T1 T100M/S100M/SOH NO!大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS2.5小时小时 14大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS15 分而治之分而治之大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS16.10G1分分30秒秒100M/S大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS10G10G10G10G17 可靠性问题可靠性问题 大数据处理实现技术

7、大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS大数据处理技术面对的大数据处理技术面对的第二个问题第二个问题99%*99%*99%*99%*99%=95%95%*95%*95%*95%*95%=76%18 备份备份 一份数据至少做三个备份一份数据至少做三个备份大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS1910G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10G10GMasterMasterMasterM

8、aster（主管）（主管）（主管）（主管）Secondary Secondary Secondary Secondary mastermastermastermaster（副主管）（副主管）（副主管）（副主管）ClientClientClientClient（用户程序）（用户程序）（用户程序）（用户程序）读取元数据读取元数据读取元数据读取元数据读取数据读取数据读取数据读取数据云（云（Cloud Cloud）MasterMasterMasterMaster作用：作用：作用：作用：l l储存元数据（数据位置信息）储存元数据（数据位置信息）储存元数据（数据位置信息）储存元数据（数据位置信息）l l储

9、存节点的日常维护储存节点的日常维护储存节点的日常维护储存节点的日常维护10G10G10G10G10G10G10G10G数据位置信息数据位置信息数据位置信息数据位置信息读取数据读取数据读取数据读取数据20Google File System架构架构大数据处理实现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS21大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce大数据处理技术面对的大数据处理技术面对的第三个问题第三个问题 数据运算问题数据运算问题22 分布式计算（并行计算）分布式计算（并行计算）大数据处理实

10、现技术大数据处理实现技术 分布式储存系统分布式储存系统GFS/HDFSGFS/HDFS23大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce24 MMapap函数：函数：函数：函数：接受接受接受接受一个键值对一个键值对一个键值对一个键值对（key-value pairkey-value pair），），），），产生产生产生产生一组中间键值对一组中间键值对一组中间键值对一组中间键值对。mapmap函数将中间键值对里键相同的值传递给函数将中间键值对里键相同的值传递给函数将中间键值对里键相同的值传递给函数将中间键值对里键相同的值传递给Reduce

11、Reduce函数。函数。函数。函数。R Reduceeduce函数：函数：函数：函数：接受接受接受接受一个键一个键一个键一个键，以及相关的，以及相关的，以及相关的，以及相关的一组值一组值一组值一组值，将这组值进行，将这组值进行，将这组值进行，将这组值进行合并合并合并合并产生产生产生产生一组一组一组一组规模更小的值规模更小的值规模更小的值规模更小的值（通常只有一个或零个值）（通常只有一个或零个值）（通常只有一个或零个值）（通常只有一个或零个值）大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce25 键（键（KeyKey）：）：l l键必须是唯

12、一的，而值并不一定是唯一的键必须是唯一的，而值并不一定是唯一的键必须是唯一的，而值并不一定是唯一的键必须是唯一的，而值并不一定是唯一的l l每个值必须与键关联，但键可以没有值每个值必须与键关联，但键可以没有值每个值必须与键关联，但键可以没有值每个值必须与键关联，但键可以没有值l l必须必须必须必须对键进行明确定义。他决定了计数是否区分大小写对键进行明确定义。他决定了计数是否区分大小写对键进行明确定义。他决定了计数是否区分大小写对键进行明确定义。他决定了计数是否区分大小写(键由键由键由键由HashHashHashHash值唯一确定值唯一确定值唯一确定值唯一确定)。键值对举例键值对举例键值对举例键

13、值对举例 ：l l通讯录中的姓名（通讯录中的姓名（通讯录中的姓名（通讯录中的姓名（KeyKeyKeyKey）和联系方式（）和联系方式（）和联系方式（）和联系方式（ValueValueValueValue）l l计算机中各种根据文件名（计算机中各种根据文件名（计算机中各种根据文件名（计算机中各种根据文件名（KeyKeyKeyKey）访问各类文件，如文本、图片（）访问各类文件，如文本、图片（）访问各类文件，如文本、图片（）访问各类文件，如文本、图片（ValueValueValueValue）l l年份（年份（年份（年份（KeyKeyKeyKey）温度（温度（温度（温度（valuevaluevalu

14、evalue）大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce26气象站气象数据的处理（找出最高气温）气象站气象数据的处理（找出最高气温）大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduceKeyKeyKeyKey（年份）（年份）（年份）（年份）ValueValueValueValue（温度）（温度）（温度）（温度）27大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce28Map/ReduceMap/Reduce特点特点l开发简单开发

15、简单 无需无需无需无需处理线程或提供精细的同步逻辑处理线程或提供精细的同步逻辑处理线程或提供精细的同步逻辑处理线程或提供精细的同步逻辑l规模规模大大 无需无需无需无需修改程序即可在任意规模机器上运行修改程序即可在任意规模机器上运行修改程序即可在任意规模机器上运行修改程序即可在任意规模机器上运行l工作具备自动并行和分发功能工作具备自动并行和分发功能 用户用户用户用户只需写好只需写好只需写好只需写好MapMap和和和和ReduceReduce函数即可函数即可函数即可函数即可l高高容错容错 失败失败失败失败任务在新节点任务在新节点任务在新节点任务在新节点上会重新上会重新上会重新上会重新运行运行运行运

16、行大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce29MapMap/ReduceReduce的局限的局限对迭代算法无能为力对迭代算法无能为力不是所有算法都能并行不是所有算法都能并行大数据处理实现技术大数据处理实现技术 分布式计算模型分布式计算模型 MapReduceMapReduce30 三、大数据开源软件三、大数据开源软件HadoopHadoop简介简介31谷歌技术开源实现谷歌技术开源实现开源实现开源实现大数据开源软件大数据开源软件HadoopHadoop简介简介32 20022002年年年年，Doug CuttingDoug Cutt

17、ing从做开源从做开源从做开源从做开源Apache NutchApache Nutch引擎开始引擎开始引擎开始引擎开始 20032003年年年年，DougDoug在在在在看到谷歌发表看到谷歌发表看到谷歌发表看到谷歌发表的的的的GFSGFS之后，开始开源实现之后，开始开源实现之后，开始开源实现之后，开始开源实现 NDFS(Nutch Distributed File System)。20042004年年年年,谷歌发表谷歌发表谷歌发表谷歌发表MapReduce，20052005年，年，年，年，NutchNutch开发人员开源实现开发人员开源实现开发人员开源实现开发人员开源实现MapReduce。2

18、0062006年，年，年，年，NutchNutch的的的的NDFS和和和和MapReduce移出移出移出移出NutchNutch项目，独立形成独立项目，命项目，独立形成独立项目，命项目，独立形成独立项目，命项目，独立形成独立项目，命名名名名。HadoopHadoop的得名（的得名（的得名（的得名（Doug Cutting Doug Cutting 的小孩给毛绒玩具象起的名字）的小孩给毛绒玩具象起的名字）的小孩给毛绒玩具象起的名字）的小孩给毛绒玩具象起的名字）20062006年，年，年，年，Doug CuttingDoug Cutting加入雅虎（聘请），雅虎开始资助加入雅虎（聘请），雅虎开始资

19、助加入雅虎（聘请），雅虎开始资助加入雅虎（聘请），雅虎开始资助HadoopHadoop发展。发展。发展。发展。20082008年，年，年，年，1 1月月月月HadoopHadoop成为成为成为成为ApacheApache顶级项目，顶级项目，顶级项目，顶级项目，2 2月，雅虎宣布，月，雅虎宣布，月，雅虎宣布，月，雅虎宣布，HadoopHadoop应用在自应用在自应用在自应用在自家搜素引擎中（其搜索引擎的索引建立在拥有家搜素引擎中（其搜索引擎的索引建立在拥有家搜素引擎中（其搜索引擎的索引建立在拥有家搜素引擎中（其搜索引擎的索引建立在拥有1 1万个内核的万个内核的万个内核的万个内核的HadoopHa

20、doop集群上），集群上），集群上），集群上），4 4月，月，月，月，HadoopHadoop在在在在900900个节点上运行个节点上运行个节点上运行个节点上运行1TB1TB排序测试仅需排序测试仅需排序测试仅需排序测试仅需209209秒，成为全球最快。秒，成为全球最快。秒，成为全球最快。秒，成为全球最快。大数据开源软件大数据开源软件HadoopHadoop简介简介33大数据开源软件大数据开源软件HadoopHadoop简介简介34安装安装HadoopHadoop 1.系统要求：系统要求：Linux(Ubuntu/CentOS/)2.java运行环境（安装运行环境（安装JDK）3.安装安装SSH

21、 4.安装安装Hadoop大数据开源软件大数据开源软件HadoopHadoop简介简介35大数据开源软件大数据开源软件HadoopHadoop简介简介 实例演示实例演示36 Hadoop云的实际操作373839大数据开源软件大数据开源软件HadoopHadoop简介简介 实例演示实例演示404142Wordcount JavaWordcount Java程序程序 mapmap部分部分 public class WordCount public static class Map extends MapReduceBase implements Mapper private final stati

22、c IntWritable one=new IntWritable(1);private Text word=new Text();public void mapmap(LongWritable key,Text value,OutputCollector output,Reporter reporter)throws IOException String line=value.toString();StringTokenizer tokenizer=new StringTokenizer(line);while(tokenizer.hasMoreTokens()word.set(tokeni

23、zer.nextToken();word.set(tokenizer.nextToken();output.collect(word,one);output.collect(word,one);/输出：输出：输出：输出：1 1 4344Wordcount JavaWordcount Java程序程序 reducereduce部分部分 public static class Reduce extends MapReduceBase implementspublic static class Reduce extends MapReduceBase implements Reducer Reduc

24、er public void public void reducereduce(Text key,Iterator values,(Text key,Iterator values,OutputCollector output,Reporter reporter)OutputCollector output,Reporter reporter)throws IOException throws IOException int sum=0;int sum=0;while(values.hasNext()while(values.hasNext()sum+=values.next().get();

25、sum+=values.next().get();/累加统频累加统频累加统频累加统频 output.collect(key,new IntWritable(sum);output.collect(key,new IntWritable(sum);453.3.运行运行wordcountwordcount程序程序 java jar java jar包包 命令命令:hadoop jar jar:hadoop jar 4647HadoopHadoop的优势的优势l廉价廉价 计算节点和储存节点普通机器即可计算节点和储存节点普通机器即可l可可伸缩性好伸缩性好 通过增加节点即扩展通过增加节点即扩展l容错性好

26、容错性好 副本机制副本机制l可编程可编程 Map/Reduce框架框架l适合一次写入多次读取（适合一次写入多次读取（HDFS）大数据开源软件大数据开源软件HadoopHadoop简介简介48Hadoop 生态系统生态系统49各组件简介各组件简介 Hive：为程序员提供类SQL语句编写，底层将HiveQL（Hive-SQL）转换为MapReduce编译运行 Pig：提供给用户使用的脚本语言，简化MapReduce代码编写 Hbase：低延时、分布式的非关系型数据库 ZooKeeper：分布式协同工作系统 Hcatalog:向Hadoop应用（Hive/Pig）共享元数据大数据开源软件大数据开源软件HadoopHadoop简介简介50大数据开源软件大数据开源软件HadoopHadoop简介简介51谢谢大家谢谢大家敬请批评指正敬请批评指正52