云计算之分布式计算.pptx

《云计算之分布式计算.pptx》由会员分享，可在线阅读，更多相关《云计算之分布式计算.pptx（74页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中文标题字体:黑体字号：35-47pt色彩：主题蓝色中文副标题字体：华文细黑字号：24-28pt色彩：反白秘密 Proprietary Confidential云计算之分布式计算秘密 Proprietary Confidential中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：白色内容背景分布式计算p批量计算(非实时计算)p实时计算技术趋势秘密 Proprietary Confidential中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：白色内容背景分布式计算p批量计算(非实时计算)p实时计

2、算技术趋势秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色大数据时代移动互联网时代p物联网p互联网p移动互联网信息时代p早期：Googlep现在：Facebookp未来：？秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-

3、5级)字体：华文细黑字号：18pt色彩：黑色大数据时代2009年加州大学研究报告多少信息？p34GB：2008年每个美国人每天平均信息消费p12TB：2008年每个美国人平均年信息消费总量p3.6ZB：2008年美国人年信息消费总量秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色大数据时代2011年IDC研究报告 Extracting Value from Chaos p1.8ZB：2

4、011年全球被创建和被复制的数据总量p50%：数据年增长率p2年：数据量翻番秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色大数据时代2012年纽约时报称“大数据时代”已经降临，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉。这不是简单的数据增多的问题，而是全新的问题。秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标

5、题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色分布式环境秘密 Proprietary Confidential中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：白色内容背景分布式计算p批量计算(非实时计算)p实时计算技术趋势秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)

6、字体：华文细黑字号：18pt色彩：黑色Google批量处理pMapReduce：海量数据离线计算框架pPregel：迭代计算框架增量处理（准实时计算）pPercolator：数据增量更新系统pDremel：数据分析系统pTenzing：SQL查询引擎秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Google&ApacheGoogleApache文件系统GFSHDFS分布式数据库Big

7、TableHBase批量计算框架MapReduceMapReduce迭代计算框架PregelHamaSQL查询引擎TenzingHive秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Google&Apache 数据管理：BigTable/HBase数据存储：GFS/HDFS 计算框架：MapReduce/Pregel/Hama查询引擎：Tenzing/Hive 秘密 Propriet

8、ary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色离线计算Google数据：PB量级应用：数以百计p爬虫文档pWeb日志p倒排索引问题p计算并行p数据分发p错误处理秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18p

9、t色彩：黑色离线计算Google2003年Google提出MapReduce批量计算框架p抽象模型MapReducep用户只需要考虑如何对数据进行逻辑处理，而不需要考虑以下细节：并行化容错数据分布负载均衡秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色MapReduce工作流程MasterSlaveSlaveSlave昨天昨天小雨转多云今天今天多云转阵雨明天明天小雨转中雨统计天气预报中

10、每个字出现的次数秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色MapReduce工作流程MasterSlaveSlaveSlave昨天昨天小雨转多云今天今天多云转阵雨明天明天小雨转中雨处理昨天的处理今天的处理明天的小 1雨 1转 1多 1云 1多 1云 1转 1阵 1雨 1小 1雨 2转 1中 1Map计算秘密 Proprietary ConfidentialTheme1Theme2

11、Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色MapReduce工作流程MasterSlaveSlaveSlave统计“小”“中”“多”统计“雨”“云”统计“转”“阵”小 1雨 1转 1多 1云 1多 1云 1转 1阵 1雨 1小 1雨 2转 1中 1Reduce计算划分秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22p

12、t色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色MapReduce工作流程MasterSlaveSlaveSlave小 1中 1小 1多 1雨 1云 1转 1转 1阵 1云 1雨 1转 1雨 2多 1小 1中 1多 1雨 1云 1雨 2转 1转 1阵 1Reduce数据传输秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色MapReduce工作流程MasterSlav

13、eSlaveSlave小 1，1多 1，1中 1云 1，1雨 1，1，2转 1，1，1阵 1小 2多 2中 1云 2雨 4转 3阵 1统计任务完成统计任务完成统计任务完成任务完成Reduce计算秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色并行定理Amdahls Law:对于工作量为1的问题，若子问题的最大工作量为f，那么并行加速比不超过1/f。洗开水壶(1分钟)烧开水(15分钟)拿

14、茶叶(2分钟)洗茶壶(3分钟)洗茶杯(2分钟)泡茶(2分钟)秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色并行定理Amdahls Law:对于工作量为1的问题，若子问题的最大工作量为f，那么并行加速比不超过1/f。洗开水壶(1分钟)烧开水(15分钟)拿茶叶(2分钟)洗茶壶(3分钟)洗茶杯(2分钟)泡茶(2分钟)1+15+2=18分钟秘密 Proprietary Confidentia

15、lTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色并行定理Gustafsons Law:解决问题的时间是存在界限的，但是在这个时间内可以通过增加处理单元处理多个同类问题，加速比与处理器数目近似线性关系.秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号

16、：18pt色彩：黑色技术分析Perfect：搜索类80%的计算缺点：处理有向图模型的算法效率很低p有向无环图p迭代模型执行1执行2执行4执行3秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色迭代计算Google迭代计算pPageRank计算p图遍历p最短路径秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30

17、-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色迭代计算Google2010年Google推出Pregel迭代计算框架pBSP模型显示同步模型SuperStep计算与通讯分离秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程6Node13Node29Node31Node45Node56N

18、ode64Node7秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterSlaveSlaveSlave选取图中权值最大的节点作leader秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)

19、字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterSlaveSlaveSlave处理Node1，2，3处理Node4，5处理Node6，7Node1：6（4，5，7）Node2：3（3，6）Node3：9（2，4）Node4：1（1，3，5）Node5：5（1，4，6，7）Node6：6（2，5）Node7：4（1，5）6N13 N29N31N45N56N64N7Step0：计算秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩

20、：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：3（3，6）Node3：9（2，4）6N13 N29N31N45N56N64N7Step0：通信Node4：6,9Node5：6Node2：9Node3：3Node6：3Node7：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程M

21、asterNode4：1（1，3，5）Node5：5（1，4，6，7）6N13 N29N31N45N56N64N7Step0：通信Node1：1，5Node3：1Node4：5Node5：1Node6：5Node7：5秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode6：6（2，5）Node7：4（1，5）6N13 N29N31N45N56N64N

22、7Step0：通信Node5：4，6Node1：4Node2：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：3（3，6）Node3：9（2，4）Node4：1（1，3，5）Node5：5（1，4，6，7）Node6：6（2，5）Node7：4（1，5）6N13 N29N31N45N56N64N7Step1：计算

23、Node1：1，4，5Node2：6，9Node3：1，3Node4：5，6，9Node5：1，4，6，6Node6：3，5Node7：5，6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：6（1，4，6，7）Node6：6（2，5）Nod

24、e7：6（1，5）6N13 N29N31N45N56N64N7Step1：计算Node1：1，4，5Node2：6，9Node3：1，3Node4：5，6，9Node5：1，4，6，6Node6：3，5Node7：5，6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：

25、9（1，3，5）Node5：6（1，4，6，7）Node6：6（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step1：通信Node3：9Node6：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：6（1，

26、4，6，7）Node6：6（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step1：通信Node1：9，6Node3：9Node4：6Node5：9Node6：6Node7：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，

27、5）Node5：6（1，4，6，7）Node6：6（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step1：通信Node5：6Node1：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：6（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：6（1，4，6，7）

28、Node6：6（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step2：计算Node1：6，6，9Node3：9，9Node4：6Node5：6，9Node6：6，9Node7：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，

29、3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step2：计算Node1：6，6，9Node3：9，9Node4：6Node5：6，9Node6：6，9Node7：6秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）No

30、de3：9（2，4）Node4：9（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step2：通信Node7：9Node4：9Node5：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）N

31、ode4：9（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step2：通信Node1：9Node4：9Node6：9Node7：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4

32、：9（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step2：通信Node5：9Node2：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：9（1

33、，4，6，7）Node6：9（2，5）Node7：6（1，5）6N13 N29N31N45N56N64N7Step3：计算Node1：9Node2：9Node4：9，9Node5：9，9Node6：9Node7：9，9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9

34、（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：9（1，5）6N13 N29N31N45N56N64N7Step3：计算Node1：9Node2：9Node4：9，9Node5：9，9Node6：9Node7：9，9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Nod

35、e3：9（2，4）Node4：9（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：9（1，5）6N13 N29N31N45N56N64N7Step3：通信Node5：9Node1：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1

36、，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：9（1，5）6N13 N29N31N45N56N64N7Step4：计算Node5：9Node1：9秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：9（1，4，6

37、，7）Node6：9（2，5）Node7：9（1，5）6N13 N29N31N45N56N64N7Step4：通信秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Pregel工作流程MasterNode1：9（4，5，7）Node2：9（3，6）Node3：9（2，4）Node4：9（1，3，5）Node5：9（1，4，6，7）Node6：9（2，5）Node7：9（1，5）计算结束任

38、务完成秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色技术分析算法的有向无环图（DAG）模型T1T2T3T4T5T6T1.a1=T2.b1T3.c1=T4.d1T7T5.e1=T6.f1秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑

39、色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色微软DryadDryad：DAG模型计算平台p2009年公布学术版p2010年公测p2011年放弃，转投Hadoop秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Dryad工作流程MasterSlaveSlaveSlave（T1 join T2）join（T3 join T4）秘密 Proprietary Confidenti

40、alTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Dryad工作流程MasterSlaveSlaveSlave处理T1 join T2处理T1 join T2处理T3 join T4数据传输数据传输秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：

41、18pt色彩：黑色Dryad工作流程MasterSlaveSlaveSlave处理T5 join T6处理T5 join T6处理T5 join T6数据传输数据传输秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Dryad工作流程MasterSlaveSlaveSlave任务完成秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文

42、标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色总结3类模型p简单模型：MapReducep迭代模型：PregelpDAG模型：Dryad秘密 Proprietary Confidential中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：白色内容背景分布式计算p批量计算(非实时计算)p实时计算技术趋势秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt

43、色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色GoogleTenzingSQL查询引擎：借鉴于Hivep反应时间：秒p编译：MR执行计划p优化：MR框架p工作过程：同MR数据管理：BigTable/HBase数据存储：GFS/HDFS 计算框架：MapReduce/Pregel/Hama查询引擎：Tenzing/Hive 秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑

44、色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色FaceBookStorm实时计算系统p分布式的p容错编程模型：DAG模型（topology）p点：boltp边：stream秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterSlaveSlaveSlave书籍推荐topology秘密 Proprietary ConfidentialTheme1The

45、me2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程Master解析用户行为bolt1处理用户行为bolt2处理用户行为bolt3秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bo

46、lt2书籍购买处理Bolt3异常行为处理输入发生书籍购买发生异常行为输出秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt2书籍购买处理Bolt3异常行为处理A买了一本C+编程入门秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色

47、中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt2书籍购买处理Bolt3异常行为处理C+编程入门秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt3异常行为处理Bolt2找到跟C+编程入门相关的书籍C+编程实

48、例秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt2书籍购买处理Bolt3异常行为处理C+编程实例秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华

49、文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt2书籍购买处理Bolt3异常行为处理A又买了一本C+编程入门秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色Storm工作流程MasterBolt1用户行为解析Bolt2书籍购买处理Bolt3异常行为处理是不是买错了?秘密 Proprietary ConfidentialTheme1Theme2T

50、heme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色YahooS4P2P实时计算系统p分布式的编程模型：DAG模型p点：PEp边：XML配置文件秘密 Proprietary ConfidentialTheme1Theme2Theme3Theme4中文标题字体:黑体字号：30-32pt色彩：蓝色中文副标题字体：华文细黑字号：20-22pt色彩：黑色子目录(2-5级)字体：华文细黑字号：18pt色彩：黑色S4工作流程解析用户行为bolt1处理用户行为bolt2处理用户行为