Google云计算应用场景分析.ppt
云计算n云计算概念nGoogle云计算n并行数据处理模型MapReducen分布式锁服务Chubbyn分布式数据表BigTablenGoogle App EnginenGoogle云计算应用场景分析Google云计算应用场景分析nGoogle云计算技术框架n应用场景分析1：Google网站流量分析n应用场景分析2：Google搜索nGoogle的云计算应用均依赖于四个基础组件n分布式文件存储，GFSn并行数据处理模型MapReducen分布式锁Chubbyn结构化数据表BigTableGoogle云计算的技术架构Google云计算的技术架构n组件调用关系分析nChubby的作用n为GFS提供锁服务，选择Master节点；记录Master的相关描述信息n通过独占锁记录Chunk Server的活跃情况n为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息）n（可能）记录MapReduce的任务信息n为第三方提供锁服务与文件存储Google云计算的技术架构nGFS的作用n存储BigTable的子表文件n为第三方应用提供大尺寸文件存储功能n文件读操作流程nAPI与Master通信，获取文件元信息n根据指定的读取位置和读取长度，API发起并发操作，分别从若干ChunkServer上读取数据nAPI组装所得数据，返回结果Google云计算的技术架构nBigTable的作用n为Google云计算应用（或第三方应用）提供数据结构化存储功能n类似于数据库n为应用提供简单数据查询功能（不支持联合查询）n为MapReduce提供数据源或数据结果存储Google云计算的技术架构nBigTable的存储与服务请求的响应n划分为子表存储，每个子表对应一个子表文件，子表文件存储于GFS之上nBigTable通过元数据组织子表n每个子表都被分配给一个子表服务器n一个子表服务器可同时分配多个子表n子表服务器负责对外提供服务，响应查询请求Tablet 1: , rootbigtabletablet1,Tablet 2: , rootbigtabletablet2,Tablet 3: , rootbigtabletablet3,Tablet 4: , rootbigtabletablet4,Google云计算的技术架构nMapReduce的作用n对BigTable中的数据进行并行计算处理（如统计、归类等）n使用BigTable或GFS存储计算结果Google云计算的技术架构应用场景分析1Google网站流量分析nGoogle Analyticsn免费的企业级网络分析解决方案n帮助企业了解网站流量和营销效果n能以灵活的方式（各类报表）查看并分析流量数据应用场景分析1Google网站流量分析n基本功能n统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等n分析网站页面关注度，帮助企业调整或增删页面n分析用户浏览路径，优化页面布局n分析用户访问来源链接，提高广告投资回报n分析用户访问环境（如OS和Explorer），帮助美化页面应用场景分析1Google网站流量分析n应用的特征n海量数据n需要存储海量的用户行为数据（如点击时间、位置等）n海量用户n需要为任意多的网站提供流量分析n技术路线n使用BigTable存储和检索数据，使用MapReduce统计数据应用场景分析1Google网站流量分析nBigTable中的表设计n原始点击数据表n行键：点击时间n列键：网站URL、网站名称、用户IP地址、来源URL、目标URLn目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1Google网站流量分析nBigTable中的表设计n统计数据表n行键：网站URL（倒排）n列键：点击次数（如记录最近一个月每日的访问次数等）、页面关注度（如记录网站页面的访问比率）、来源网站（如记录TOP10）、目标网站（如记录TOP10）n每个列中记录的内容是字符串，Analytics在查询后需要解析字符串获得统计结果n可根据统计内容的增多增加新的列n目前尺寸约20TB应用场景分析1Google网站流量分析n业务流程分析原始点击数据表统计数据表应用场景分析1Google网站流量分析n基础设施应用服务器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群应用场景分析1Google网站流量分析n数据采集n数据来源n页面内嵌脚本n点击行为脚本n应用服务器获取到数据后，存入BigTable应用场景分析1Google网站流量分析n数据采集n数据存储流程向BigTable中写入点击信息寻找子表服务器向内存临时子表写入信息（含排序）如超过阈值则存储为子表文件GFS：存储子表文件子表合并、压缩应用场景分析1Google网站流量分析n数据处理n例如，统计网站(如)过去一周网页访问比例n数据处理流程数据查询MapReduce操作数据存储点击数据表统计数据表GFS应用场景分析1Google网站流量分析n数据处理：MapReducenMap操作n假设过去一周查询结果文件在GFS中包含M个Chunk，那么Master寻找M个空闲的Worker，分别处理这M个Chunk，得到每个网站中页面的访问次数com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析n数据处理：MapReducen自动排序n对M个中间结果进行排序com.xxx, com.yyy, com.zzz, com.yyy, com.xxx, com.zzz, com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz, 应用场景分析1Google网站流量分析n数据处理：MapReducenReduce操作n假设得到该网站含N个网站，那么可以分配N台Worker分别处理单个网站的数据com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz, com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析n数据处理n写入数据n应用程序将分析结果写入统计数据表com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析n数据查询n从数据统计表中查询行n获取对应列的数据，解析，得到并展示最终结果n数据处理是定期的，非实时响应查询应用场景分析1Google网站流量分析应用场景分析2Google搜索nGoogle搜索的总体业务流程n数据采集: Spidern数据整理n生成各类子表，如音乐表、生活搜索表、学术搜索表等n压缩数据表，清洗失效数据n数据检索n数据采集n通过若干Spider在网络上搜集数据n使用BigTable存储数据n行键：倒排的URLn列键：网站名称、语言、HTML描述、图片、链接n时间戳：记录不同时刻的网页快照应用场景分析2Google搜索n数据采集nSpider可能的数据处理流程Spider获取到网页数据从Chubby的元数据中找到该URL所处的子表从子表服务器中寻找对应的行如果该行不存在，则插入新的行读取网页内容列，比较新旧数据增加时间戳，标识新数据若当前时间戳超过指定数目，删除最旧内容处理完毕存在对应行对应行键不存在数据未变化数据发生变化应用场景分析2Google搜索n数据整理nGoogle搜索包括多个子类n生活搜索：租房、车票、酒店等n资讯搜索：热门新闻、分类新闻等n学术搜索：学术论文n定期计算网站评价数据n例如PageRank的计算具有统一的数据来源使用不同的表存储数据可能使用MapReduce定期刷新数据应用场景分析2Google搜索n数据整理（Google学术搜索）应用场景分析2Google搜索n数据整理（Google学术搜索）n数据抽取n寻找包含学术（论文）信息的网页数据，并结构化存储n学术（论文）信息抽取（分析参考文献、摘要等）n可能的技术方案：MapReduce+BigTablen数据统计n基于抽取的数据进行统计分析（如分析被引用次数等）n可能的技术方案MapReduce+BigTablen学术信息BigTablen行键：论文标题n列键：作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接应用场景分析2Google搜索n数据整理（Google学术搜索）n如何使用MapReduce抽取数据？生成抽取目标（URL）文件将目标文件分割为M块寻找M个Worker分别做Map处理查询网站的网页数据是否包含论文描述信息抽取论文描述信息，输出按论文标题将输出排序将论文描述信息存入BigTable寻找若干Worker做Reduce处理应用场景分析2Google搜索n数据整理（Google学术搜索）n如何获取论文统计数据（如论文引用次数）n分析论文信息表，二次MapReduce论文A, 参考文献: 论文B, 论文C, 论文D论文B, 参考文献: 论文Q, 论文C, 论文A论文C, 参考文献: 论文D, 论文H, 论文A论文F, 参考文献: 论文A, 论文C论文E, 参考文献: 论文S, 论文A, 论文D论文S, 参考文献: 论文E, 论文F 应用场景分析2Google搜索n数据整理（Google学术搜索）n如何获取论文统计数据（如论文引用次数）n归纳排序 应用场景分析2Google搜索n数据整理（Google学术搜索）n如何获取论文统计数据（如论文引用次数）nReduce操作应用场景分析2Google搜索n数据检索n有可能采用MapReduce实现n关键词搜索可能的处理流程子表是否有Content列是否包含关键词关键词语义分析任务划分（子表+新关键词）输出到临时结果表获取行数据中Content项处理完成分配Worker结果输出MapReduce应用场景分析2Google搜索n数据检索n搜索结果可能通过临时表存储n每个关键词对应一个临时子表n检索系统根据输入枚举现存检索结果的相似关键词n如果临时子表中存在检索结果，直接输出n应该存在机制刷新临时子表应用场景分析2Google搜索END
