Google云计算应用场景分析..ppt
《Google云计算应用场景分析..ppt》由会员分享,可在线阅读,更多相关《Google云计算应用场景分析..ppt(39页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、主要内容 Google云计算技术框架 应用场景分析1:Google网站流量分析 应用场景分析2:Google搜索Google云计算的技术架构 Google的云计算应用均依赖于四个基础组件 分布式文件存储,GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTableGoogle云计算的技术架构 组件调用关系分析Google云计算的技术架构 Chubby的作用 为GFS提供锁服务,选择Master节点;记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务,记录子表元信息(如子表文件信息、子表分配信息、子表服
2、务器信息) (可能)记录MapReduce的任务信息 为第三方提供锁服务与文件存储Google云计算的技术架构 GFS的作用 存储BigTable的子表文件 为第三方应用提供大尺寸文件存储功能 文件读操作流程 API与Master通信,获取文件元信息 根据指定的读取位置和读取长度,API发起并发操作,分别从若干ChunkServer上读取数据 API组装所得数据,返回结果Google云计算的技术架构 BigTable的作用 为Google云计算应用(或第三方应用)提供数据结构化存储功能 类似于数据库 为应用提供简单数据查询功能(不支持联合查询) 为MapReduce提供数据源或数据结果存储Go
3、ogle云计算的技术架构 BigTable的存储与服务请求的响应 划分为子表存储,每个子表对应一个子表文件,子表文件存储于GFS之上 BigTable通过元数据组织子表 每个子表都被分配给一个子表服务器 一个子表服务器可同时分配多个子表 子表服务器负责对外提供服务,响应查询请求Tablet 1: , rootbigtabletablet1,Tablet 2: , rootbigtabletablet2,Tablet 3: , rootbigtabletablet3,Tablet 4: , rootbigtabletablet4,Google云计算的技术架构 MapReduce的作用 对BigT
4、able中的数据进行并行计算处理(如统计、归类等) 使用BigTable或GFS存储计算结果应用场景分析1Google网站流量分析 Google Analytics 免费的企业级网络分析解决方案 帮助企业了解网站流量和营销效果 能以灵活的方式(各类报表)查看并分析流量数据应用场景分析1Google网站流量分析应用场景分析1Google网站流量分析 基本功能 统计网站的基本数据,包括会话、综合浏览量、点击量和字节流量等等 分析网站页面关注度,帮助企业调整或增删页面 分析用户浏览路径,优化页面布局 分析用户访问来源链接,提高广告投资回报 分析用户访问环境(如OS和Explorer),帮助美化页面应
5、用场景分析1Google网站流量分析 应用的特征 海量数据 需要存储海量的用户行为数据(如点击时间、位置等) 海量用户 需要为任意多的网站提供流量分析 技术路线 使用BigTable存储和检索数据,使用MapReduce统计数据应用场景分析1Google网站流量分析 BigTable中的表设计 原始点击数据表 行键:点击时间 列键:网站URL、网站名称、用户IP地址、来源URL、目标URL 目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1Google网站流量分析 BigTable中的表设
6、计 统计数据表 行键:网站URL(倒排) 列键:点击次数(如记录最近一个月每日的访问次数等)、页面关注度(如记录网站页面的访问比率)、来源网站(如记录TOP10)、目标网站(如记录TOP10) 每个列中记录的内容是字符串,Analytics在查询后需要解析字符串获得统计结果 可根据统计内容的增多增加新的列 目前尺寸约20TB应用场景分析1Google网站流量分析 业务流程分析原始点击数据表统计数据表应用场景分析1Google网站流量分析 基础设施应用服务器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群应用场景分析1Google网站流量分析 数据
7、采集 数据来源 页面内嵌脚本 点击行为脚本 应用服务器获取到数据后,存入BigTable应用场景分析1Google网站流量分析 数据采集 数据存储流程向BigTable中写入点击信息寻找子表服务器向内存临时子表写入信息(含排序)如超过阈值则存储为子表文件GFS:存储子表文件子表合并、压缩应用场景分析1Google网站流量分析 数据处理 例如,统计网站(如)过去一周网页访问比例 数据处理流程数据查询MapReduce操作数据存储点击数据表统计数据表GFS应用场景分析1Google网站流量分析 数据处理:MapReduce Map操作 假设过去一周查询结果文件在GFS中包含M个Chunk,那么Ma
8、ster寻找M个空闲的Worker,分别处理这M个Chunk,得到每个网站中页面的访问次数com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析 数据处理:MapReduce 自动排序 对M个中间结果进行排序com.xxx, com.yyy, com.zzz, com.yyy, com.xxx, com.zzz, com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz, 应用场景分析1Google网站流量分析 数据处理:MapReduce Reduce操作 假设得到该网站含N个网站,那么可以分配N台Work
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Google 计算 应用 场景 分析
限制150内