oracle数据仓库用户案例.ppt
《oracle数据仓库用户案例.ppt》由会员分享,可在线阅读,更多相关《oracle数据仓库用户案例.ppt(65页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、北京甲骨文软件有限公司北京甲骨文软件有限公司北京甲骨文软件有限公司北京甲骨文软件有限公司赵赵赵赵 挥挥挥挥20232023年年年年1 1月月月月2828日日日日OracleOracle数据中心用户案例介绍数据中心用户案例介绍0内容内容q法国电信法国电信q新西兰电信新西兰电信1法国电信数据仓库法国电信数据仓库2法国电信法国电信(France Telecom)q欧洲第三大欧洲第三大电电信运信运营营商,商,2000年年营营业额为业额为337亿亿欧元欧元q在五大洲在五大洲220个国家和地区个国家和地区拥拥有有9100多万客多万客户户q下属下属Orange是第二大移是第二大移动动运运营营商商3实际的数据
2、仓库案例实际的数据仓库案例http:/Winter VLDB Survey 14 Sep 2005Largest Database Size,Decision Support41.Sears Teradata4.632.HCIA Informix 4.503.Wal-Mart Teradata 4.424.Tele Danmark DB2 2.845.CitiCorp DB2 2.476.MCI Informix 1.887.NDC Health Oracle 1.858.Sprint Teradata 1.309.Ford Oracle 1.2010.Acxiom Oracle 1.13SB
3、CTeradata10.50 First UnionInformix 4.50 Dialog Proprietary 4.25Telecom ItaliaDB2 3.71 FedEx Teradata 3.70Office DepotTeradata 3.08AT&T Teradata 2.83SK C&C Oracle 2.54NetZero Oracle 2.47Telecom ItaliaInformix 2.322001 Survey1998 SurveyFrance Telecom Oracle29.23AT&T Daytona26.27 SBC Teradata24.81Anony
4、mousDB216.19 A Oracle13.00Kmart Teradata12.59Claria Oracle 12.10HIRA Sybase IQ11.94FedExTeradata9.98VodafoneTeradata9.912003 Survey法国电信:法国电信:世界上最大的数据仓库世界上最大的数据仓库Winter 2003 VLDB SurveyLargest Database Size,Decision Support5数据仓库项目建设目标数据仓库项目建设目标建立统一的数据信息平台,实现建立统一的数据信息平台,实现客户资料和生产数据的集中存储。利客户资料和生产数据的集中存
5、储。利用先进的数据仓库技术和决策分析技用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有术为市场营销和客户服务工作提供有效的支撑:效的支撑:流失分析流失分析欺诈分析欺诈分析客户发展分析客户发展分析客户关系管理客户关系管理6目前系统规模目前系统规模q包含包含12个月的个月的话单话单q数据数据库库容量容量为为65TB,其中原始数据,其中原始数据为为25TBq最大的表包含最大的表包含1800亿话单亿话单7项目面临的技术挑战项目面临的技术挑战q数据存数据存储储系系统统要求存要求存储储1218个月个月的的 详单详单数据数据q数据装数据装载载按小按小时时装装载详单载详单数据,要求每天在数据,
6、要求每天在8小小时时内装内装载载5亿亿条条详单详单高峰高峰时时一个小一个小时时装装载载6500万条万条详单详单在在8小小时时内同内同时时完成完成1亿亿7000万个万个汇总汇总操作操作q数据数据访问访问支持支持680个个并并发发用用户户,支持,支持8000 个系个系统统用用户户95%的的预预定定义查询义查询操作在操作在5秒秒钟钟内完成内完成每秒每秒钟钟23个个查询查询操作操作8法国电信选择数据仓库平台的考虑法国电信选择数据仓库平台的考虑q强大的强大的ETL支持能力支持能力支持支持按小时的数据装载按小时的数据装载q高效的数据访问高效的数据访问硬件的支持:多硬件的支持:多CPU、大内存、并行处理大内
7、存、并行处理分区技术分区技术索引技术索引技术数据库内置的分析能力数据库内置的分析能力q高可用性高可用性7 x 24不间断运行不间断运行q软软件的成熟性件的成熟性TB级级数据数据仓库仓库用用户户案例案例9 数据仓库数据仓库数据缓冲池和操作数据存储数据缓冲池和操作数据存储汇总计算汇总计算计算 更新生产数据采集和预处理生产数据采集和预处理预处理转换导出新数据数据仓库数据仓库系统管理系统管理数据仓库数据仓库功能管理功能管理系统管理员系统管理员系统管理员系统管理员操作员操作员操作员操作员错误数据处理错误数据处理刷新数据集市刷新数据集市数据集市数据集市 1 客户资料客户资料客户资料客户资料客户资料接收和准
8、备客户资料接收和准备质量检查转换生产系统生产系统生产系统生产系统数据集市数据集市 2 中央数据存储中央数据存储普通用户普通用户普通用户普通用户预处理应用预处理应用其它其它界面界面WEB界面界面高级用户高级用户高级用户高级用户即席查询应用即席查询应用应用平台应用平台系统的逻辑结构系统的逻辑结构10系统中使用的系统中使用的Oracle关键技术关键技术混合分区混合分区.2:002:00地区地区地区地区-1-11:001:00地区地区地区地区-1-100-00-FebFeb地区地区地区地区-1-100-00-JanJan地区地区地区地区-1-100-00-MarMar地区地区地区地区-1-1.地区地区
9、地区地区-2-2地区地区地区地区-2-2地区地区地区地区-2-2地区地区地区地区-2-2地区地区地区地区-2-2范围范围(时间时间)地区地区地区地区-3-3地区地区地区地区-3-3地区地区地区地区-3-3地区地区地区地区-3-3地区地区地区地区-3-3哈希哈希(地区地区)11混合分区的设计混合分区的设计q按地区建立列表分区按地区建立列表分区q按按时间时间建立范建立范围围分区分区一天以上的一天以上的话单话单数据按天建立数据按天建立365分区分区一天以内的一天以内的话单话单按小按小时时建立分区建立分区12select sum(sales_amount)from sales where sales_
10、date between to_date(01-MAR-1999,DD-MON-YYYY)and to_date(31-MAY-1999,DD-MON-YYYY);利用分区忽略提高大表的查询性能利用分区忽略提高大表的查询性能分区忽略分区忽略:只有相关分区被访问只有相关分区被访问99-May99-Apr99-Feb99-Jan99-Mar99-JunSales系统测试结果系统测试结果q数据数据访问访问:每秒每秒钟钟23到到100个并个并发查询发查询操作操作95%的的查询查询在在1秒秒钟钟内完成内完成14系统中使用的系统中使用的Oracle关键技术关键技术可传输的表空间可传输的表空间业务系统业务系
11、统数据仓库数据仓库MarFebJanMar Febq操作系操作系统统文件的直接复制文件的直接复制q不需要数据的不需要数据的导导入入/导导出出实现按小时的数据加载15OLTPData Warehouse Data Marts ArchivesInformationdistributionStaging可传输表空间在数据仓库中的使用可传输表空间在数据仓库中的使用举例举例利用可传输的表空间和利用可传输的表空间和分区技术实现快速数据分区技术实现快速数据装载装载17详单数据的导出详单数据的导出1.把需要把需要传输传输的数据放在的数据放在单单独的表空独的表空间间CREATE TABLE temp_CREA
12、TE TABLE temp_janjan_sales _sales NOLOGGING TABLESPACE NOLOGGING TABLESPACE ts ts_temp_sales _temp_sales AS SELECT*FROM sales AS SELECT*FROM sales WHERE time_id BETWEEN 31-DEC-1999 AND 01-FEB-2000;WHERE time_id BETWEEN 31-DEC-1999 AND 01-FEB-2000;2.导导出数据字典出数据字典EXP TRANSPORT_TABLESPACE=y EXP TRANSPOR
13、T_TABLESPACE=y TABLESPACES=TABLESPACES=ts ts_temp_sales _temp_sales FILE=FILE=janjan_sales._sales.dmpdmp 3.复制复制数据文件和数据字典到数据数据文件和数据字典到数据仓库仓库服服务务器器18详单数据的导入详单数据的导入4.导导入数据字典入数据字典IMP TRANSPORT_TABLESPACE=y IMP TRANSPORT_TABLESPACE=y DATAFILES=/db/DATAFILES=/db/tempjantempjan.f.f TABLESPACES=TABLESPACES=
14、ts ts_temp_sales FILE=_temp_sales FILE=janjan_sales._sales.dmp dmp 5.通通过过分区交分区交换换,将新数据加入目,将新数据加入目标标表表1.1.ALTER TABLE sales ALTER TABLE sales ADD PARTITION sales_00jan ADD PARTITION sales_00jan VALUES LESS THAN(TO_DATE(01-VALUES LESS THAN(TO_DATE(01-febfeb-2000,-2000,dddd-monmon-yyyyyyyy););2.ALTER T
15、ABLE sales 2.ALTER TABLE sales EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_ EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_jan jan INCLUDING INDEXES WITH VALIDATION;INCLUDING INDEXES WITH VALIDATION;19系统测试结果:数据装载系统测试结果:数据装载q数据装数据装载载:装:装载载包含包含5000万条万条详单详单的一个分区和的一个分区和2个个索引的一个表空索引的一个表空间间
16、文件文件传输传输:4 50数据数据导导入到入到Oracle数据数据仓库仓库:瞬瞬时时创建索引:创建索引:750”预计算及其它运算:预计算及其它运算:14合计:合计:3226”20物化视图提高汇总数据的访问性能物化视图提高汇总数据的访问性能按通话类型汇总的按通话类型汇总的按通话类型汇总的按通话类型汇总的每月通话时长每月通话时长每月通话时长每月通话时长按月汇总的按月汇总的按月汇总的按月汇总的不同种类通话不同种类通话不同种类通话不同种类通话时长数据时长数据时长数据时长数据按地区汇总的按地区汇总的按地区汇总的按地区汇总的每月通话时长每月通话时长每月通话时长每月通话时长查询查询详细详细详细详细话单话单话
17、单话单查询查询自动重写自动重写法国法国法国法国和意大和意大和意大和意大利的用户在利的用户在利的用户在利的用户在过去三个月过去三个月过去三个月过去三个月的漫游通话的漫游通话的漫游通话的漫游通话总时长是多总时长是多总时长是多总时长是多少?少?少?少?21使用使用Oracle内置的内置的SQL分析函数分析函数q汇总汇总 ROLLUP&CUBEq抽抽样样 Samplingq排名排名 Rank-rank,percentile,ntile,top,bottomq滑滑动动窗口窗口 Moving Window-avg,sum,min,max,count,variance,stddev,firstvalueq同
18、比同比 Period-over-period comparisonsq时间序列时间序列Lagq报表函数报表函数sum,avg,min,max,variance,stddev,count,ratiotoreportq统计函数统计函数covariance,correlation,linear regression22TimekeySales Sales_last_year Sales_change98-1 1100 -.99-11200110010099-2150014505099-31700135025099-416001700-10099-51800160020099-615001450509
19、9-7130012505099-814001200200SELECT timekey,sales,LAG(sales,12)OVER(ORDER BY timekey)as sales_last_year,(sales-sales_last_year)as sales_changeFROM sales举例:使用时间序列函数举例:使用时间序列函数系统使用情况系统使用情况q数据数据汇总汇总:1亿亿7000万个万个汇总汇总运算在运算在2个小个小时时内完成内完成不需要不需要专门专门的服的服务务器器q数据数据访问访问:每秒每秒钟钟23到到100个并个并发查询发查询操作操作95%的的查询查询在在1秒秒钟钟
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- oracle 数据仓库 用户 案例
限制150内