第14课--Oracle Exadata.pdf
《第14课--Oracle Exadata.pdf》由会员分享,可在线阅读,更多相关《第14课--Oracle Exadata.pdf(58页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、DATAGURU专业数据分析网站 2013.2.28 Oracle高可用 第十四课-Oracle Exadata2DATAGURU专业数据分析网站2013.2.28法律声明【声明】本视频和幻灯片为炼数成金网络课程的教学资料,所有资料只能在课程内使用,不得在课程以外范围散播,违者将可能被追究法律和经济责任。课程详情访问炼数成金培训网站http:/2013-9-15DATAGURU专业数据分析网站2013.2.28未来的趋势-大数据的使用2013-9-15DATAGURU专业数据分析网站2013.2.28大型数据仓库在飞速增长大型数据仓库在飞速增长Source:Winter TopTen Surv
2、ey,Winter Corporation,Waltham MA,2008.每隔两年增加三倍实际预计Data Warehouse Size(TB)2005 100 TB;2007 300TB;2009 900 TB;2011 2.7 PB2013-9-15DATAGURU专业数据分析网站2013.2.28数据容量的挑战:数据容量的挑战:表扫描时间表大小1TB10 TB100TB1 Hour10 Hours5 Hours典型 NAS典型中等规模阵列典型高端阵列数据库大小在1TB时性能开始急速下降2013-9-15DATAGURU专业数据分析网站2013.2.28大数据的处理方向-分布还是集中20
3、13-9-15DATAGURU专业数据分析网站2013.2.28Oracle对大数据的处理思路2013-9-15DATAGURU专业数据分析网站2013.2.28Oracle推出Exadata的目的 大量数据的集中数据处理能力 对依赖关系型数据库的业务,提供强大的性能支撑。OLAP or OLTP2013-9-15DATAGURU专业数据分析网站2013.2.28Exadata2013-9-15DATAGURU专业数据分析网站2013.2.28Exadata V2Exadata V2数据库机组成部分数据库机组成部分(满配满配)数据库服务器网格 8 台双CPU六核 x64 数据库服务器(X2-2
4、)或者 2台八CPU八核 x64 数据库服务器(X2-8)智能存储网格智能存储网格 14台低成本高性能存储服务器 100 TB 高性能(High Performance)磁盘空间,或336 TB 高容量(High Capacity)磁盘空间 5.3 TB高速PCI Flash 数据在整个存储网格充分冗余专用高速存储网络专用高速存储网络 双路冗余40 Gb/秒Infiniband链路2013-9-15DATAGURU专业数据分析网站2013.2.28X2-8 X2-8 数据库服务器数据库服务器(Sun Fire X4800)(Sun Fire X4800)处理器8路8核Intel Xeon X7
5、560处理器(2.26 GHz)内存1 TB(128 x 8GB)本地磁盘8块 300GB 10K RPM SAS Disks磁盘控制器Disk Controller HBA with 512MB Battery Backed Cache网络8(Eight)x InfiniBand 4X QDR(40Gb/s)Ports (4 Dual-port PCE 2.0 Express Modules)Two Network Express Modules(NEM),providing a total of 8(Eight)x 1GbE Ethernet Ports 8(Eight)x 10 GbE
6、Ethernet SFP+Ports(via 4 Fabric Express Modules(FEM)based Intel 82599 10GbE Controller technology)远程管理1以太网管理接口(ILOM)电源4路冗余可插拔电源2013-9-15DATAGURU专业数据分析网站2013.2.28ExadataExadata智慧存储单元组成结构智慧存储单元组成结构符合工业标准的高性能存储 每单元12 块磁盘-600 GB 15000 RPM 高性能SAS 盘or 2TB 7200 RPM 高容量SAS盘 2 个六核 Intel Xeon 处理器(L5640)双端口冗余4
7、0 Gb/秒 InfiniBand 4 x 96 GB Flash 卡 智能 Exadata 存储软件 Hardware by Sun Software by Oracle2013-9-15DATAGURU专业数据分析网站2013.2.28ExadataExadata智慧存储单元硬件结构智慧存储单元硬件结构24 GB DRAM每单元12 块磁盘-600 GB 15000 RPM 高性能SAS 盘or 2TB 7200 RPM 高容量SAS盘两个六核Intel Xeon处理器 预安装软件:Oracle Exadata Storage Server Software Oracle Enterpri
8、se Linux Drivers512MB电池备份缓存的存储控制器 InfiniBand QDR(40Gb/s)双口卡远程访问管理接口(ILOM)双冗余,热交换电源4 x 96GB Sun Flash PCIe 卡2013-9-15DATAGURU专业数据分析网站2013.2.28ExadataExadata数据库机产品家族数据库机产品家族X2-2 满配X2-2 半配X2-2 四分之一配X2-8 整配2013-9-15DATAGURU专业数据分析网站2013.2.28ExadataExadata数据库机性能指标数据库机性能指标X2-8Full RackX2-2 Full RackX2-2 Ha
9、lf RackX2-2Quarter RackRaw Disk Data Bandwidth1,4High Perf Disk25 GB/s25 GB/s12.5 GB/s5.4 GB/sHigh Cap Disk 14 GB/s14 GB/s7 GB/s3 GB/sRaw Flash Data Bandwidth1,450 GB/s50 GB/s25 GB/s11 GB/sDisk IOPS3,4High Perf Disk50,00050,00025,00010,800High Cap Disk25,00025,00012,5005,400Flash IOPS3,41,000,0001,0
10、00,000500,000225,000Data Load Rate45 TB/hr5 TB/hr2.5 TB/hr1 TB/hr1 Bandwidth is peak physical disk scan bandwidth,assuming no compression.2-Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash.3 IOPs Based on IO requests of size 8K4-Actual performance will vary
11、by application.2013-9-15DATAGURU专业数据分析网站2013.2.28Exadata Exadata 架构概述架构概述-提供更多的并发提供更多的并发智能存储层数据库处理层超高速并发网络层大规模并行的硬件快速处理大量的数据Exadata直接在存储层处理数据密集型的操作DB ServerDB InstanceDBRMASM单实例数据库RAC数据库DB ServerDB InstanceDBRMASMDB ServerDB InstanceDBRMASMOELCELLSRVMSRSIORMExadata CelliDB Protocol over InfiniBand w
12、ith Path FailoverInfiniBand Switch/NetworkCell Control CLIEnterpriseManagerOELCELLSRVMSRSIORMExadata CellOELCELLSRVMSRSIORMExadata Cell2013-9-15DATAGURU专业数据分析网站2013.2.28ExadataExadata存储端的数据库处理逻辑存储端的数据库处理逻辑 Exadata在存储端进行数据密集型处理,拥有独具特色的智慧引擎智能扫描智能扫描SmartScanSmartScan ROW使用 where 谓词筛选行 COLUMN列筛选 JOIN联接筛
13、选 增量备份筛选混合型列压缩技术混合型列压缩技术自动透明的存储索引自动透明的存储索引智慧闪存缓存技术智慧闪存缓存技术扫描加密数据扫描加密数据数据挖掘模型评价数据挖掘模型评价IOIO资源管理资源管理QOS QOS 服务保证服务保证(内存卫士内存卫士)通常可将发送到数据库服务器的数据减少10 倍,减少数据库服务器的负载 无需更改应用程序处理是自动和透明的即使在查询期间单元或磁盘发生故障11gR21TB1TB1TB100MB100MBOracle DB OnlyOracle DB with Exadata100MB100MB1TBDB SeverDB Sever2013-9-15DATAGURU专业
14、数据分析网站2013.2.28ExadataExadata存储管理软件独一无二的特性存储管理软件独一无二的特性 Exadata智能扫描Smart Scans超过10倍的节省了传输至数据库服务器的数据 Exadata存储索引Storage Indexes减少不必要的I/O 混合列压缩Hybrid Columnar Compression高效的压缩增强了存储的容量,以及节省了数据传输的时间 Exadata Smart Flash Cache增加10倍的I0能力 I/O Resource Manager(IORM)提供网格存储I/O优先顺序。2013-9-15DATAGURU专业数据分析网站2013
15、.2.28基础技术基础技术 传统扫描处理技术传统扫描处理技术 基于传统存储技术,全部的数据库智能存在于数据库主机。来源于存储的数据大部分被数据库主机所丢弃。大量的废弃数据占用了宝贵的数据库主机资源(IO、内存和CPU),严重影响其它任务执行,处理缓慢。I/Os 执行:返回 1 TB 数据DB主机筛选1 TB数据,得到1000行客户要求的数据,计算并返回给客户端返回数据行SELECT customer_name FROM calls WHERE amount 200;DB主机确定表的存储分区发起I/Os请求2013-9-15DATAGURU专业数据分析网站2013.2.28传送更少的数据传送更少
16、的数据-Smart Scan Smart Scan 存储处理技术存储处理技术消除不必要的数据带宽消耗消除不必要的数据带宽消耗 只查找相关的列:customer_name和 required rows where amount200满足查询条件的行返回给主机 将扫描处理从数据库主机下移到存下移到存储单元储单元,减少了大量的无效数据传减少了大量的无效数据传输量输量返回少量的数据行,而不是整个表 大大降低了数据库主机大大降低了数据库主机CPUCPU资源的占资源的占用用2MB 的数据被返回给服务器返回数据行构造Smart Scan 并发送给各存储单元Smart Scan 识别出 TB 表中满足条件的行
17、和列整合来自各存储单元的数据,构成结果集SELECT customer_name FROM calls WHERE amount 200;2013-9-15DATAGURU专业数据分析网站2013.2.28传送更少的数据传送更少的数据-Exadata Storage Index Exadata Storage Index消除不必要磁盘消除不必要磁盘 I/OI/OExadata Storage Indexes 在内存中维护表数据的汇总信息 存储字段的MIN和 MAX值 每1M数据建一条索引项如果最大和最小值不匹配查询的where子句,则取消磁盘I/O完全自动和透明地维护AB C D135583M
18、in B=1Max B=5TableIndexMin B=3 Max B=8Select*from Table where B2 -Only first set of rows can match11gR22013-9-15DATAGURU专业数据分析网站2013.2.28Exadata Exadata 存储索引存储索引示例表示例表 SALES SALES 对常用列自动收集的摘要存储在Exadata Storage Server的内存03-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_
19、dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000 203040,000.0003-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateData Chunk#103-SEP-200903-SEP-2009
20、Order_date8030010000Cust_ID30000 2030Prod_ID40,00010,000Amount20,00010,000AmountData Chunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust_ID1007520098Prod_ID20010329322013-9-15DATAGURU专业数据分析网站2013.2.28Exadata Exadata 存储索引存储索引示例表示例表 SALES SALES 存储索引将无关data chunk忽略掉 提供类似 分区修剪的功能Netezza relies upon Zone M
21、apsWHERE ship_date between 01-SEP-2009 and 31-SEP-2009排除 data chunk#2 03-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateData Chunk#103-SEP-200903-SEP-2009Order_date8030010000Cust_ID30000 2030Prod_ID40,00010,000Amount20,00010,000AmountData Chunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第14课-Oracle Exadata 14 Oracle
限制150内