深入内存数据库学习教案.pptx

《深入内存数据库学习教案.pptx》由会员分享，可在线阅读，更多相关《深入内存数据库学习教案.pptx（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1深入深入(shnr)内存数据库内存数据库第一页，共51页。2023/2/721、概述、概述(i sh)与传统数据库的比较TimesTen为什么快性能指标应用(yngyng)场景第1页/共51页第二页，共51页。2023/2/73什么什么(shn me)是内存数据库？是内存数据库？内存数据库将数据和元数据存放在内存中，可以(ky)获得极高的响应速度并实现实时数据缓存数据库与应用程序共享一个地址空间完善的事务管理，针对物理内存的优化调度算法和并发事务处理关系型数据库，支持SQL92数据可靠性、完善的数据恢复机制第2页/共51页第三页，共51页。2023/2/74与传统与传统与传统与传统(c

2、hunt(chunt ng)ng)数据库比较数据库比较数据库比较数据库比较(1)(1)传统数据库的目的是处理永久、稳定的数据。强调维护(wih)数据的完整性、一致性，但很难顾及数据及其处理的定时限制，不能满足实时应用的需要传统数据库由于磁盘IO、缓存管理、排队等待及锁的延迟等使得事务实际平均执行时间与估算的最坏情况执行时间相差很大；内存数据库由于没有磁盘IO和缓存管理，能搞准确估算事务响应时间内存数据库处理的数据通常是“短暂”的，即有一定的时效。所以，实际应用中内存数据库主要处理实时性强的业务逻辑处理数据。而传统(chuntng)数据库旨在处理永久、稳定的数据，其性能目标是高的系统吞吐量和低的

3、代价传统(chuntng)数据库是IO密集型应用，内存数据库为CPU密集型应用第3页/共51页第四页，共51页。2023/2/75与传统与传统(chuntng)数据库比较数据库比较(2)CharacteristicOracleDatabase10gOracleTimesTenDatamodelRelational:SQLRelational:SQLTargetapplicationsMission-criticalMission-criticalOptimizationDisk-centric(IO)Memory-centric(CPU)TypicaldeploymentDatabase ti

4、erApplication tierArchitectureClient/serverDirect data accessResponsetimesMillisecondsMicrosecondsDatacapacityTens of terabytesTens of gigabytesScalabilityUnlimited SMP/clusterGood SMP第4页/共51页第五页，共51页。2023/2/76TimesTen为什么快？为什么快？(1)(1)第5页/共51页第六页，共51页。2023/2/77TimesTenTimesTen为什么快？为什么快？(2)第6页/共51页第七页

5、，共51页。2023/2/78TimesTenTimesTen为什么快？为什么快？(3)最小化磁盘IO没有缓存管理的消耗针对(zhndu)物理内存的优化调度算法直接访问，没有IPC消耗风险：共享地址空间第7页/共51页第八页，共51页。2023/2/79TimesTenTimesTen性能指标性能指标第8页/共51页第九页，共51页。2023/2/710使用场景使用场景使用场景使用场景(1)(1)：常用：常用：常用：常用(chn(chn yn yn)数据缓存数据缓存数据缓存数据缓存缓存经常被访问的数据(shj)，提高应用的处理能力及反应速度，减少网络和后台数据(shj)库的负载第9页/共51页

6、第十页，共51页。2023/2/711使用场景使用场景(chng jng)(2)：热点数据缓存：热点数据缓存缓存当前正使用的“热点(rdin)数据”或重要客户的数据，已提高反应速度优化服务，提高用户的忠诚度.针对针对(zhndu)Table，换出的数据不能再换入！换出的数据不能再换入！第10页/共51页第十一页，共51页。2023/2/712使用场景使用场景(chng jng)(3)：实时交易：实时交易内存数据库是可对消息队列和事务进行处理的实时(shsh)数据库，并可把处理结果“push”到后台数据库巨大的性能巨大的性能(xngnng)差异！差异！第11页/共51页第十二页，共51页。202

7、3/2/7132、TimesTen的组成的组成(z chn)TimesTen的组成日志(rzh)和检查点锁事务访问方式XLA第12页/共51页第十三页，共51页。2023/2/714TimesTen的组成的组成(z chn)第13页/共51页第十四页，共51页。2023/2/715日志日志(rzh)和检查点和检查点日志分为缓存和文件两部分日志分为缓存和文件两部分(bfen)双重检查点文件双重检查点文件Blocking/Non-Blocking增量生成增量生成Checkpoint文件文件自动删除日志自动删除日志数据从检查点和日志中恢复数据从检查点和日志中恢复LogBuffer的事务的事务(shw

8、)可能丢失！可能丢失！第14页/共51页第十五页，共51页。2023/2/716锁锁处理并发性访问的机制，序列化多个应用(yngyng)对资源的同时访问。TimesTen有三种锁机制：DataStoreDataStore级锁级锁级锁级锁 其它进程其它进程其它进程其它进程(jnchng)(jnchng)不能同时访问该不能同时访问该不能同时访问该不能同时访问该DataStoreDataStore，即，即，即，即DataStoreDataStore级的锁都是排他的。只有在当前级的锁都是排他的。只有在当前级的锁都是排他的。只有在当前级的锁都是排他的。只有在当前DataStoreDataStore上没有

9、活动的事务时，才上没有活动的事务时，才上没有活动的事务时，才上没有活动的事务时，才能获取能获取能获取能获取DataStoreDataStore级的锁。一旦获得级的锁。一旦获得级的锁。一旦获得级的锁。一旦获得DataStoreDataStore级锁，其它事务将被阻塞直到该级锁，其它事务将被阻塞直到该级锁，其它事务将被阻塞直到该级锁，其它事务将被阻塞直到该锁定被释放。锁定被释放。锁定被释放。锁定被释放。初始化、数据批量导入产生初始化、数据批量导入产生初始化、数据批量导入产生初始化、数据批量导入产生DataStoreDataStore级锁。级锁。级锁。级锁。表级锁表级锁表级锁表级锁 当事务要对一个表

10、的大部分记录进行查询、修改或者删除当事务要对一个表的大部分记录进行查询、修改或者删除当事务要对一个表的大部分记录进行查询、修改或者删除当事务要对一个表的大部分记录进行查询、修改或者删除时，就会获得表级锁。也可通过命令时，就会获得表级锁。也可通过命令时，就会获得表级锁。也可通过命令时，就会获得表级锁。也可通过命令ttOptSetFlag()ttOptSetFlag()来手工动态来手工动态来手工动态来手工动态(dngti)(dngti)设置。设置。设置。设置。行级锁行级锁行级锁行级锁行级锁的并发性是最好的。它只锁定要操作的行，所以不同的应用可以同时操作同一个表中不同的行。第15页/共51页第十六页

11、，共51页。2023/2/717事务事务(shw)(1)Datastore可被多进程(jnchng)/多线程所共享：ACID ACID 完整完整完整完整(wnzhng)(wnzhng)的事务支持。不支持嵌套事务的事务支持。不支持嵌套事务的事务支持。不支持嵌套事务的事务支持。不支持嵌套事务/XA/XA交易独立性交易独立性交易独立性交易独立性默认ReadCommitted事务级别不支持MVCC降低为串行事务级别 隔离级别与并发性是互为矛盾的隔离级别与并发性是互为矛盾的隔离级别与并发性是互为矛盾的隔离级别与并发性是互为矛盾的隔离程度越高，数据库的并发性越差；隔离程度越低，数据库的并发性越好提高效率，

12、提高效率，违反违反D！第16页/共51页第十七页，共51页。2023/2/718事务事务事务事务(shw)(2)(shw)(2)TimesTen支持两级事务(shw)隔离：ReadcommittedisolationSerializableisolationIsolation LevelIsolation LevelDirty ReadDirty Read NonRepeatable NonRepeatable ReadRead Read uncommittedRead uncommittedPossiblePossibleRead committedRead committedNot pos

13、siblePossibleRepeatable readRepeatable readNot possibleNot possibleSerializableSerializableNot possibleNot possible第17页/共51页第十八页，共51页。2023/2/719查询查询(chxn)优化优化(1)基于Cost的优化器，优化器根据下面的因素(yns)计算Cost：TableandcolumnstatisticsMetadatainformationIndexchoicesScanmethodsJoinalgorithmchoice一定一定(ydng)要用要用绑定变量！绑定

14、变量！第18页/共51页第十九页，共51页。2023/2/720查询查询(chxn)优化优化(2)Hash索引只能出现在主键上，只能用于等值匹配查询，但占用(zhnyn)空间较大；建Hash索引时必须定义Pages值（Rows/256）,以避免Hash碰撞。TimesTen的两种索引的两种索引(suyn):T-tree索引适宜做范围、排序等查询（适宜做范围、排序等查询（orderby、groupby、distinct），当然它也可做等值查询，占用空间较小；全表），当然它也可做等值查询，占用空间较小；全表扫描时候，如果被扫描的表具有扫描时候，如果被扫描的表具有T-tree索引（不管这个索索引（不

15、管这个索引的列是否被用到），则性能会有较大的提升。引的列是否被用到），则性能会有较大的提升。第19页/共51页第二十页，共51页。2023/2/721查询查询(chxn)优化优化(3)统计内置命令(mnglng)ttOptEstimateStats和ttOptUpdateStats用于对数据库进行统计，以准确的计算执行路径的Cost，选择最优的执行计划。临时索引系统有时会创建(chungjin)临时索引加快查询速度，但如果临时索引创建(chungjin)地过于频繁，就要考虑手工建相应的索引，这可以通过系统表MONITOR的列CMD_TEMP_INDEXES来监测。第20页/共51页第二十一页，

16、共51页。2023/2/722查询查询(chxn)优化优化(4)最常用的扫描方式最常用的扫描方式:基于基于T-Tree索引的扫描方式索引的扫描方式基于基于Hash索引的扫描方式，索引的扫描方式，Hash索引只索引只能够建立在主键上，因此，查询能够建立在主键上，因此，查询(chxn)必然是主键查询必然是主键查询(chxn)基于基于Rowid的查找，这是最快的查询的查找，这是最快的查询(chxn)方式方式全表扫描，如果表上有一个全表扫描，如果表上有一个T-Tree索引，索引，扫描速度会明显加快扫描速度会明显加快第21页/共51页第二十二页，共51页。2023/2/723访问访问(fngwn)方式方

17、式Datastore可被多进程(jnchng)/多线程所共享：直接连接直接连接直接连接直接连接 应用以共享模式访问应用以共享模式访问应用以共享模式访问应用以共享模式访问(fngwn)DataStore(fngwn)DataStore，DataStoreDataStore被预先装载到共被预先装载到共被预先装载到共被预先装载到共 享内存段，应用则映射该共享内存段到自己的运行地享内存段，应用则映射该共享内存段到自己的运行地享内存段，应用则映射该共享内存段到自己的运行地享内存段，应用则映射该共享内存段到自己的运行地址空间上址空间上址空间上址空间上C/SC/S连接连接连接连接应用必须和TimesTen部

18、署在不同的机子上，或者32位的应用程序必须连接64位的DataStore，且32位的应用不能在64位的机子上重新编译，此时就只能选择C/S连接方式。ODBCODBC驱动管理器驱动管理器驱动管理器驱动管理器驱动管理器是独立于具体的数据源的，即在应用和数据源之间增加了一个抽象层。第22页/共51页第二十三页，共51页。2023/2/724MicroLoggingDatastore可被多进程(jnchng)/多线程所共享：共享进程空间共享进程空间共享进程空间共享进程空间(kngjin)(kngjin)会使嵌入式应用受进程故障的影会使嵌入式应用受进程故障的影会使嵌入式应用受进程故障的影会使嵌入式应用受

19、进程故障的影响响响响MicroLoggingMicroLogging确保内存数据库不受应用进程故障的影响确保内存数据库不受应用进程故障的影响确保内存数据库不受应用进程故障的影响确保内存数据库不受应用进程故障的影响 异常异常异常异常(ychng)(ychng)退出进程的未决事务被回滚退出进程的未决事务被回滚退出进程的未决事务被回滚退出进程的未决事务被回滚如有必要，数据库进行如有必要，数据库进行如有必要，数据库进行如有必要，数据库进行RevorveryRevorvery 安全且高性能安全且高性能安全且高性能安全且高性能第23页/共51页第二十四页，共51页。2023/2/725XLAu跟踪实时数据

20、变化u监视(jinsh)交易变化u发送数据变化到外部应用u实现实时事件通知与处理Transaction Log API Transaction Log API(XLA)(XLA)：第24页/共51页第二十五页，共51页。2023/2/7263、高可用性、高可用性、高可用性、高可用性uReplicationuCacheConnect第25页/共51页第二十六页，共51页。2023/2/727Replication(1)u多路，点对点uActive/standby或active/activeu表级或data-store级复制(fzh)u同步与异步数据传送u故障自动恢复u冲突检测与解除第26页/共5

21、1页第二十七页，共51页。2023/2/728Replication(2)第27页/共51页第二十八页，共51页。2023/2/729Replication(3)同步或异步数据(shj)复制：异步复制异步复制异步复制异步复制(fzh)(fzh)异步传送交易数据非常快的应用响应时间适合(shh)于需要高性能、低延迟的应用场景 同步复制同步复制同步复制同步复制同步传送交易数据在返回控制权给应用之前，提交的交易能确保被传送到远端节点同步复制可以由应用系统在交易层面来进行控制“开启”或“关闭”第28页/共51页第二十九页，共51页。2023/2/730Replication(4)同步同步同步同步(tn

22、gb)(tngb)复制复制复制复制 网络网络(wnglu)IO快于磁盘快于磁盘IO第29页/共51页第三十页，共51页。2023/2/731Replication(5)异步复制异步复制异步复制异步复制(fzh)(fzh)第30页/共51页第三十一页，共51页。2023/2/732Replication(6)Return-receiptReturn-receipt异步复制异步复制异步复制异步复制(fzh)(fzh)第31页/共51页第三十二页，共51页。2023/2/733Replication(7)第32页/共51页第三十三页，共51页。2023/2/734Replication(8)crea

23、tereplicationocs_a_a_replicationelementadatastoremastermydataoncx_pdscp1subscribermydataoncx_pdscp2returntwosafestoremydataoncx_pdscp1returnservicesoffwhenreplicationstoppeddurablecommitonelementbdatastoremastermydataoncx_pdscp2subscribermydataoncx_pdscp1returntwosafestoremydataoncx_pdscp2returnserv

24、icesoffwhenreplicationstoppeddurablecommiton;Replication名称名称(mngchng)组成组成(zchn)数据库实例数据库实例(shl)复制方式复制方式策略：当策略：当Agent停止，复制关闭；固化事务提交。停止，复制关闭；固化事务提交。第33页/共51页第三十四页，共51页。2023/2/735Cache Connect(1)u缓存Oracle数据库的数据u只读或可更新的缓存u双向更新u异步写u在一个Oracle数据库上可以建立多个(du)缓存实例uDateAging和PassThrough第34页/共51页第三十五页，共51页。2023/

25、2/736Cache Connect(2)Cache Group Cache Group 有如下几种有如下几种有如下几种有如下几种(j zhn)(j zhn)类型：类型：类型：类型：System Managed System Managed类型类型类型类型(lixng)(lixng)：ReadOnly：TimesTen中的数据只读，数据只在Oracle中更新，然后通过Autorefresh机制刷新到TimesTen中SWT：即当应用(yngyng)提交事务时，首先在Oracle提交，然后在TimesTen中提交，在此期间，应用(yngyng)一直被阻塞AWT：即事务先在TimesTen中提交，

26、然后以异步的模式在Oracle中提交。应用(yngyng)不需要等待在Oracle数据库那边的提交。User Managed User Managed类型：类型：类型：类型：提供了一个完全开放的参数选择模式，让用户自己去细粒度定义参数。第35页/共51页第三十六页，共51页。2023/2/737Cache Connect(3)Data Aging Data Aging的概念的概念的概念的概念(ginin)(ginin)：Aging就是当TimesTen中的数据符合某些(muxi)条件的时候，会被自动清除出TimesTen，当系统的内存不是很充足的时候，Aging可以保证有充足的空余空间去放入新

27、的数据，目前Aging的算法有两种：一种是基于时间的，一种是基于LRU（最近最少使用）特别特别特别特别(tbi)(tbi)说明：说明：说明：说明：Aging可以针对表，也可以针对CacheGroup。针对表的时候，交换出去的数据将不能再被交换进来（版本）Data AgingData Aging：第36页/共51页第三十七页，共51页。2023/2/738Cache Connect(4)PassTroughPassTrough：Level 0 Level 0：所有：所有：所有：所有(suyu)(suyu)的的的的SQLSQL只是在只是在只是在只是在TimesTenTimesTen执行执行执行执行

28、 Level 1 Level 1：SQLSQL（除了（除了（除了（除了InsertInsert、DeleteDelete、UpdateUpdate及及及及DDLDDL之外）将被之外）将被之外）将被之外）将被PassThrough PassThrough 到到到到OracleOracle中执行，如果该中执行，如果该中执行，如果该中执行，如果该SQLSQL在在在在TimesTenTimesTen执行时产执行时产执行时产执行时产生语法错误。如果生语法错误。如果生语法错误。如果生语法错误。如果InsertInsert、DeleteDelete及及及及UpdateUpdate操作的目标操作的目标操作的目

29、标操作的目标(mbio)(mbio)表在表在表在表在TimesTenTimesTen不存在，则将被将被不存在，则将被将被不存在，则将被将被不存在，则将被将被PassThroughPassThrough到到到到OracleOracle中执行。中执行。中执行。中执行。Level 2 Level 2：同：同：同：同1 1，加上，加上，加上，加上 如果如果如果如果(rgu)Insert(rgu)Insert、UpdateUpdate及及及及DeleteDelete针对的针对的针对的针对的是是是是ReadOnly Cache GroupReadOnly Cache Group，且符合，且符合，且符合，且

30、符合1 1的描述，也将被的描述，也将被的描述，也将被的描述，也将被PassThroughPassThrough到到到到OracleOracle中执行。中执行。中执行。中执行。Level 3 Level 3：所有的SQL（除了Commit、Rollback、Savepoint及TimesTen独有的设置其优化器参数的内置存储过程）都被PassThrough到Oracle第37页/共51页第三十八页，共51页。2023/2/739Cache Connect(5)PassTroughPassTrough：第38页/共51页第三十九页，共51页。2023/2/740Cache Connect(6)u使

31、用CREATEREADONLYCACHEGROUP语句(yj)建立u在Oracle端修改的数据自动同步到TimesTen中u可以选择全量和递增两种方式同步数据Readonly Cache GroupReadonly Cache Group：第39页/共51页第四十页，共51页。2023/2/741Cache Connect(7)u如果应用试图修改一个ReadonlyCacheGroup的内容(nirng)，将会得到TimesTen错误码8225，“Tableisreadonly”u如果PassTrough设置为2或者3，DML语句将透传到Oracle执行，并把执行的结果自动刷新回TimesTe

32、nReadonly Cache Group Readonly Cache Group 的限制的限制的限制的限制(xinzh)(xinzh)：第40页/共51页第四十一页，共51页。2023/2/742Cache Connect(8)u使用CREATESYNCHRONOUSWRITETHROUGHCACHEGROUP语句建立(jinl)u初始数据在CacheGroup建立(jinl)后手动加载u事务先在Oracle提交，如果提交失败，TT必须回滚SWT Cache GroupSWT Cache Group：第41页/共51页第四十二页，共51页。2023/2/743Cache Connect(9

33、)uSWT的内容可以(ky)通过命令手动加载、卸载和刷新u建立SWT时不能指定WHERE条件uTRUNCATETABLE不能反映在TimesTen中SWT Cache Group SWT Cache Group 的限制的限制的限制的限制(xinzh)(xinzh)：第42页/共51页第四十三页，共51页。2023/2/744Cache Connect(10)u使用CREATEASYNCHRONOUSWRITETHROUGHCACHEGROUP语句建立u数据更新异步传递到Oracleu应用可以在Oracle数据库宕机时继续(jx)进行AWT Cache GroupAWT Cache Group：

34、第43页/共51页第四十四页，共51页。2023/2/745Cache Connect(11)uTimesTen和Oracle即使连接失败，事务信息也不会丢失u事务在TimesTen和Oracle中提交的顺序是一致的u如果事务在TimesTen中成功，但在Oracle中提交失败，将会在*.awterr文件中报告u不能够手动刷新数据u建立CacheGroup不能指定WHERE条件(tiojin)u在建立或删除CacheGroup时，必须停止ReplicationAgentu在Oracle中直接作的更新，有可能被TimesTen的修改覆盖AWT Cache Group AWT Cache Grou

35、p 的限制的限制的限制的限制(xinzh)(xinzh)：第44页/共51页第四十五页，共51页。2023/2/7464 4、常见问题、常见问题、常见问题、常见问题u日志(rzh)不能自动删除u数据恢复时间(shjin)漫长u关键的连接(linji)属性u其它第45页/共51页第四十六页，共51页。2023/2/747日志日志(rzh)不能自动删除不能自动删除现象：现象：TimesTen的日志的日志(rzh)无法自动删除，导致在磁盘上无法自动删除，导致在磁盘上有大量的日志有大量的日志(rzh)累积累积!日志日志(rzh)(rzh)删除的条件，要求日志删除的条件，要求日志(rzh)(rzh)中中

36、的事务已经：的事务已经：1 1、作了、作了CheckpointCheckpoint2 2、通过、通过ReplicationReplication复制到备机复制到备机3 3、在、在AWTAWT方式下，通过方式下，通过Replication AgentReplication Agent复制复制到到OracleOracle4 4、已作备份、已作备份Commandcallttlogholds;5rowsfound.第46页/共51页第四十七页，共51页。2023/2/748数据恢复时间数据恢复时间(shjin)漫长漫长现象：一个实例现象：一个实例(shl)在启动时花费了大量的时间在启动时花费了大量的时

37、间1.加载Checkpoint文件，加载时间取决于磁盘IO2.重演Log文件中的事务，时间取决于文件的个数3.重建(zhn jin)索引，时间取决于数据量、索引个数关闭实例前作关闭实例前作2次次Checkpoint第47页/共51页第四十八页，共51页。2023/2/749关键的连接关键的连接(linji)属性属性现象：中的关键现象：中的关键(gunjin)参数参数PermSize/TempSizeCkptFrequency/CkptLogVolumeDurableCommitsConnectionsOracleID/UID/OraclePwdSMPOptLevel第48页/共51页第四十九页，共51页。2023/2/750其它其它(qt)现象现象(xinxing)：.解决方案：解决方案：.第49页/共51页第五十页，共51页。2023/2/751第50页/共51页第五十一页，共51页。