2022年DSGRealSync管理手册.doc

《2022年DSGRealSync管理手册.doc》由会员分享，可在线阅读，更多相关《2022年DSGRealSync管理手册.doc（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、DSG Realsync治理维护手册 2023-1-2DSG RealSync 操作治理手册 2012/1/14DSGdata Inc.迪思杰（北京）数码技术49/49目 录1REALSYNC工作原理41.1原理概论41.2日志抓取（Data Capture）51.3日志分析（Analyze）51.4买卖合成（Synthesize）61.5买卖传输71.6数据装载82REALSYNC支持列表102.1初次全同步102.2复制关系维护102.3DML操作复制支持102.4DDL操作复制支持122.5常见的不支持操作及处理方式143各复制端口一览表164软件部署构造说明195发起全同步并启动复制2

2、06REALSYNC目录和文件构造说明236.1源端安装目录说明236.1.1config目录重点文件说明236.1.2scripts目录中的文件说明236.1.3bin目录重点文件说明246.1.4log目录重点文件说明246.1.5rmp目录重点文件说明256.2目的端安装目录说明256.2.1scripts目录重点文件说明256.2.2bin目录重点文件说明266.2.3log目录重点文件说明266.2.4rmp目录重点文件说明267REALSYNC日常维护287.1进程检查287.1.1数据复制的进程检查287.2如何停顿和启动进程297.2.1源端进程的停顿297.2.2源端进程的启

3、动297.2.3目的端进程的停顿307.2.4目的端进程的启动307.3日志监控317.3.1源端日志分析监控317.3.2目的端装载日志347.4队列累积查看367.4.1源端日常是否xf1积压367.4.2目的端日常是否xf1积压377.5如何进展重新全同步377.5.1停顿并清空源端的realsync程序只需执行full_sync_ds.sh377.5.2停顿并清空目的端的realsync程序秩序执行full_sync_dt.sh407.5.3重新启动源端的realsync程序只需执行start_dsg.sh417.5.4重新启动目的端的realsync程序只需执行start_dsg_d

4、t.sh427.5.5确认全同步已经完毕同时进入到实时同步阶段427.6如何修正日志分析间隔457.7维护需要过滤的DDL操作457.7.1过滤DDL操作的意义457.7.2支持的过滤操作品种457.8日常需要删除的一些文件487.8.1检查磁盘阵列的剩余空间487.8.2删除源端realsync的文件487.8.3删除目的端realsync的文件491 RealSync工作原理1.1 原理概论RealSync技术是针对数据库提供了基于逻辑的买卖复制方式。该方式通过直截了当捕获源数据库的买卖，将数据库的改变逻辑复制到目的系统数据库中，实现源系统和目的系统数据的一致性。如上图所示，RealSyn

5、c在数据源（Data Source，简称DS）端和数据目的端（Data Target端，简称DT）分别安装Agent进程，Source端的Agent进程对ORACLE日志进展监控，发觉改变及时对目的数据库进展更新。当应用系统在Data Source端向数据库进展任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进展分析，获得本次操作的买卖指令和买卖数据，然后将这些买卖指令和买卖数据通过格式转化生成XF1数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库包，通过校验码

6、检查，确认正确的数据库包后，调用Oracle函数按照买卖的先后顺序在Data Target系统中执行该买卖。1.2 日志抓取（Data Capture）RealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来获取Data Source端的买卖类型及数据的。RealSync Agent在推断Data Source端的Oracle系统是否有新的买卖产生时是通过定期检查oracle提供的视图中记录的当前SCN号来推断的，如此防止每次检都通过读取log文件来推断否有新的买卖产生时造成的系统妨碍。在确认有新的买卖产生时，能够同时获得当前的R

7、edo Log 组，以及最新日志在日志文件的最新位置。RealSync Agent模块依照这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据保存在Online Log Cache文件中，等待下一步作买卖合成处理。RealSync的优势：与其他类似日志复制产品相比，RealSync对日志进展分析，得到买卖信息再进展传送；而其他类似产品不对日志作分析，传送全部日志，然后在目的端通过日志作Recover， 如此一来，不仅传送数据量大，而且目的端数据库不能打开。1.3 日志分析（Analyze）Oracle数据库的所有更改都记录在日志中，其中记录了对数据库

8、中的每一个变化。当我们需要理解数据库中所作的买卖时，一个最有效有用而又低本钱的方法确实是分析Oracle数据库的日志文件。RealSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在功能和功能上都大大提高，主要表达在系统功能的优化上，大幅度提高日志分析的速度，使得关于高并发业务系统的复制成为可能。按照RealSync的日志分析设计目的，每秒能够分析的日志量到达10M/s。RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成XF1格式的表达方式。XF1格式是DSG公司的专有技术，该技术是DSG

9、公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直截了当转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。1.4 买卖合成（Synthesize）通过ORACLE REDO LOG分析的买卖指令存在如下的几个特点：（1）这些指令是穿插出现的，属于一个买卖（Transaction）的多条SQL指令是非连续存储的，多个买卖的SQL之间是互相穿插的；（2）Redo log中记录了所有的commit的买卖以及没有commit的买卖；因而，为了提高系统的可操纵性、保证逻辑完好性、防止数据丧失，最好将

10、复制的最小单位为一个买卖（Transaction），而不是以单个SQL指令为复制单位，如此在Data Target端的买卖装载更加容易操纵。同时，关于复制的数据而言，只有那些Commit的数据关于Data Target端系统是有意义的，而关于那些Rollback的数据无需复制到Data target系统上。因而RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进展买卖整合后以买卖（Transaction）为单位进展复制，同时只复制COMMIT的买卖。如上图所示，在Online Log Cache文件中，包括Commit的买卖，没有Commit的买卖和Rollback的买卖。买

11、卖合成模块首先按照买卖序号对SOL语句进展划分，每个买卖包含多条SOL语句。然后，以买卖为单位进展处理，将已经Commit的买卖，传至传输处理模块；将未提交的买卖保存在本地，一旦通过日志得知保存的未提交买卖已提交，立马上该买卖发送到传输处理模块；对Rollback的买卖作丢弃处理。RealSync的优势：RealSync是以买卖为单位进展传输的，而不是以SOL语句为单位进展传输的，更容易保证数据的一致性和完好性。1.5 买卖传输RealSync技术为了保证数据传输的平安、可靠，在传输处理上作了特别的处理与支持:（1）数据在传输之前首先存入Data Source端的Cache，传输进程（send

12、er）从Cache中读取买卖数据封装为TCP/IP数据包传送给Data target端的vagentd进程。（2）在data target端，vagentd进程在收到传输的买卖数据包后，首先存入Queue，然后由Load进程从Queue中严格按照买卖的顺序装载买卖信息。如上图所示，负责传输的进程（sender）从本地队列中按照先进先出的原则抓取需要传输的买卖，将买卖数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描绘了包的大小。对端系统在接遭到传来的数据包后，首先依照包头描绘的包大小进展传输的合法性检查，推断是否传输完好。1.6 数据装载在传统的复制技术中，常

13、用的数据装载方式是采纳Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上特别好，但关键在于功能咨询题特别突出。SQL语句的执行需要通过parse、plan、格式转换等过程，造成大量的系统开销。尤其是update和Delte操作的大量Where子句操作需要进展复杂的查询定位任务，从而导致装载功能低下，对处理才能的要求比消费系统的还高。DSG RealSync在设计之初就定位于电信级大数据量系统的应用，因而在装载功能上进展了大幅度的改善，使得装载端的功能和处理才能需求降至最低。在其中DSG RealSync采纳了两个关键的技术提高

14、了装载速度：（1）采纳XF1数据格式的装载；（2）采纳Rowid mapping的方式实现快速定位；XF1（DSG Extend Format）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直截了当转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。其构造为：USERSQLTransformationI/O在这四层当中，当采纳S

15、QL接口进展数据装载时，调用的是User层，而DSG RealSync通过XF1数据格式装载时，调用I/O层直截了当将数据通过Oracle的最底层函数写入系统中，因而DSG RealSync在装载层上有一定优势；关于买卖中的操作，存在着大量的Where子句操作，在采纳标准SQL语句执行这些操作时，系统需要首先定位目的记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得特别庞大。DSG RealSync工具不采纳该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：当RealSync从源端Log文件中读取买卖数据时，将获得

16、该买卖对应记录的所在位置，用rowid表示为rowid_ds；当该买卖在目的端装载时，系统不翻译为Where子句，而是去通过保存在目的端的row mapping表获得对应目的端该记录的所在位置rowid，记录为rowid_dt。从而在目的端装载时通过rowid能够直截了当定位于该数据需要写入的位置。防止了大量的索引查找时间。每条记录的row mapping信息是在该记录执行insert操作、sql loader或初次批量同步时建立起来的。RealSync的优势：DSG扩展格式XF1(DSG Extend Format)是RealSync产品的一个核心技术，是一种最高效率表示ORACLE记录的数

17、据格式，该格式只需要通过最小的转换过程就能够装载到ORACLE数据库中，同时装载效率特别高。n 无需标准SQL语句执行的复杂过程n 加快装载速度关于Update，Delete等带Where子句的买卖，能够大幅度提高装载速度2 realsync支持列表2.1 初次全同步（1）指定复制对象 指定需要复制的user 指定需要复制的表 指定哪些表需要复制 指定哪些表不需要复制（2）不停业务的初次全同步（3）指定表的重新全同步2.2 复制关系维护（1）添加新表到复制任务（2）删除某些表的复制任务（3）添加新的用户到复制任务（4）删除某个用户的复制任务2.3 DML操作复制支持（1）支持的DML操作类型

18、Insert； Update； Delete；（2）支持对Truncate Table操作复制（3）支持DIRECT PATH LOADING在Logging形式下批量装载数据的复制 sqlldr direct=y impdp insert into /*+ APPEND */（4）提供ROWID Mapping形式的映射关系（支持Unique key和非unique key的表的复制）（5）支持的DATA TYPES： CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB

19、 CLOB ROWID（6）支持的Table 类型 Table with partitions Table with chainedrows（7）支持Insert all操作insert all when 1=1 then into ts_test_nokey values (id , name,addr,info,sysdate,systimestamp,num) when id=1000 then into ts_test values(id+1,name,addr , info,sysdate,systimestamp,num) select * from ts_test ;（8）支持M

20、erge操作begin for i in 1.1000 loop if mod(i,3)=0 then insert into ts_test values( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end if ; end loop ; commit ; for i in 1.1000 loop merge into ts_test a using dual b on (a.id = i) when matched then update set name=测试|to_char(sysdate,yyyymmdd) when no

21、t matched then insert values ( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end loop ; commit ;end;2.4 DDL操作复制支持（1）系统支持的DDL操作Objects typeOperate type备注tablesCreate tableDrop tableTruncate tableAlter table:column_clauses:add_column_clausesmodify_column_clausesdrop_column_clauserename_column_cl

22、auseconstraint_clauses:ADD constraintsMODIFY constraintsDrop constraintsalter_table_partitioning:add_table_partitiondrop_table_partitiontruncate partition indexesCreateAlterDropviewsCreateAlterDropsequencesCreateAlterfunctionsCreateAlterDropproceduresCreateAlterDroppackagesCreate packageCreate packa

23、ge bodyAlter packageDrop packageDrop package bodygrantalter databaseuserCreate userAlter userDrop userroleCreate roleAlter roleDrop rolecreate bodydirectoryCreate directoryDrop directoryprofileCreate profileAlter profileDrop profiledblinkCreate dblinkAlter dblinkDrop dblinkrevoke（2）支持的DDL操作配置可在以上支持的

24、DDL中进展一些DDL是否复制的配置，包括： database level 的DDL过滤，可指定role,user,dblink，profile等database级的操作是否需要同步 USER level的DDL过滤：可指定user级下的重要操作是否需要同步，例如可指定所有的drop table等大破坏性的操作都不能被复制。 TABLE LEVEL的ddl过滤：可指定某些重要表的TRUNCATE TABLE,DROP TABLE等大破坏性操作不被复制。2.5 常见的不支持操作及处理方式不支持的对象类型ClusterContextIOT TABLEORGANIZATION EXTERNAL ta

25、bleNESTED TABLEXML TABLEDIRECTORYBITMAP INDEXDomain indexesLibraryType/type bodyUser defined typeBFILE以上对象或者数据类型DSG Realsync临时没支持，但假如应用中确有用到了这些对象，DSG将承诺立即支持，由于这些对象的数据已经分析到了，只不过是过滤了而已。不支持的database级的常见操作alter database add tablespacealter database add datafilealter system 不支持的schema下的对象操作关于nologging的ta

26、ble上执行的如下操作：insert /*+append*/, impdp, sqlldr direct=y；关于不支持的操作，只需要对这些表或整个schema进展一次全同步就能够把数据全部复制过去。3 各复制端口一览表消费系统容灾系统复制内容口腔医院复制IP:130.1.10.19安装途径：/oracle/realsync登录用户名：oracleDbpsd port：60000Vagentd port：60001IP：130.1.31.8安装途径：/oracle/realsync登录用户名：oracleVagentd port：60001DSG DSGXXKLOG XXKLOGOUTPBIL

27、L OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPAD

28、M OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE本地复制IP：130.1.10.18IP：130.1.10.6DSG DSGXXKLOG XXKLOGO

29、UTPBILL OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHIS

30、OUTPADM OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE安装途径：/sharedisk/realsync安装途径：/dsg/realsync登录用户

31、名：oracle登录用户名：oraclevagentd port：50001vagentd port：50001dbpsd port：500004 软件部署构造说明如上图所示，RealSync在消费数据库(source)上和备份系统端(target)分别安装Agent进程，Source端的vagent进程对ORACLE日志进展监控，发觉改变及时对目的数据库进展更新。当应用系统在Source端向数据库进展任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进展分析，获得本次操作的买卖指令和买卖数据，然后将这些买卖指令和买卖数据通过格式转化生成

32、XF1数据格式，并由发送进程sender实时通过网络传送到Target系统。Target系统的vagentd进程接收数据库包，通过校验码检查，确认正确的数据库包后，由装载进程loder调用Oracle函数按照买卖的先后顺序在Target系统中执行该买卖。dbpsd进程为治理操纵进程，该进程是在作系统配置和发起全同步时使用的，该进程一般安装在消费系统上。vman程序为配置终端，该终端通过dbpsd进程治理source和target上的vagentd程序。5 发起全同步并启动复制发起全步的方式确实是在bin目录下执行vm文件。n 源端的全同步rac2 /sharedisk/realsync/bin

33、$ cat vmconnect : 50000user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqiM6rac2 /sharedisk/realsync/bin$ ./vmanvmanvm1 set dm过程的日志信息set dm过程是realsync软件中进展数据的导出和导入过程，该过程分为源端导出过程和目的端装载过程。导出过程的日志在源端的log/log.vagentd文件中，在导出过程中的日志信息如下：Log.vagentd

34、日志内容（全同步过程中）$ cd log$ tail f log.vagentd$r 0.18% 13MB (R9: 4.44,C1: 0.00,W5: 0.00,P: 4.44,T:0,E:1) TIME:Thu Dec 15 23:14:55 2011/*开场抽取表，显示百分比（0.18%），已经抽取的大小（13MB），读取速度（R9:4.44），压缩速度（C1: 0.00，写速度（W5: 0.00），平均速度（P: 4.44），总共耗时（E:1ms）*/INFO: CR-POOL initialized! CR_POOL size: 1000, eliminate algorithm :

35、 1(FIFO) xexp TBCS.SUBS_PRODUCT P_R_20 .(PID:26945 ReaderID:2)Performance report is disabledDetail Performance report is disabled2012-01-14:23:15:01, 0 sequence save to cachegrp# size seq# bsz nab flg dup TH Next-SCN 2011/12/15 23:15:0110 4192256 21014 1024 1283568 8 1 1 0xffffffffffff 21014.1283083

36、.014 4192256 15840 1024 1668169 8 1 2 0xffffffffffff 15840.1667573.0线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志）假如出现以上信息说明全同步过程正常开场。log.s0,log.s1,log.s2,log.s3是全同步过程中目的端的日志执行tail -f log.s0日志不断变化同时无错误提示说明目的端装载正常。$ cd log$tail f log.s0IPC_KEY=0x630106cdCHECK_MEMLEAK is turned offEntering XF1ToOracleLoader(pid

37、:17379, sem_no:8). .Loader: 0.xf1 2012-01-14:12:16:38: TRUNCATE TABLE ODS.SUBSCRIBER_1 .Truncate OK2012-01-14:12:16:38: 0-I 0-D 0-U 2-DDL(0 ms)Loader: 1.xf1 DP: handler size: 0, allocated 16384KB, maxrows one time 10242012-01-14:12:16:38: 1-I 0-D 0-U 0-DDL(0 ms)Loader: 2.xf1 Mapping TBCS. SUBSCRIBER

38、 - ODS. SUBSCRIBER_1ODS SUBSCRIBER_1 1 rows1 rows mapped2 如何推断全同步过程顺利完成全同步过程的完成分为两个阶段：源端导出过程完成和目的端装载过程完成。源端导出过程完成的标志：源端导出过程都打印在log.vagentd日志中，在该日志的导出完成后会看到如下信息：= Summary of DBPS Express Export = Tables 6 (36) Rows 835752820 Extents 16272 Zip Level 1 To Read 4800.00MB Read 130176.00MB CR Read 0.00MB

39、XF1 117434.39MB XF1 Zipped 33602.50MB (71.39%) Elapsed 00:32:59.579(1979.579s) =当看到以上的全同步导出统计信息时，可认为源端的导出已经完毕目的端装载过程完成的检查：目的端的装载是有多个队列共同完成的，因而我们需要监测几个队列下都已经完成了。检查一：检查目的端的log.s*日志中已经没有新的任务在执行。检查二：检查目的端的rmp/sync0,sync1,sync2队列中已经没有任何xf1文件。$ cd rmp$ls sync*sync0:cfg.loadernosync1:cfg.loadernosync2:cfg.

40、loaderno当目的端装载完成全同步的数据后，将自动进入到实时同步阶段，我们能够通过查看目的端的log.r0观察系统是否已经自动进入到了实时同步阶段：$ cd log$tail f log.r0Loader: 1.xf1 2011-12-16:03:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 2011-12-16:03:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2011-12-16:03:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2011-1

41、2-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)6 realsync目录和文件构造说明6.1 源端安装目录说明安装完成的目录构造如下：rac2 /sharedisk/realsync$ ls -lrt total 128drwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 indexd

42、rwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 softdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 expdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:12 scriptsdrwxr-xr-x 3 dsg oinstall 96 Dec 15 21:21 logdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:24 vcfsddrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:52 configdrwxr-xr-x 4 dsg

43、oinstall 8192 Dec 19 12:00 bindrwxr-xr-x 3 dsg oinstall 32768 Dec 20 15:16 rmpdrwxr-xr-x 3 dsg oinstall 8192 Dec 20 15:16 vcfsarac2 /sharedisk/realsync$n Scripts目录：所有脚本所在目录n $VCFS_HOME：该环境变量一般设为vcfsa，用以保存系统运转状态，如log读取的位置，uncommitted买卖、统计信息n $XLDR_HOME：该环境变量一般设为rmp，用以保存数据传输之前的缓存队列和传输操纵信息n bin目录：执行文件所在目录n Vcfsd目录：系统配置信息，由dbpsd进程使用6.1.1 config目录重点文件说明n mapping.ini：set dm命令中用到的映射关系文件。n