华为双活数据中心解决方案技术主打胶片.pptx

,华为双活数据中心端到端解决方案,V2.0_2014.12,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,目录,1234,背景与挑战,双活数据中心端到端解决方案关键技术场景,故障场景及性能方案优势,56,成功故事,HUAWEITECHNOLOGIESCO.,LTD.,Page1,IT系统业务连续的重要性,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,设备故障,高,病毒,数据损坏,蠕虫,每小时停机损失,磁盘故障,每年的发生频率,应用中断,组件故障网络问题,区域性灾难,电源故障空调故障,648,恐怖行动/国内动乱,数据中心故障,建筑火灾,280,200160,自然灾害,110,低,63,9,低,单次发生的损失,高,统计显示：,单位：万美元,媒体医疗零售业制造业电信能源金融,97%的局部故障会导致企业对外业务运行中断；,服务,来源：NetworkComputing,theMetaGroupandContingencyPlanningResearch,3%的全局故障引起企业数据丢失，可能导致企业消亡；,HUAWEITECHNOLOGIESCO.,LTD.,Page2,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,灾备相关法规,灾难恢复能力等级划分为16级别,信息安全技术信息系统灾难恢复规范,从备份系统、备用数据处理系统、网络系统、基础设置、专业技术支持能力,、运行维护管理能力、灾难恢复预案等要素，做出了规定,GB/T20988-2007,银行业信息系统灾难恢复管理规范,坚持“风险规避”的灾难备份中心布局原则，并明确规定“灾难备份中心应设置在中华人名共和国境内”,JR/T0044:2008,关于进一步加强银行业金融机构信息安全保障工作的指导意见,全国性大型银行，原则上应同时采用同城和异地灾难备份和恢复策略，区域性银行可采用同城或异地灾难备份和恢复策略。,银发【2006】123,总资产规模一千亿元人民币以上且跨省设立分支机构的法人商业银行，及省级农村信用联合社应设立异地模式灾备中心，重要信息系统灾难恢复能力应达到信息安全技术信息系统灾难恢复规范中定义的灾难恢复等级第5级（含）以上；其他法人商业银行应设立同城模式灾备中心并实现数据异地备份，重要信息系统灾难恢复能力应达到信息安全技术信息系统灾难恢复规范中定义的灾难恢复等级第4级（含）以上。,商业银行数据中心监管指引,银监会【2010】114,HUAWEITECHNOLOGIESCO.,LTD.,Page3,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,客户面临的挑战,方案优势,客户痛点,数据、业务、网络连续性双中心资源利用率高,IT、网络资源利用率低，TCO低,客户痛点,手动切换，网络、业务中断时间长,业务、网络访问负载分担,组件多，故障恢复过程复杂，运维成本高故障发生时，备份网络、数据是否可用？,数据丢失，不可挽回经济损失，名誉损失无冗余网络，恢复能力弱,端到端实时可用，自动容灾切换,FusionSphere,FusiSph,FusSph,站点1,站点2双活数据中心,点1,站点2,主备数据中心,容灾等级,单,1,2,3,4,5,6,7,HUAWEITECHNOLOGIESCO.,LTD.,Page4,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,ICT技术推动双活建设,AN/MAN,AN/MAN,连接至多活云,DC网络,跨DC二层,DC网络,多活云DC,IP/FCSAN,IP/FCSAN,存储双活,活跃,备份,活跃,活跃,历史,现状,未来,传统路由技术,二层互联、低时延波分技术涌现,SDN网络自动化技术,规划复杂，不支持跨DC高可用,简化业务部署，跨DC高可用,系统化、自动化网络部署、切换，多DC业务编排能力,传统存储复制技术,虚拟化存储技术,主备模式，不支持跨DC高可用,双活模式，跨两个DC提供可同时读写的双活卷,云存储技术多DC存储云化部署，多活云,HUAWEITECHNOLOGIESCO.,LTD.,Page5,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,目录,1234,背景与挑战,双活数据中心端到端解决方案关键技术场景,故障场景及性能方案优势,56,成功故事,HUAWEITECHNOLOGIESCO.,LTD.,Page6,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,华为双活数据中心端到端技术架构,GSLB,DC出口,GSLBSLB,网络层,100km裸光纤,SLB,核心层,双活网络层,汇聚层接入层,高可靠、优化的二层互联,最优的访问路径,应用层存储层,双活应用层,FusionSphere,FusionSphere,OracleRAC、VMware、FusionSphere跨DC高可用、负载均衡、迁移调度,双活存储层,双活访问、数据零丢失异构阵列,数据中心A,数据中心B,HUAWEITECHNOLOGIESCO.,LTD.,Page7,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,双活数据中心的两种建设模式,分支机构和用户,分支机构和用户,N/MAerne,N/MAterne,数据中心B,数据中心A,数据中心A,数据中心B,业务1(主),业务2(备),业务1(备),业务2(主),业务1(主),业务2(主),业务2(主),(主),业务分布式运行在两个数据中心,通过运营手段，实现业务的交叉容灾,运营级双活,业务级双活,两中心同时提供同一项业务，一般需要部署SLB/GSLB设备,不同业务部署在不同中心，互为主备,提高IT资源利用率，分担访问压力,提高IT资源利用率及业务连续性,HUAWEITECHNOLOGIESCO.,LTD.,Page8,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,客户应用场景1C/S应用端到端双活设计,C/S应用的双活设计,应用特点,多为中间件应用,WAN,App-DB两层结构,App采用虚拟机部署、虚拟机采用集群部署方式，无SLB,DC出口路由器,DC出口路由器,DB仅对App提供服务,Site1网络,双活/集中网关,DCIL2互联,双活/集中网关,Site2网络,App层双活访问,向DC内、WAN发布主机路由(双活网关)网段路由(集中网关),业务级双活：部署双活网关方案网关动态感知VM位置，发布主机路由，优化访问路径,向DC内、WAN发布主机路由(双活网关)网段路由(集中网关),FusionSphere,FusionSphere,App(中间件)层DCIL2互联,以VM颗粒度负载分担,双活网关,双活网关,运营级双活：部署集中网关方案网关部署简单，发布网段路由即可以中间件业务颗粒负载分担,仅向DC内发布主机路由,仅向DC内发布主机路由,DB层,DB层双活访问,业务级双活：部署双活网关方案手工向DC内发布主机路由,DCIL2互联,集中网关下访问双活网关下访问,存储层,存储层双活,双活数据中心,双活数据中心,部署VIS存储层双活方案,HUAWEITECHNOLOGIESCO.,LTD.,Page9,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,客户应用场景2B/S应用端到端双活设计,B/S应用的双活设计,WAN,应用特点,多为Web应用,DNS解析至不同Site的IP,DC出口路由器,GSLB,GSLB网关,DC出口路由器,Web-App-DB三层结构,Web采用虚拟机部署，虚拟机不部署集群DB仅对App/Web提供服务,Site1网络,网关,Site2网络,IP1,IP2,Web层双活访问,发布,发布,App(中间件)+Web层,网段路由(两边网关独立),FusionSphere,FusionSphere,网段路由(两边网关独立),业务级双活：,两网关独立，三层互联,GSLB检测Web应用状态，负载分担以用户、连接为颗粒度负载分担,DCIL2互联,双活网关,双活网关,仅向DC内发布主机路由,仅向DC内发布主机路由,DB层双活访问,业务级双活：,DB层,部署双活网关方案向DC内发布主机路由,DCIL2互联,存储层双活,部署VIS存储层双活方案,存储层,双活数据中心,双活数据中心,HUAWEITECHNOLOGIESCO.,LTD.,Page10,后端应用的双活（OracleRAC）,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,数据中心A,数据中心B,数据中心业务分布设计,应用A访问service1,应用B访问service2,集群“2+1”部署,适配数据中心业务分布有偏重的场景,适配两个数据中心存在优先存活数据中心的场景,VIP1,VIP2,VIP3,OracleRAC仲裁原则,Service1,Service1,Service2,拥有最多节点数目的子集群（Sub-clusterwithlargestnumberofNodes）获胜,Listener1Instance1,Listener2Instance2,Listener3Instance3,若子集群内数目相等则拥有最低节点号的子集群(Sub-clusterwithlowestnodenumber)获胜,Node1,Node3,访问分离减少缓存融合,ASM（自动存储管理）OracleClusterware（集群软件）OperatingSystem,访问分离,为了避免跨数据中心进行数据的交互，建议在OracleRAC层创建不同的service，实现业务分离。,OperatingSystem,OperatingSystem,通过OracleRAC透明应用程序故障切换（TAF）的PREFERRED功能设置应用只访问本地实例；同时设置远端数据中心的实例为AVAILABLE，只有本地实例都故障才切换到远端实例。,SharedStorage,RAC对存储的需求,“Shareeverything”原则,服务配置策略,服务名SERVICE1SERVICE2,INSTANCE1PREFERREDAVAILABLE,INSTANCE2PREFERREDAVAILABLE,INSTANCE3AVAILABLEPREFERRED,所有的文件：包括集群ocr文件、votingdisk、数据,文件、日志文件、控制文件都需要存放在共享存储,HUAWEITECHNOLOGIESCO.,LTD.,Page11,前端应用的双活（VMware）,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,VMware配置要点,大二层互通网络，跨数据中心VM配置双活应用，使用虚拟化网关提供的镜像卷作为共享存储,vSphereClusterHAvSphereClusterDRS配置PDL参数,SQLnode1MSCS,SQLnode2MSCS,vCenterServer,AD,HuaweiOceanStorUltraPathforvSphere,vmvmvmvmvmvm,vmvmvmvmvmvm,Weblogic,Weblogic,配合负载均衡设备实现Weblogic访问自动漂移和均衡,管理集群业务集群,APP.,业务访问效果,APP,vmvmvmvmvmvmvmvmvm,.,vmvmvmvmvmvmvmvmvm,业务访问负载均衡,虚拟机分布按业务压力自动均衡故障自动切换访问,Weblogic可动态扩展,单数据中心故障恢复后，虚拟机自动回切,HUAWEITECHNOLOGIESCO.,LTD.,Page12,后端应用双活网络接入设计,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,OracleRAC节点接入设计,网卡接入,集群公网：1个公网VLAN，双网卡负载分担/主备接入,DCIL2互联,集群私网：1个私网VLAN，双网卡分别接入(2个网段),Site1网络,<100kmDWDM,Site2网络双活/集中,互联需求,双活/集中双活网关网关,集群公网、私网：均需二层互联,双活网关,网关,接入层以上融合承载，部署双活网关私网VLAN无需部署网关,虚拟机主机接入设计,网卡接入,业务VLAN：1个业务VLAN负载分担接入业务管理VLAN：1个业务管理VLAN主备接入迁移VLAN：1个迁移VLAN主备接入,FusionSphere,FusionSphere,业务管理VLAN、迁移VLAN可以合并,PublicIP1PublicIP2,PublicIP3,互联需求,公网VLAN,VirtualIP1VirtualIP2,VirtualIP3,业务VLAN、迁移VLAN：均需二层互联业务管理VLAN：三层互联,私网VLAN,PrivateIP1PrivateIP2PrivateIP4PrivateIP5,PrivateIP3PrivateIP6,FusionSphere管理VLAN，部署集中网关接入层以上融合承载，部署双活/集中网关迁移VLAN无需部署网关,业务VLAN业务管理VLAN迁移VLAN,VMIPs,VMIPs,MNGIP1MNGIP2,MNGIP3,FusionSphere,vMotionIP1vMotionIP2,vMotionIP3,HUAWEITECHNOLOGIESCO.,LTD.,Page13,存储层双活设计,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,存储层双活设计,存储层,数据中心A,数据中心,B,在数据中心A和数据中心B各部署一台VIS6600T，组成一个VIS集群，为两数据中心主机业务同时提供读写服务。同时，在数据中心A和数据中心B配置同等级和同容量的磁盘阵列。,OracleRAC集群、VMwareFusionSphere集群等,集群、,两个数据中心的磁盘阵列都由VIS集群接管，利用VIS镜像技术对两中心的磁盘阵列做镜像冗余配置，实现两个数据中心存储数据实时镜像，互为冗余。任意数据中心故障，数据零丢失。,WAVNIS集群,SAN,SAN,生产存储,数据同步镜像,生产存储,IP/FC网络,IP/FC网络,VIS集群仲裁盘,第三方仲裁站点,HUAWEITECHNOLOGIESCO.,LTD.,Page14,存储层双活设计-网络接入设计,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,仲裁站点网络,DCIL2互联,VIS节点接入设计,<100kmDWDM,Site1网络,Site2网络,网卡接入,心跳网：2个心跳VLAN，双网卡分别接入(2个网段),汇聚或核心交换机,仲裁网：1个仲裁VLAN，双网卡负载分担/主备接入,互联需求,心跳网：需二层互联,仲裁网：与仲裁站点三层互联，双活,DC间可不互联,VIS1(两个控制器),VIS2(两个控制器),心跳网无需部署网关,心跳VLAN1心跳VLAN2仲裁VLAN,心跳IP1心跳IP2心跳IP5心跳IP6仲裁IP1仲裁IP2,心跳IP3心跳IP4心跳IP7心跳IP8仲裁IP3仲裁IP4,HUAWEITECHNOLOGIESCO.,LTD.,Page15,仲裁设计-存储仲裁设计,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,仲裁部署,有第三方仲裁站点,优选：设置第三方仲裁站点，将3块仲裁盘分别部署在2台生产阵列和第三方仲裁站点的阵列上。,存储资源池,VIS集群私有网络,VIS,VIS,第三站点到双活的两个生产中心的链路可以是IP，也可以是FC。,仲裁盘1存储阵列1,仲裁盘2,无第三方仲裁站点,第三方仲裁站点,存储阵列2,备选：若无第三方仲裁站点，则选择将第三方仲裁盘配置在希望优先存活的数据中心，并实施必要的掉电保护措施。,仲裁盘3,FCIPFC或IP,数量：3块仲裁盘,条件：2块及以上仲裁盘可访问,机制：抢到2块及以上仲裁盘者存活,HUAWEITECHNOLOGIESCO.,LTD.,Page16,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,仲裁设计-优先存活站点部署建议,有第三方仲裁站点场景优先存活站点设计,两个数据中心的定位不对等情况下，要考虑优先存活站点的设置。（比如：数据中心A承担70%的业务，数据中心B承担30%的业务，可以确定数据中心A为优先站点）,数据中心A,数据中心B主机3,主机,主机2,优先站点部署2台主机,设置优先存活站点要统一考虑OracleRAC仲裁机制和VIS优,先站点设置功能。,OracleRAC可采用“2+1”的部署方式，数据中心A部署2台，数据中心B部署1台。可以保证在出现心跳链路故障时数据中心A的实例优先存活。,设置优先存活站点,VIS设置优先存站点确保当出现中间心跳链路故障时，,优先站点提前抢占仲裁盘，优先存活。,HUAWEITECHNOLOGIESCO.,LTD.,Page17,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,仲裁设计-仲裁网络设计,仲裁站点网络,广域网路由可达,可靠的仲裁网络设计,WAN,仲裁站点互联,<100kmDWDM,Site2网络,仲裁站点与双活DC间，路由可达,Site1网络,互联链路建议双线冗余部署(至少在选为优先存活站点的DC进行双线冗余部署),汇聚或核心交换机(网关),双活DC互联链路中断，尽量减小两,侧仲裁互联的影响,仲裁IP,仲裁IP,VIS1(两个控制器),VIS2(两个控制器),数据中心A(主要),数据中心B,HUAWEITECHNOLOGIESCO.,LTD.,Page18,双活互联设计-以太互联-中大型DC,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,基于以太的互联设计-中大型DC,DC出口路由器,互联波分设计,两条裸光纤,L2L2,L2L2,通过波分设备直接打通各应用的二层互联VLAN,核心交换机,波分组建1+1双发选收,互联汇聚交换机,互联汇聚交换机,互联接入设计,Eth-Trunk,Eth-Trunk,汇聚交换机(网关),对于大型DC：三层物理架构组网,增加互联汇聚交换机接入各个分区网关交换机,互联交换机，通过CSS+链路聚合接入，整网无二层环路,L2链路L3链路DWDM链路,Fusion,FusionSphere,Sphere,互联交换机，配置二层风暴抑制,HUAWEITECHNOLOGIESCO.,LTD.,Page19,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,双活互联设计-以太互联-中小型DC,基于以太的互联设计-中小型DC,DC出口路由器,互联波分设计,两条裸光纤,通过波分设备直接打通各应用的,L2+L3,L2+L3,二层互联VLAN,波分组建1+1双发选收,Eth-Trunk,Eth-Trunk,核心网关,互联接入设计,CSS,CSS,BPDU过滤(可选),对于小型DC：,二层物理架构组网直接由核心交换机互联无需汇聚互联交换机,iStack,iStack,iStack,iStack,L2链路L3链路,汇聚交换机，配置二层风暴抑制,DWDM链路,FusionSphere,FusionSphere,HUAWEITECHNOLOGIESCO.,LTD.,Page20,双活互联设计-EVN互联-中大型DC,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,基于EVN的互联设计-中大型DC互联EVN设计,波分、物理连接设计不变互联汇聚交换机运行EVNPEEVNPE间，形成EVN二层通道,DC出口,路由器,EVNPE,EVNPE,互联接入设计,整网路由可达,L2L2,L2L2,核心交换机,波分接入核心交换机,方案特点,二层域优化：DC间三层互通，二层域完全隔离ARP广播、未知单播限制在本DC,互联汇聚交换机,互联汇聚交换机,汇聚交换机(网关),高带宽利用率PE接入、PE间互联均可负载分担,简化组网运维互联接入位置集中，仅6条配置命令,支持非DWDM路由可达，即可二层互联,L2链路L3链路DWDM链路,FusionSphere,FusionSphere,HUAWEITECHNOLOGIESCO.,LTD.,Page21,双活互联设计-EVN互联-中小型DC,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,基于EVN的互联设计-中小型DC互联EVN设计,波分、物理连接设计不变,DC出口路由器,汇聚交换机划分2个VS，分别运行网关及EVNPE,D,EVNPE间，形成EVN二层通道,互联接入设计,整网路由可达,核心网关,波分接入核心交换机(VS1),EVNPE,方案特点,VS1VS2,VS2,VS1VS2VS1VS2,二层域优化：DC间三层互通，二层域完全隔离ARP广播、未知单播限制在本DC,RB节点,高带宽利用率PE接入、PE间互联均可负载分担,L2链路L3链路,简化组网运维互联接入位置集中，仅6条配置命令,支持非DWDM路由可达，即可二层互联,FusionSphere,FusionSphere,HUAWEITECHNOLOGIESCO.,LTD.,Page22,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,目录,1234,背景与挑战,双活数据中心端到端解决方案关键技术场景,故障场景及性能方案优势,56,成功故事,HUAWEITECHNOLOGIESCO.,LTD.,Page23,双活关键技术全景图,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,DB集群应用：OracleExtendedDistanceCluster,BS应用：双活网关-GSLB全局负载均衡技术,应用层,网络访问层,前端集群应用：VMware、FusionSphereWeblogic、WebSphere,CS应用：集中网关-RHI主机路由发布,华为双活数据中心,基于以太网：低时延波分互联基于EVN：,网络互联层,存储层,存储双活：,VIS集群技术VIS双活镜像卷技术,EVN协议互联及,二层优化,HUAWEITECHNOLOGIESCO.,LTD.,Page24,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,OracleExtendedDistanceCluster对网络互联的要求,PrivateNetwork,PublicNetwork,VirtualIP,1.OracleRAC私有网络用于节点之间的心跳同步及数据共享(CacheFusion),1.OracleRAC公有网络用于与应用的交互,1.,与需要在VIPPublicIP,每个,同一网段,2.要求支持TCP/IP,2.VIP可在集群节点间漂移，,2.要求支持UDP和TPC/IP,用于向OracleClient通告服TAF-,3.不同节点上的PublicIP具有相同的subnet,务器侧故障（,3.不同节点上的PrivateIP具有相同的subnet,TransparentApplicationFailover机制）,跨数据中心二层互联,备注：以上要求为Oracle10g及Oracle11g版本要求,HUAWEITECHNOLOGIESCO.,LTD.,Page25,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,OracleExtendedDistanceCluster对时延的要求,CacheFusion时延要求,数据库事务,CacheFusiontrafficisnotassensitivetodistanceasI/Olatency.Thisarchitecturefitsbestwherethe2datacentersarelocatedrelativelyclose(<100km),LGWR,引自：,(OracleRealApplicationClusters(RAC)onExtendedDistanceClustersWithupdates,forOracleDatabase11gRelease2)AnOracleWhitePaper,VIS集群,OnlineRedologs,共享卷,业务IO时延要求,写确认,写确认,类型,性能好,性能可接受性能差,LUN,dbfilesequentialread<10ms20ms>15ms>15ms,LUN,<100km,dbfileparallelwrite,<10ms<15ms<=5ms<15ms,数据中心A磁盘阵列,数据中心B磁盘阵列,logfileparallelwrite,引自：,备注：Redolog的写时延取决于来自远端存储的写确认所需的最长时间。,Oracle官方资料：（HowtoTelliftheIOoftheDatabaseisSlowID1275596.1）(OracleWaitEventsThatEveryoneShouldKnow),HUAWEITECHNOLOGIESCO.,LTD.,Page26,华为双活方案和Oracle的最佳实践,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,OracleRAC配置建议,对OracleClusterware和Oracle数据库二进制文件和主目录进行本地存储，这样可以实现滚动升级。,数据库内存分配建议设为60%-80%系统内存，OLTP数据库应用中SGA设为数据库使用总内存的80%、PGA设为数据库使用总内存的20%，OLAP数据库应用中SGA设为数据库使用总内存的50%，PGA设为数据库使用总内存的50%；,如果打开了超线程，建议将parallel_threads_per_cpu设为1；,根据应用及硬件情况优化PARALLEL_MIN_SERVERS和PARALLEL_MAX_SERVERS的值。PARALLEL_MAX_SERVERS建议设为Min(2*parallel_threads_per_cpu*#cores,#disks)；,建议使用fast_start_mttr_target参数控制恢复时间。如将fast_start_mttr_target设置为300（即300s以内恢复,）。,为了避免“checkpointnotcomplete”情况和频繁的日志切换影响性能，建议至少为每个线程创建3个redo（重做）日志组，并且redo日志的大小应允许每15-30分钟发生一次日志切换。,HUAWEITECHNOLOGIESCO.,LTD.,Page27,华为双活方案和Oracle的最佳实践,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,OracleRAC存储规划,文件类型,ASM磁盘组名称ASM冗余方式,ASMDisk3个ASMDisk,存储池,硬盘域,VotingDisk、OCR、ASM参数文件,由于数据量较少，无需分散到各个存储池，建议RAID10单独使用一个存储池存放，建议RAID10,+GRID,NORMAL,SAS盘SAS盘,联机重做日志文件,+REDO+DATA+SYS,建议至少4个ASMDisk建议至少4个ASMDisk,（1）建议SSD+SAS+NL-SAS共存,数据文件、控制文件,系统表空间、还原表空间数据文件,建议至少4个ASMDisk建议存放在与联机重做日志相区分的存储池中，每个ASM建议至少4个ASMDisk,（2）SSD：SSD盘的容量应,EXTERNAL,大于数据库热点数据的总量；,临时文件,+TEMP,Disk可存放在1个存储池，将数,NL-SAS：FRA区通常建议为整个数据库容量的1.5倍,据尽可能的分散到更多的硬盘,FRA区（包括归档日,上。,+FRA,建议至少4个ASMDisk,志文件）,（3）采用Smarttier自动分,级存储功能,HUAWEITECHNOLOGIESCO.,LTD.,Page28,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,虚拟化对网络互联的要求,虚拟化对网络互连的要求,虚拟化是必然趋势,虚拟机迁移技术可以使数据中心的计算资源得到灵活的调,配，进一步提高虚拟机资源的利用率。,虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这,就需要虚拟机迁移前后的网络处于同一个二层域内部。,vMotion需要在二层网络中完成迁移,由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，出现了专业的大二层网络。,APPOS,APPOS,APPOS,APPOS,vMotion迁移虚拟机,VMwareESXServerX86Architecture,VMwareESXServerX86Architecture,数据中心虚拟化对网络的挑战大规模二层网络,HUAWEITECHNOLOGIESCO.,LTD.,Page29,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,VMware对时延的要求,站点之间最大支持VMwareESXi管理网络的网络时延是往返10msRTTvMotion在VMwarevSphere5.*标准版和企业版要求5msRTT。,vMotion中10msRTT的延时只有在具有VMwarevSphereEnterprisePlus版本许可中才支持，这个版本许可包括MetrovMotion功能。,ESXivMotion的网络需要最少622Mbps的网络带宽，并且有冗余链路。,引自：,VMware官方资料：(VMwarevSphereMetroStorageClusterCaseStudyVMwarevSphere5.0),HUAWEITECHNOLOGIESCO.,LTD.,Page30,华为双活方案和VMware的最佳实践,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,何为PDL（PermanentDeviceLoss）,触发条件：,PDL故障,主机与存储间连接正常，但主机无法读写存储现象：,仲裁阵列,VM处于“假死”状态,ESXiESXi,ESXi,IPSW,ESXi,产生PDL的典型场景,IPSW,IPSWFCSWFCSW,数据中心间IP心跳链路均为正常,VIS,FCSW,VIS,数据中心FC链路全中断,FCSW,解决方案配置HA参数：,Array,Array,Disk.AutoremoveOnPDL，disk.terminateVMOnPDLDefault,效果：,VM自动漂移到其他ESXi主机,HUAWEITECHNOLOGIESCO.,LTD.,Page31,华为双活方案和VMware的最佳实践,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,何为APD（AllPathDown）,触发条件：,APD故障,主机与存储间所有链路故障,现象：,仲裁阵列,ESXi,ESXi,VM处于“挂死”状态,ESXi,IPSW,ESXi,产生APD的典型场景,IPSWFCSWFCSW,IPSWFCSWFCSW,单个ESXi主机FC链路全中断；,VIS,单数据中心双FC交换机全故障；非交叉组网单数据中心VIS双节点同时故障。,VIS,Array,Array,解决方案（仅华为方案适用）,安装华为多路径软件：,多路径软件通过监控链路超时之后，将APD故障改为PDL故障，触发VMware对VM做HA,HUAWEITECHNOLOGIESCO.,LTD.,Page32,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,VIS集群技术,跨站点VIS集群,应用系统（主机层）,地域优化访问,针对双活数据中心场景，先进的地域识别,优化技术，减少跨站点通讯，提高系统性能,VIS私有网络,VIS集群,故障不间断访问,在各单部件和链路故障，甚至整个数据中心故障，都可以实现业务自动无缝切换,（详见故障切换章节）,数据中心A,数据中心B,HUAWEITECHNOLOGIESCO.,LTD.,Page33,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,跨中心存储双活访问-地域优化读访问,应用集群,优化读,应用,应用,“SiteRead”模式,以避免虚拟化引擎跨数据中心读取数据，提升方案整体性能。其流程如下：,VIS集群,读请求到镜像卷；,镜像卷根据策略下发请求到与虚拟化引擎,在同一个数据中心的镜像数据盘读取数据；,镜像数据盘返回读数据；,镜像卷返回读数据。数据中心A,数据中心B,HUAWEITECHNOLOGIESCO.,LTD.,Page34,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,跨中心存储双活访问-地域优化写访问,优化写,没有优化写,应用集群,应用集群,应用集群,应用,应用,应用,应用,应用,应用,AA集群,AP集群,AP集群,数据中心A,数据中心B,数据中心A,数据中心B,数据中心A,数据中心B,AA集群的每个节点都能够承接写IO，由本地节点处理本地主机的IO请求，避免主机将写IO发给跨数据中心的存储，减少跨数据中心的访问次数。,AP集群只有主站点的主控制器可以读写数据。部分主机需要将IO发给跨数据中心的存储，导致多次跨数据中心访问，严重影响性能。,HUAWEITECHNOLOGIESCO.,LTD.,Page35,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,跨中心存储双活访问-地域优化访问,故障后，也能优化读写,应用,应用,优先本地,VIS私有网络,VIS私有网络,VIS集群,VIS集群,数据中心B,数据中心A,数据中心A,数据中心B,多路径软件支持优选本地路径模式，将优先使用本地VIS节点来下发I/O，只有当本地节点路径故障后才跨数据中心访问远端VIS节点。,HUAWEITECHNOLOGIESCO.,LTD.,Page36,HUAWEIENTERPRISEICTSOLITIONSABETTERWAY,低延时波分互联设计,前向纠错优化,业务汇聚板优化,OSNR余量充足的场景，选择一级解码以减少时延OSNR余量较小的场景，优先选择二级解码,带宽需求小于40Gb/s，建议不使用合波/分波板建议优选波长转换类业务板,纠前误码率,纠后误NCG-解码,时延值,解码方式,码率1E-15无,增益（dB）（us）,一级解码二级解码三级解码,2.17E-32.07E-33.04E-4,8.5,42.3284.64126.97,业务汇聚板类型,时延值（us）,8.536.98,合波/分波板,<0.1,无,波长转换类：1015支路线路类：20,业务板,0.03%,3%,6.97%12.50%,色散补偿优化建议选择FBG补偿方式,77.50%,传输距离（km）DCF（us）FBG（us）,光纤传输距离优化,80,658197,0.050.050.05,缩短路由优选路由,100120,HUAWEITECHNOLOGIESCO.,LTD.,Page37,传输互联1+1保护方案,HUAWEIENTERPRISEICTSOLIT