售后服务节点服务器群集及网络存储系统集成方案.pdf

《售后服务节点服务器群集及网络存储系统集成方案.pdf》由会员分享，可在线阅读，更多相关《售后服务节点服务器群集及网络存储系统集成方案.pdf（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、（售后服务）（售后服务）节点服务节点服务器群集及网络存储系统集器群集及网络存储系统集成方案成方案0执行编制人审核人第壹次发布修订内容批准人日期版本状态2 2 节点服务器群集及网络存储系统集成方案节点服务器群集及网络存储系统集成方案文件编号级别版本编制部门ZBICCBCG05332A信息中心发布单位：中国核工业第五建设公司 AP1000 施工总承包部版权声明：此文件内容属中国核工业第五建设公司所有，未经同意不得引用、复制、借阅或发表。目录目录1.说明32.需求分析和选型原则32.1需求分析32.2选型原则43.2节点服务器群集介绍54.服务器群集方法比较55.网络存储系统技术介绍65.1网络存储

2、技术分类65.2网络存储方式对比76.网络存储技术方案整合86.1NAS+SAN方案86.2NAS+SAN融合构架97.网络存储安全108.存储方案总结118.1相同点118.2不同点119.总承包部网络存储部署方案119.1总包部存储及服务器使用情况119.2部署方案选择149.3产品的选型1410.存储系统划分1511.Oracle数据库集群部署1611.1Oracle群集系统的介绍1611.2Windows平台下Oracle集群的安装步骤181.1.说明说明随着总包部信息系统的深入应用，信息系统内的服务器担负着总包部的关键应用，存储着重要的信息和数据，为总包部领导及决策部门提供综合信息查

3、询服务，因此，建立可靠的网络群集存储系统，保护关键应用的数据安全是重中之重，本方案是根据 AP1000 三门核电项目信息系统的特点而编制的，于总包部现有计算机网络平台的基础上，构建壹套群集存储系统，保证数据的完整性，避免数据不会破坏和丢失。2.2.需求分析和选型原则需求分析和选型原则2.1 需求分析随着总承包部业务数据的增加和应用对数据的依赖性的增强，数据的有效汇集、集中管理、综合分析以及容灾备份等处理要求日益提高，总承包部存储系统应具备以下的需求：数据集中化数据存储和管理集中化这种模式有利于总包部各项业务间的联动处理，且且有利于实现分级授权，加强控制和监督，提高总包部集约化管理水平；业务综合

4、化业务综合处理就是将各种业务紧密结合起来成为壹个整体，使得各系统之间、部门之间信息共享，以消除总包部信息孤岛现象，为数据挖掘和决策分析奠定坚实基础；数据安全性存储系统作为数据高度集中的系统，数据的安全是第壹位的，必须从网络、操作系统、数据库、存储设备等方面建立起壹套严密的保障措施，保证总包部、用户和业务数据的 100%可用；高可靠性和高可用性存储系统的数据备份是保证数据高可靠、高可用的基本手段，于本地及异地建立和业务系统相同的备份系统，或将各种系统的数据进行实时备份，将大大提高数据资源的可靠性；效率和成本总包部目前的数据由于比较分散，管理和备份均相当的难度，容易造成损坏或丢失，安全性很低，新部

5、署的存储系统，数据需高度集中，管理和备份均非常方便，能够提高了工作效率同时也能够降低系统成本；兼容性和可扩展性由于总包部工作的进壹步开展和扩大，数据量会迅速的增加，存储系统的可扩展性尤为重要，良好的扩展性能够保证系统的连续性；数据备份存储系统正式运行后，数据及应用系统均迫切需要行之有效的数据安全保护措施，于此情况下，必须采取有效的数据备份手段，确保网络系统、应用系统的高度安全，建立自动化、跨平台网络备份管理系统有利于以后系统管理要求；2.2 选型原则 先进性群集及网络存储集成系统采用的技术必须是先进而成熟的；当下计算机技术的发展日新月异，要保护总包部的投资就必须采用先进的技术，且且这种技术和产

6、品必须被业界公认为成熟且有发展前途的；实用性建设群集及网络存储集成系统的目的是要解决总包部数据信息的共享和交换，提供现代化的管理，因此，部署存储系统的出发点就是要满足用户的信息要求；经济性于进行设备选择时不但要考虑采用技术的先进、可靠，而且仍必须考虑总包部的经济负担。因此，群集及网络存储集成系统方案必须具备很高的性价比；高可管理性和高可靠性由于总包部整个信息系统的数据采取集中式的存储策略，所以群集及网络存储集成系统必须具备很高的可管理性，另外，计算机网络系统的外部环境是多变的，存储方案必须能够很方便地进行调整，以满足外部环境的变化；高可扩充性和升级能力群集及网络存储集成系统方案必须能够适应总包

7、部网络系统发展的需要，具备高可扩充性和升级能力，存储系统必须是能够扩充的，必须具备较高的扩展能力，而且随着计算机技术的发展能够对存储局域网络进行升级；开放性和标准化群集及网络存储集成系统中所采用的技术和选用的产品均必须是目前业界公认的主流，而且必须满足开放性的要求。3.3.2 2 节点服务器群集介绍节点服务器群集介绍2 节点服务器群集是通过俩台服务器共享壹个外部的磁盘存储设备，所有要求高可用的数据和应用程序代码存储于共享的设备中，俩台服务器分别对磁盘存储设备具有访问权，当壹个服务器发生失效的时候，另外壹个服务器仍然能够对共享存储设备中的数据进行访问，客户端网络的访问，能够由这台服务器继续维持。

8、4.4.服务器群集方法比较服务器群集方法比较5.5.网络存储系统技术介绍网络存储系统技术介绍众所周知，目前主流存储应用的体系结构主要有 DAS、NAS 和 SAN 三种模式，三种模式从体系架构的逻辑上见，有明显的区别，根据总包部实际情况，本方案必须符合性能、安全性、扩展性、易用性、整体拥有成本、服务等要求。5.1 网络存储技术分类5.1.1 DASDAS 是大型服务器采用的主要存储方式，是指将外置存储设备通过连接电缆，直接连接到壹台或多台服务器上，采用直接外挂存储方案的服务器结构如同PC 机架构，外部数据存储设备采用 SCSI 技术，直接挂接于内部总线上的方式，数据存储是整个服务器结构的壹部分

9、，于这种情况下往往是数据和操作系统均未分离，DAS 这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，且且单台外置存储系统的容量，已经从不到 1TB，发展到了 2TB，随着大容量硬盘的推出，单台外置存储系统容量仍会上升，此外，DAS 仍能够构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求，从目前发展趋势上见，DAS 仍然会作为壹种存储模式，继续得到应用。5.1.2 NASNAS 设备主要用来实当下不同操作系统平台下的文件共享应用，和传统的服务器或 DAS 存储设备相比，NAS 设备的安装、调试、使用和管理非常简单，采用 NAS 能够节省壹定的设备管理和维护费用，NAS

10、 设备提供 RJ-45 接口和单独的 IP 地址，能够将其直接挂接于主干网的交换机或其它局域网的桌面交换机上，通过简单的设置就能够于网络即插即用地使用 NAS 设备，而且进行网络数据于线扩容时也无需停顿，从而保证数据流畅存储。5.1.3 SANSAN 的支撑技术是光纤通道技术，光纤通道是 ANSI 为网络和通道 I/O 接口建立的壹个标准集成，支持 HIPPI、IPI、SCSI、IP、ATM 等多种高级协议，它的最大特性是将网络和设备的通讯协议和传输物理介质隔离开，这样多种协议可于同壹个物理连接上同时传送，高性能存储体和宽带网络使用单 I/O 接口，使得系统的成本和复杂程度大大降低，光纤通道支

11、持多种拓扑结构。5.2 网络存储方式对比5.2.1 NAS1)特点NAS 可理解为是壹整套的网络存储服务器产品，它和客户之间通过 NFS和 CIFS 协议通信，网络中多个不同操作系统的应用服务器均支持这俩个协议，于服务器集群系统尤其显得重要，能够实现不同操作系统之间文件共享，即异构平台实现文件共享；2)缺点单壹连入网络容易单点失败，壹旦出错，系统将无法访问数据；扩张性能方面，NAS 不保证服务持续，添加新的磁盘将引起服务中断；NAS 是提供文件级的访问，经过 TCP/IP 打包才能传输数据，打包解包影响传输速度；NAS 的备份和恢复相当困难，备份时间依数据量而定，容易使网络饱和；因此 NAS

12、不能满足事务处理。5.2.2 SAN1)特点SAN 可理解为壹个专用网络，能够把壹个或多个系统连接到存储设备和子系统，是负责存储传输的“后端”网络，而“前端”网络（即数据网络）负责正常的数据传输，SAN 主要通过 FibreChannel 连接，于光纤协议上映射 SCSImingling，实现块级数据访问，能够实现高可用性、高扩张性、集中存储、较小备份周期等。2)缺点只实现设备及共享，各个客户端的存储空间是分离的；通过 FibreChannel 实现连接，设备价格高昂，SAN 的实现需要相当高的费用；同时网络维护也需要相当的开销；6.6.网络存储技术方案整合网络存储技术方案整合6.1 NAS+

13、SAN 方案NAS+SAN 网络存储方案适合于大型企业存储，将俩种方式进行融合，根据总包部实际需要进行选择组合，即能够使用以 NAS 为主、SAN 为辅，也能够使用 SAN 为主、NAS 为辅；6.1.1 NAS 为主、SAN 为辅NAS 为主的整合方法是将 NAS 中的操作系统和存储服务器分开，通过 SAN连接操作系统和存储资源，对外通过 NFS 和 CIFS 协议提供基于文件级的数据访问，同时仍能够通过 ISCSI 协议提供对基于块数据级访问。网络能够利用 SAN来统壹管理存储资源，且进行高效备份和远程容灾，仍能够通过存储服务器，对外提供异构平台数据共享，不过通过存储器访问存储资源，会有壹

14、定开销，拓朴图如下：6.1.2 SAN 为主、NAS 为辅SAN 为主、NAS 为辅的方法是将应用服务器中文件系统功能剥离出来，集中到元数据服务器，对外通过直接提供和 SAN 相连，且通过存储服务器实现块级数据的访问，对于访问文件级数据而言，需要通过元数据服务器访问SAN，对元数据服务器会产生而外开销，拓朴图如下：6.2 NAS+SAN 融合构架存储服务器为 NAS 服务器，其他服务器除了和以太网连接外，仍和SAN 直接连接，即解决了NAS 单点失败问题，也解决了SAN 块级数据访问问题。此方案能够满足上述 2 个系统的存储需求，又有较高的I/O 速度，实现数据备份和远程容灾，提供较高可靠性，

15、因此，此方案适合很多大中型企业，不仅可应用于关键业务，也能够实现文件级和块级数据访问，部署结构图如下：7.7.网络存储安全网络存储安全存储安全实质上是指系统中的数据受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统可连续可靠正常地运行；因此，于网络存储选型时必须考虑其安全性且保证符合以下要求：保密性：存储信息不泄露给非授权用户、实体或过程；完整性：数据未经授权不能进行改变的特性；即信息于存储或传输过程中保持不被恶意修改、破坏和丢失；可用性：可被授权实体访问且按需求使用的特性，即当需要时能否存取所需的信息；可控性：对存储信息及内容具有控制能力。8.8.存储方案总结存储方案总结NAS、

16、SAN 和传统网络存储技术相比而言，无论是从网络传输带宽、数据共享性仍是从存储容量的可扩充性、数据的壹体化和安全性等方面来说，其优越性是不言而喻的，所以，我们于选择存储方案时，实际上也是就对NAS 和 SAN 的择择了，能够说，NAS 和 SAN 各有其长短之处，于实际应用中也各有不同之处，对于经济实力不足，有传统以太网络，且急需扩充存储空间的用户，NAS 无疑是壹种便宜、快速的方案，而对于拥有强大经济后盾，对网络性能要求较高及未来发展势头强劲的用户，则应该选择 SAN 或者选择 NAS+SAN 模式；8.1 相同点NAS 和 SAN 也有许多共同的特点，它们均提供集中化的数据存储和整合优化，

17、均能有效的存取文件，均允许于众多的主机间共享且支持多种操作系统，均允许从应用服务器上分离存储。而且，它们均提供数据的高可用性，均能通过冗余部件和 RAID 保证数据的完整性；8.2 不同点 实施和维护的难易程度不同；二者的设备管理难易成度不同；9.9.总承包部网络存储部署方案总承包部网络存储部署方案9.1 总包部存储及服务器使用情况总包部原有 2 台 IBMNETFinity7000 服务器、壹台磁盘阵列和壹台磁带机，磁盘阵列和服务器仅用于数据库群集使用，目前，由于设备老化原因，已经按照正常程序报废，目前总包部的存储方式采用不同服务器之间进行数据互为备份，由于数据比较分散等原因，管理和备份均相

18、当的难度，容易造成损坏或丢失，安全性很低，因此，随着总包部数据量的不断增加，急需扩展存储容量.9.1.1 服务器目前使用情况9.1.2 服务器资源整合9.2 部署方案选择从系统的兼容性、稳定性和可靠性角度出发，且且考虑保护项目部已有的投资，经过市场调研和信息中心分析，认为选择基于 SAN 架构的数据存储方案能够满足要求；本方案中使用光纤通道交换机、本地磁盘阵列、备份磁带库及远程容灾磁盘阵列组成 SAN 系统，为不同平台的操作系统和磁盘系统提供支持，为容灾备份提供无缝支持，且且能够将当下已有的投资和长期的存储解决方案结合起来，建立壹个可扩展、易管理、能够灵活地适应不可预见的存储需要的网络存储环境

19、。9.3 产品的选型10.10.存储系统划分存储系统划分11.11.OracleOracle 数据库集群部署数据库集群部署11.1 Oracle 群集系统的介绍11.1.1 Oracle 集群体系统结构Oracle 集群实际是使用 2 台或多台服务器访问同壹 Oracle 数据库，这样壹方面能够避免壹台服务器务器出现故障时数据库不能正常使用数据库，同时也能够进行且行运算或负载均衡。从软件组件上讲，oracle 集群由 2 台或 2 台之上服务器组成，每台服务器有自已的临听器，用于临听自已的网络端口，每台服务器有自已的 OracleRAC 服务，用于数据库的集群访问；每台服务器有自已的集群就绪服

20、务，用于集群管理；所有的服务器通过自已的操作系统访问壹个共享的存储设备，共享存储设备的存储设备的存储机制可使用裸设备（Raw），集群文件系统(OCFS)，自动存储管理(ASM)或网络区域存储（NAS），当客户端访问时，由上而下依次调用相应的软件。11.1.2 群集部署软件的组成要安装 Oracle 集群，至少需要俩个软件，分别为：Oracle 数据库软件和OracleClusterWare；从逻辑结绝上讲，集群中的每台服务器有壹个实例，每台服务器上的实例均对应到同壹个数据库，详情如下图所示：实例 2从上图中能够见出，于集群中有俩台服务器，每台服务器拥有壹个实便，每个实例均访问同壹个数据库，数据

21、库存储于共享磁盘上，关于 Oracle 软件，即能够存储于本地磁盘上，也能够存储于共享磁盘上，关键取决于安时选择的存储机制。11.1.3 有关 Oracle 集群的存储选项1)软件和空间序序号号12软件软件OracleOracle3456项目项目ClusterWare 软件VotingDiskOracle 数据库软件RAC 数据库恢复文件(RecoveryFile)OCR(Oracle 集群注册)说明说明最少磁盘空间最少磁盘空间本地磁盘备备注注RACRAC集群软件700M100M200M1.5G根据数据量来确定3G记录信群集节点信息数据库数据库存储集群配置信息数据库软件存储所有数据库文件用于快

22、速恢复数据2)Oracle 集群的存储机制序序号号1项目项目ClusterWare 软件存储系统存储系统NTFS存储位置存储位置本地磁盘备注备注23456VotingDiskOCR(Oracle 集群注册)Oracle 数据库软件RAC 数据库恢复文件(RecoveryFile)OCFS、RawdeviceOCFS、RawdeviceOCFS(共享)、NTFS（本地）OCFS、ASM、RawdeviceOCFS、ASM共享磁盘共享磁盘本地磁盘或共享磁盘共享磁盘共享磁盘3)存储机制的选择从下表能够见出，要想使用单壹文件系统，必须使用 OCFS 文件系统，可是，由于 oracle 提供了非常方便的

23、存储管理系统 ASM，因此，此方案中我们采用OCFS来存储Clusterware的数据和oracle数据库软件，使用ASM来存放数据库文件。支持的文件类型支持的文件类型序号序号存储选项存储选项ClusterwareClusterware否是是数据库数据库是是是恢复文件恢复文件是是否备注备注123ASMOCFSRawDevice11.2 Windows 平台下 Oracle 集群的安装步骤11.2.1 安装前的准备工作1)系统要求序号序号123456项目项目体系结构操作系统内存网络协议网络适配器浏览器要求要求32 位windowsserver2003+SP22GTCP/IP2*NICIE6.0

24、之上备注备注2)网络规划序号序号123456主机名主机名RAC01.Sanmen.LocalRAC02.Sanmen.LocalVIP01.Sanemn.localVIP02.Sanmen.localNode1NOde2类型类型公共公共虚拟虚拟专用专用IPIP 地址地址172.23.0.21172.23.0.22172.23.0.1172.23.0.210.1.1.110.1.1.2注册位置DNSDNSDNSDNS主机文件主机文件备注3)数据存储策略序序号号123456项目项目ClusterWare 软件VotingDiskOCR(Oracle 集群注册)Oracle 数据库软件RAC 数据库

25、恢复文件(RecoveryFile)存储系统存储系统NTFSOCFSOCFSOCFSOCFSOCFS存储位置存储位置本地磁盘共享磁盘共享磁盘共享磁盘共享磁盘共享磁盘备注备注11.2.2 安装集群就绪软件1)关闭磁盘写缓存于安装集群就绪软件之前，需要分别于俩节点上关闭磁盘写缓存，方法为，打开 windows 磁盘管理器，于共享磁盘上点右键，选择“属性”于“属性”对话框中，选择“策略”标签，于策略标签中将“启用磁盘上的写入缓存”复选框去掉。2)开启 windows2003 磁盘自动加载功能由于此方案使用的系统是 windows2003，存储策略选择了OCFS，ASM 等存储系统，因此必须开启磁盘自

26、动加载功能，于Windows2003 中开启自动加载功能，使用 diskpart 工具即可，首先于 windows2003 的命令行运行 diskpart 命令，然后于 diskpart 的提示符下运行 automountenable 命令即可，完成后运行 exit命令退出 diskpart 工具。3)创建磁盘分区根据磁盘分配规划，于节点1 上创建磁盘分区，且且于创建分区时不要分配盘符，也不要格式化。4)设置网络根据10.2.1 中的第2点，于节点1和节点2上，将本地连接重名为Public,本地连接 2 重命名为 pvivate，注意，配置完之后，再使用ipconfig 查见网络设置时，要确保

27、 public 被列于第壹个。5)主机名称解析由于主机名，除 NODE1、NODE2 外，其他均通过 DNS 服务器来解析，因此，我们只需要于Hosts 文中解析用于内部通信的主机名，方法为，分别编辑节点 1 和节点 2 上的 C:windowssystem32driversetchosts 文件，于文件内输入如下内容：10.1.1.1NODE110.1.1.2NODE26)重新启动节点为了确保配置生效，需要对俩节点进行重新启动，启动节点后，检查每个节眯的磁盘管理，确保于每个节点上没有给共享磁盘的分区分配盘符，如有发现某节点给共享磁盘的分区他配了盘符，删除盘符分配，且重新启动该节点。7)开始安

28、装于其中壹个节点上执行安装程序 setup，进入 Clusterware 的安装界面，点击“下壹步”继续。8)设置安装目录指定 OracleHome 的名称和安装的目录位置，因为 CRS 为集群就绪软件，于集群起来之前，每个节点必须要启动该软件，所以只能将其安装于各个节点的本地磁盘上。9)安装条件检测安装程序会自动进行安装条件检测，如果没有方案错误，则点击“下壹步”继续，如果方案错误，根根错误提示作相应的设置。10)指定集群配置指定集群名称及集群节点的关联信息，关联配置参见 10.2.1 中的第 2点；11)指定网络接口用途于确保设置了公用 IP（用于外部通讯）的网络接口类型是公用的，设置了私

29、网 IP（用于内部通讯）的网络接口的类型为专用的，如果有错，于确定配置正确的前提下能够点击“编辑”进行手工修改，完成后点击“下壹步”继续。12)配置存储选项于存储选项配置中，列出了可用的磁盘分区，根据磁盘分配方案选中关联的分区，点击“编辑”将出现指定的磁盘配置对话框，分别选择：“用 CFS来格式化分区”，“将分区用于存储软件”，且为该分区指定壹个于俩个节上均能使用的盘符，然后点击“确定”确认配置，依次选择第二分区，根据用途对磁盘进行相应的处理，完成磁盘配置后，点击“下壹步”继续，此时会出现壹些警告信息，提示是否需要对 OCR 和表决盘做冗余。13)开始安装软件出现安装概要后，查见各项概要是否符

30、合要求，点击“安装”开始安装软件，此时，请耐心等待安装过程，安装完成后点击“退出”程序。11.2.3 安装 Oracle 数据库软件1)执行安装程序将数据库光盘插入光驱中或将 oracle 源程序复制到服务器中，然后执行SETUP.EXE 程序，待出现安装界面后，点击“下壹步”继续。2)选择安装类型于安装类型择时，选择“企业版”。3)选择软件的安装位置由于本方案采用 OCFS 存储系统，于创建OCFS 时，将软件安装于已规划好的共享盘符中。4)选择安装模式于安装模式中，选择集群安半，且选中要集群的所有节点，然后点击“下壹步”继续，注意：只有安装了集群就绪软件，才会有集群安装选项。5)检查安装条

31、件安装程会自动检测系统环境是否满足安装条件，如果不能满足，根据错误码提示进行调整，如没有错误，点击“下壹步”继续。6)选择配置选择于配置选项中，选择“仅安装数据库软件”，点击“下壹步”继续。7)安装软件于概要查见时，如果查见概要信息正确，然后点击“安装”开始安装数据库软件。11.2.4 创建数据库1)执行 DBCA于命令行执行dbca 创建数据库，于选择创建数据库类型时，选择“OracleRealApplicationClusters 数据库”，点击“下壹步”继续，然后于选择要进行的操作时，选择“创建数据库”点击“下壹步”继续。2)选择集群节点选择要使用该数据库的集群节点，点击“下壹步”继续3

32、)选择模板于选择数据库模板时，能够选反“壹般用途、事务处理、定制数据库、数据仓库”，我们这里选反“壹般用途”即可，然后点击“下壹步”继续。4)输入数据库名称输入数据库名的全局名称和SID，这里我们输入全局数据库名为：Canppe2.sanmen.local，SID 为：CANPPE2,然后点击“下壹步”继续。5)管理选项于管理选项中，为了以后管理简单，“使用EnterpriseManagers 配置数据库”，这样以后能够使用EnterpriseManagers 来管理数据库，然后点击“下壹步”继续。6)指定数据库管理员口令为内置的几个管理帐户设置口令，然后点击“下壹步”继续，注意，口令壹定要记

33、住。7)选择存储机制于选择存储机制的选择中，选择“群集文件系统”然后点击下壹步，继续。8)选择数据库的存储位置于选择存储位置时，选择“使用oracle 管理的文件“。数据区填入数据库需要存入的路径，然后点击“下壹步”继续。9)指定快速恢复区于快速恢复区指定路径且输入快速恢复区大小。10)选择数据库内容选择是否安装“示例”方案，我这里选择不安装，然后点击“下壹步”继续。11)配置 TAF 策略如果要使用 TAF 策略，需要进行配置，这里，不对策略进行配置，直接点击“下壹步”继续。12)设置初始化参数关于初始化参数据的设置实际上是对 oracle 数据库进行优化，这里能够使用缺省配置即可，点击“下壹步”继续。13)配置数据库存储于配置数据存储时，使用默认配置，点击“下壹步”继续。14)创建数据库点击“完成”开始创建数据库。于创建数据库时，由于无法于各个节点上检测到可用的网络临听程序，会出现提示，只要点击“是”接受创建默认的临听程序即可。12.12.附录附录EMCCX4-120 存储详细配置参数如下：