系统集成规范V13.doc

系统集成规范系统集成是所有应用系统上线的基础工作，系统集成工作的质量直接决定了应用上线的进度和质量。系统集成一般包括硬件集成和软件集成，目前在系统集成之前，要求集成方提供规范的主机（硬件）集成文档和数据库集成文档，在合适的时候，还将要求提供规范的应用软件集成文档。集成文档文字说明应该尽量专业，简明扼要，配置应该尽量具体细致。主机集成文档，应当包含：硬件配置、软件配置、系统拓扑图、IP地址规划、存储划分（VG配置、文件系统划分、裸设备划分）、高可用配置、补丁说明、系统用户组划分及安全强化说明、NTP配置等方面。数据库集成文档，应当包含主机配置信息和数据库规划两大部分。主机配置信息包含：主机硬件配置、操作系统补丁、系统核心参数、用户组、oracle用户环境变量、存储划分、文件系统划分、裸设备划分；数据库规划包含数据库版本及补丁、控制文件日志文件参数文件规划、归档日志目录配置、数据库属性配置、数据库主要参数、用户schema及权限、系统表空间部署、应用表空间部署、listener规划、tnsname规划等。网络资源分配表和存储资源分配表将在系统上线准备时作为集成文档的组成部分附入集成文档。(一) 主机命名规范一般系统主机命名采用8位制，特殊情况可以适当增加位数。8位制命名规则如下：12345678第1、2位区分系统大类，目前一般分为4类zj：BOSS及外围系统kf：客服系统jf：经分系统oa：信息化系统gw：固网表示位置n：学院路r： 枢纽楼s：上塘j：滨江d：三墩区分应用与数据库a：应用d：数据库w：WEBm：MDB表示具体应用分类，可以用英文缩写或拼音缩写，易区分好记即可cs：营业 zw：账务cb：计费 cx：综合查询cz：充值 4a：4A认证kf：客服 ca：认证ht：后台 kt：开通cr：接触记录 同一应用主机排序01：1号主机02：2号主机举例说明，比如zjddcb11，表示：三墩1号楼BOSS计费数据库1号机(二) 硬件配置要求应详细描述集成对象主机的硬件配置信息，对于硬件设备位置信息，集成方案撰写者必须现场核实，位置必须具体到机柜，以便后续布线。格式可参考下表：本次集成涉及的硬件设备概述类型配置数量备注服务器1型号：P5 595TPC-C值：4,033,378CPU：64个2.3GHz power5+/ CPU内存：256GB内存硬盘：12x146GB(15krpm)HDD网卡：12 个千兆以太网卡（光口），8个千兆以太网卡（电口），HBA卡：12 个4Gb/s LC 接口2数据库服务器服务器2型号：P5 590TPC-C值：2,033,378CPU：32个2.3GHz power5+/ CPU内存：128GB内存硬盘：12x146GB(15krpm)HDD网卡：12 个千兆以太网卡（光口），8个千兆以太网卡（电口），HBA卡：4个4Gb/s LC 接口2应用服务器磁盘阵列1型号：IBM DS8300磁盘：384个300GB硬盘Cache：128G端口：32个4Gb/s端口 1RAID5后可用容量 = 88.287TB裸容量（不包括S盘）110.4TB = 300GB * （384 - 16）本次集成涉及的分区：单分区格式主机名型号序列号CPU内存(G)HBAGEFE磁盘位置注释zjjacs01SDxxxxxxx52* 1100 MHz240GB884146G×4滨江4F A10营业中间件zjjacs02SDxxxxxxx52* 1100 MHz240GB884146G×4滨江4F A12营业中间件多分区格式1：gwjdcb01主机名型号序列号CPU内存(G)HBAGEFE磁盘位置注释P595xxxxxxx6438416168146G×16滨江3F I01DLPAR分区4个：gwjdcb011264442146G×4计费销账数据库gwjdcs011264442146G×4CRM/OSS数据库gwjacb01848221146G×4计费应用gwjakt0163221146G×4OSS应用机动26176642机动调配2：gwjdcb02主机名型号序列号CPU内存(G)HBAGEFE磁盘位置注释P595xxxxxxx6438416168146G×16滨江3F I03DLPAR分区4个：gwjdcb021264442146G×4计费销账数据库gwjdcs021264442146G×4CRM/OSS数据库gwjacb02848222146G×4计费应用gwjakt0263222146G×4OSS应用机动26176642机动调配HMC：主机名位置网口被管主机注释HMC1滨江4F A104*FEgwjdcb01gwjdcb02营业数据库HMC2滨江4F A124*FEgwjacb01gwjacb02营业中间件磁盘阵列：型号序列号位置连接主机注释IBM DS8300xxxxxxxxxxxxxx滨江4F I01-I02gwjdcb01gwjdcb02营业数据库存储(三) IP地址规划要求按照应用要求，参考下表给出IP地址规划：IBM部分：主机名(逻辑主机)：zjjdzw01网卡IP地址/掩码缺省网关网卡类型vlan注释GE1外置GE光口lc100Service_IPGE1:1Oracle 10g VipGE2外置GE光口lc100Persistent_ip,GE3外置GE光口lc101RAC InterconnectGE4外置GE光口lc101GE3的备卡FE1内置FE电口102DLPAR地址同HMC管理网段心跳如使用串口，主机需要单独串口卡主备卡自动切换（通过HA或etherchannel）根据实际情况可作调整。要求地址分配清晰，便于阅读主机：HMC地址分配网卡IP地址/掩码缺省网关网卡类型vlan注释FE1内置FE电口102管理地址备注： 默认一台HMC管理2台59x, HMC分别用FE1/FE2直连2台59X的FSP卡；如果管理超过2台主机，需要FE1连接交换机，通过交换机再连接分别主机的FSP卡,FE2不用；主机FSP卡连接：情况仅对于通过交换机，HMC连多台主机的情况。如果有此情况，需要在集成文档中特殊说明。阵列管理端口地址分配网卡IP地址/掩码缺省网关网卡类型vlan注释FE1内置FE电口102管理地址备注： HP部分：主机名(逻辑主机)：zjddxx01网卡IP地址/掩码缺省网关网卡类型心跳注释GE1外置GE光口lcYDB访问网段GE1:1浮动IP（新增）GE1:2Oracle 10g Vip（新增）GE2无外置GE光口lcYRAC同步网段GE3外置GE光口lcYGE1的备卡GE4外置GE光口lcYGE2的备卡LAN Console内置FE电口心跳线使用两根直接连接的UTP交叉线主备卡切换由MC/ServiceGuard实现(四) 软件配置要求应列出包括操作系统软件、应用软件等名称及版本信息,如有多台主机，需要分别予以说明。格式可参考下表：类型软件名称用途备注操作系统AIX 5306-sp8操作系统选用稳定的最新版本数据库Oracle 10.2.0.3 Server RAC数据库应用软件不能使用root用户安装其他HACMP 5.3 sp9高可用群集XLC8磁盘镜像Precise性能监控 (五) 存储划分要求指定使用的外部存储，以及外部存储的lun划分大小。存储划分应该包括具体lun使用情况（仅针对使用已上线存储时，新存储不做要求）、主机VG具体配置、文件系统划分和裸设备划分。存储分配情况格式参考下表，集成方提出空间大小要求，由存储维保厂商根据实际情况分配空间，集成方对分配情况进行复核，确保准确无误。VGPP SizeDisksCapacityDescription配置要求rootvg缺省2*146GB146GB内置硬盘镜像archvg缺省2*146 GB146GB内置硬盘镜像，归档日志pagingvg缺省2*146 GB146GB内置硬盘Paging spaceVg11512MB4*128GB512GBDS8300 LUNs建数据库裸设备Vg12512MB4*128GB512GBDS8300 LUNs建数据库裸设备Vg13512MB4*128GB512GBDS8300 LUNs建数据库裸设备Vg14512MB4*128GB512GBDS8300 LUNs建数据库裸设备vg00对应根盘，vg01、vg02、vg10对应文件系统；vg11、vg12、等对应裸设备，VG配置表格式参考下表，应包括所有vg。规定做条带的VG PV个数为4或4倍数。文件系统划分参考下表：主机名：Mount PointSizeStorageVGLVFS TypeUsage/1GBBuilt-in rootvgHd4jfs2OS/usr6GBBuilt-inrootvghd2jfs2OS/var5GBBuilt-in rootvghd9varjfs2OS/opt6GBBuilt-in rootvghd10optjfs2OS/tmp2GBBuilt-in rootvghd3jfs2OS/home1GBBuilt-in rootvghd1jfs2OSpaging512MBuilt-in rootvghd6pagingpagingPaging0064GBuilt-in pagingvgPaging00paging视内存而定/u0135GBBuilt-in rootvgU01lvjfs2Oracle9/u0225Built-inrootvgU02lvJfs2Oracle10g /arch1256GBDS8300vg01lv_arch1jfs2归档日志裸设备划分参考下表，一般都要以条带方式创建，stripesize一般定为128kVGLVSize备注vg11rsystem.dbf2GOracle10g主机新增部分逻辑卷，有特殊约定，具体参见下文rredo_01.dbf512Mrredo_02.dbf512M512Mrredo_16.dbf512Mrcontrol_01.dbf512Mrcontrol_02.dbf512Mrcontrol_03.dbf512Mroemrepo.dbf64Mrspfile.dbf64Mrsrvmconfig.dbf128Mrtool.dbf256Mrusr.dbf256Mrindex.dbf256Mrundo_01.dbf4Grundo_02.dbf4Grundo_03.dbf4Grundo_04.dbf4Grtemp_01.dbf4Grtemp_02.dbf4Grvg11_lv_4000_01.dbf4Grvg11_lv_4000_02.dbf4G4Grvg11_lv_4000_59.dbf4Grvg11_lv_3000_01.dbf3Gvg12rvg12_lv_4000_01.dbf4Grvg12_lv_4000_02.dbf4G4Grvg12_lv_4000_68.dbf4Grvg12_lv_3500_01.dbf3.5G(六) 高可用要求按照下述高可用集成要求，具体集成方案必须做相应应答，并附在集成方案评审会的会议纪要中。 Ø 主机i. 系统安装盘要求做镜像，保证硬盘损坏的情况下，可以正常引导系统ii. 主机电源冗余检查，重要系统应该保证两路UPS供电iii. 保证cluster双机的用户环境一致，包括uid,gid ,passwd,profile和应用相关的环境变量一致iv. 保证cluster双机的主机相关参数一致v. 主机分区时，同一个cluster各个节点必须分布在不同物理主机vi. 保证cluster双机时钟一致，要求启用NTPØ 网络i. 主机的对外（对内）服务网卡连接至少有两块，并且两块网卡要求分别连接到主备两台交换机上。（如果前端通过负载均衡等软硬件方式保证群集应用可用，可以不受此要求限制）ii. 如果采用网卡心跳，正常情况下保证至少两块iii. 在系统存在两块对外服务的网卡情况下，必须在操作系统进行配置，以保证两块网卡在网络发生故障的情况下可以互为备份。iv. 对于Oracle RAC的系统，必须对RAC inter-connect 网络也进行冗余考虑，方式同要求( I ).Ø 存储i. 主机到外置存储的路径至少要两根或以上，并且在主机上配置相应的策略保证fc冗余，在任何一根fc链路出现故障时保证存储可访问ii. 针对重要应用系统，必须保证IO多路径负载均衡Ø 数据库/应用i. 应用在多台主机上进行部署，以保证可以正常切换ii. 如果对于应用连接Oracle RAC数据库，要求TNS配置TAF，保证可以无缝切换Ø 附表：高可用测试报告：(七) 操作系统PATCH及核心参数需要特别说明的系统PATCH要详细列出，格式参考下表：PATCHVersionDescriptionB2491BAB.11.11MirrorDisk/UXB3693AAC.03.55.00HP GlancePlus/UX for s800 11iB4967AAC.03.55.00HP MeasureWare Server Agent for s800 11iMINPERM%10#vmo -p -o minperm%=3（裸设备），20（文件系统）MAXPERM%80#vmo p o maxperm%=80 MAXCLIENT%80#vmo p o maxclient%=80LRU_FILE_REPAGE0#vmo -p -o lru_file_repage=0Maximum number of PROCESSES allowed for each user>= 8192#chdev -l sys0 -a maxuproc='8192'Asynchronous I/OAVAILABLE#smitty aioAsynchronous I/O maxservers100#chdev -l aio0 -a maxservers=100Asynchronous I/O maxreqs8192#chdev -l aio0 -a maxreqs=8192Processor Folding-1#schedo -o vpm_xvcpus = -1ipqmaxlen512#no r -o ipqmaxlen=512rfc13231#no -p -o rfc1323=1sb_max1310720#no -p -o sb_max=1310720tcp_recvspace65536#no -p -o tcp_recvspace=65536tcp_sendspace65536#no -p -o tcp_sendspace=65536udp_recvspace655360#no -p -o udp_recvspace=655360udp_sendspace65536#no -p -o udp_sendspace=65536（假设en0为私网接口）需要调整的系统核心参数也要详细列出。针对ORACLE10G，推荐以下参数配置，部分应根据实际情况调整：全部要求打开异步IO1、 AIX平台MINPERM%    10        #vmo -p -o minperm%=3（裸设备），20（文件系统）MAXPERM%    80        #vmo p o maxperm%=80MAXCLIENT%  80        #vmo p o maxclient%=80LRU_FILE_REPAGE        0         #vmo -p -o lru_file_repage=0Maximum number of PROCESSES allowed for each user    >= 8192   #chdev -l sys0 -a maxuproc='8192'Asynchronous I/O       AVAILABLE #smitty aioAsynchronous I/O maxservers      100       #chdev -l aio0 -a maxservers=100Asynchronous I/O maxreqs         8192      #chdev -l aio0 -a maxreqs=8192Processor Folding      -1        #schedo -o vpm_xvcpus = -1ipqmaxlen   512       #no r -o ipqmaxlen=512rfc1323     1         #no -p -o rfc1323=1sb_max      1310720   #no -p -o sb_max=1310720tcp_recvspace          65536     #no -p -o tcp_recvspace=65536tcp_sendspace          65536     #no -p -o tcp_sendspace=65536udp_recvspace          655360    #no -p -o udp_recvspace=655360udp_sendspace          65536     #no -p -o udp_sendspace=65536mtu         9000      #ifconfig en0 mtu 9000（假设en0为私网接口）2、 HPUX平台ksi_alloc_max          (nproc*8)executable_stack       0max_thread_proc        1024maxdsiz     1073741824 (1 GB)maxdsiz_64bit          2147483648 (2 GB)maxssiz     134217728 (128 MB)maxssiz_64bit          1073741824 (1 GB)maxuprc     (nproc*9)/10)msgmni      (nproc)msgseg      32767msgtql      (nproc)ncsize      (ninode+1024)nfile       (15*nproc+2048)maxfiles    nproc*3nflocks     (nproc)ninode      (8*nproc+2048)nkthread    (nproc*7)/4)+16)nproc       数据库参数processes+120（至少8192）semmni      (nproc)semmns      (semmni*2)semmnu      (nproc-4)semvmx      32767shmmax      物理内存大小，该值至少应该比SGA大。shmmni      512shmseg      120vps_ceiling 64filecache_max          10filecache_min          53、 SOLARIS平台noexec_user_stack      1semsys:seminfo_semmni  100semsys:seminfo_semmns  1024semsys:seminfo_semmsl  256semsys:seminfo_semvmx  32767shmsys:shminfo_shmmax  4294967295shmsys:shminfo_shmmin  1shmsys:shminfo_shmmni  100shmsys:shminfo_shmseg  10udp: udp_xmit_hiwat    65536udp: udp_recv_hiwat    65536(八) 操作系统用户、组新建的系统用户、组要详细列出，格式参考下表：新建group列表Group nameGIDCommentdba102Oracle用户组新建用户列表UserUIDGIDHome DirectoryShellCommentoracle102/u01/oracle/usr/bin/shOracle管理员用户precise102/software/precise/usr/bin/kshPrecise软件用户zjwg/home/zjwg/usr/bin/ksh空间需要100(九) 主机安全强化（需要和网络安全组讨论，制定标准）参考相关安全加固手册给出具体加固措施。Ø 集成安装时，在保证系统各软件正常可用的情况下，将操作系统升到最新的稳定版本；Ø 双机互信时.rhosts不允许出现“+”Ø 设定syslog日志服务器为：10.70.213.133Ø 对于HP主机，需要禁用系统缺省的帐户，执行下列语句：userdel uucp userdel lp userdel nuucp userdel hpdb userdel www userdel iwwwuserdel owwwuserdel tftpgroupdel lp groupdel nuucpØ 并且最小化开放服务，在不影响应用的情况下注释下列服务：rpuotad,rexd,tstatd,rusersd,rwalld,sprayd,pcnfsd,ttdbserver,cmsd,finger,talk(十) NTP及DNS设定ntp服务器滨江/三墩的机器的ntp配置server 10.70.213.132 version 3 preferserver 10.70.213.133 version 3server 10.70.10.75 version 3学院路机器ntp配置server 10.70.10.75 version 3 preferserver 10.70.10.76 version 3server 10.70.213.132 version 3上塘机器ntp配置server 10.70.195.168 version 3 preferserver 10.70.195.169 version 3server 10.70.213.132 version 3如有需要配置DNS Servernameserver 10.70.49.16(十一) Veritas Storage Foundation for RAC特别约定1. 操作系统版本须根据Veritas Storage Foundation for RAC版本的要求进行安装，并且安装必须的补丁。2. 不同厂商阵列Lun类型根据Veritas的要求进行设置。3. 至少需要划分3个锁盘（建议200M），所有主机必须都能访问。4. 心跳需要两块网卡，此两块网卡需要配置2个独立的VLAN，每个网卡在一个VLAN中，VLAN不能做路由。5. 具体要求见Veritas相关安装配置手册。(十二) ORACLE10G数据库主机特别约定新增部分逻辑卷，见下表序号名称用途大小备注1rocr1CRS配置信息注册表：OCR200MBOCR裸设备2rocr2200MBOCR裸设备镜像3rvoting1CRS心跳锁盘：Voting Disk100MBVoting Disk裸设备4rvoting2100MBVoting Disk裸设备镜像5rvoting3100MBVoting Disk裸设备镜像6rsysaux.dbfRAC DB表空间：SYSAUX Tablespace4GBSYSAUX表空间数据文件由于OCR、Voting Disk逻辑卷和数据库文件的逻辑卷划分在同一卷组中，日常维护中，为了避免将OCR、Voting Disk逻辑卷做为数据文件添加到表空间的误操作导致故障产生，我们约定将OCR、Voting Disk逻辑卷命名固定，没有后缀“.dbf”，如上表；数据库文件逻辑卷命名一律附带后缀“.dbf”。HPUX平台安装oracle10G RAC时每个节点规划两个浮动地址，一个作为oracle vip，一个作为HA浮动ip；AIX平台中必须将卷组建为Scalable-type VG，创建DS_LVZ类型的LV。(十三) ORACLE数据库主机整体要求1、 打开操作系统异步IO；2、 VG划分：vg01、vg02、vg10对应文件系统；vg11、vg12、等对应裸设备；3、 文件系统划分：Ø /u01：作为oracle软件安装目录，一般大于25G；Ø 归档模式时archive目录大小应该能保证3天以上的日志存放；Ø 双节点RAC数据库archive目录命名推荐使用/xxarch1和/xxarch2，多中心情况下各中心节点archive目录亦相应使用/xxarch1和/xxarch2，不得有/arch3及以上编号目录出现。其中xx代表应用分类，在主机命名采用上述8位制的情况下可以直接取第5、6位。4、 如果采用VxVM卷管理方式，应该注意检查软件license是否正式。(十四) ORACLE数据库主机参数要求针对ORACLE10G，推荐以下参数配置，部分应根据实际情况调整：4、 AIX平台MINPERM%10#vmo -p -o minperm%=3（裸设备），20（文件系统）MAXPERM%80#vmo p o maxperm%=80 MAXCLIENT%80#vmo p o maxclient%=80LRU_FILE_REPAGE0#vmo -p -o lru_file_repage=0Maximum number of PROCESSES allowed for each user>= 8192#chdev -l sys0 -a maxuproc='8192'Asynchronous I/OAVAILABLE#smitty aioAsynchronous I/O maxservers100#chdev -l aio0 -a maxservers=100Asynchronous I/O maxreqs8192#chdev -l aio0 -a maxreqs=8192Processor Folding-1#schedo -o vpm_xvcpus = -1ipqmaxlen512#no r -o ipqmaxlen=512rfc13231#no -p -o rfc1323=1sb_max1310720#no -p -o sb_max=1310720tcp_recvspace65536#no -p -o tcp_recvspace=65536tcp_sendspace65536#no -p -o tcp_sendspace=65536udp_recvspace655360#no -p -o udp_recvspace=655360udp_sendspace65536#no -p -o udp_sendspace=65536（假设en0为私网接口）5、 HPUX平台ksi_alloc_max(nproc*8)executable_stack0max_thread_proc1024maxdsiz1073741824 (1 GB)maxdsiz_64bit2147483648 (2 GB)maxssiz134217728 (128 MB)maxssiz_64bit1073741824 (1 GB)maxuprc(nproc*9)/10)msgmni(nproc)msgseg32767msgtql(nproc)ncsize(ninode+1024)nfile(15*nproc+2048)maxfilesnproc*3nflocks(nproc)ninode(8*nproc+2048)nkthread(nproc*7)/4)+16)nproc数据库参数processes+120（至少8192）semmni(nproc)semmns(semmni*2)semmnu(nproc-4)semvmx32767shmmax物理内存大小，该值至少应该比SGA大。shmmni512shmseg120vps_ceiling64filecache_max10filecache_min56、 SOLARIS平台noexec_user_stack1semsys:seminfo_semmni100semsys:seminfo_semmns1024semsys:seminfo_semmsl256semsys:seminfo_semvmx32767shmsys:shminfo_shmmax4294967295shmsys:shminfo_shmmin1shmsys:shminfo_shmmni100shmsys:shminfo_shmseg10udp: udp_xmit_hiwat65536udp: udp_recv_hiwat65536(十五) ORACLE数据库主机补丁要求针对ORACLE10G，推荐以下PATCH列表，部分应根据实际情况调整：1、 AIX平台1、 IY581432、 IY593863、 IY609304、 IY665135、 IY701596、 IY689897、 IY688748、 IY700319、 IY8908010、 IY9434311、 IY9203712、 IY8478013、 IY825862、 HPUX IA64平台1、 BUNDLE11i_B.11.23.0409.3（先安装BUNDLE11i_B.11.23.0408.1） or latest2、 PHCO_324263、 PHCO_324894、 PHCO_331735、 PHCO_342086、 PHCO_341957、 PHCO_350488、 PHKL_326459、 PHKL_3264610、 PHKL_3274711、 PHKL_3302512、 PHKL_3304913、 PHKL_3421314、 PHKL_3490715、 PHKL_3447916、 PHKL_3522917、 PHKL_3355218、 PHNE_3205519、 PHNE_3518220、 PHSS_3185021、 PHSS_3185122、 PHSS_3185423、 PHSS_3185524、 PHSS_3383925、 PHSS_3485926、 PHSS_3485827、 PHSS_3444428、 PHSS_3444529、 PHSS_3485330、 PHSS_3221331、 PHSS_3327532、 PHSS_332763、 SOLARIS平台1、 112233-11, SunOS