网络可靠性设计.ppt

网络可靠性设计网络可靠性设计1可靠性设计概述2网络冗余设计【重点重点】3存储网络设计【重点重点】4高可用集群系统设计11可靠性设计概述可靠性设计概述21可靠性设计概述可靠性设计概述1.1网络可靠性分析与计算网络可靠性分析与计算网络可靠性网络可靠性指网络自身（设备、软件和线路）在规定条件下正常工作的能力。人为攻击（如黑客）或自然破坏（如雷击）造成的网络不稳定性属于网络安全网络安全问题。可靠性约束条件：预算限制，部件失效，不完善的程序代码，人为失误，自然灾害，不可预见的商业变化，都是达到100%可用性的障碍。31可靠性设计概述可靠性设计概述1.网络可靠性参数网络可靠性参数如何定义网络结构的可靠性参数，网络业务可靠性参数，如何度量网络整体可靠性，是当前正在研究解决的问题。目前网络工程项目的可靠性验收，只能在双方商定好的具体网络应用案例上，进行测试。如连通性测试，流量测试，拥塞测试，广播风暴测试等。41可靠性设计概述可靠性设计概述2.网络可靠性计算方法网络可靠性计算方法可靠性用平均无故障工作时间（MTBF）衡量。MTBFMTBF是一个统计值是一个统计值，它通过取样、测试、计算后得到，它与真实测试值有一定的差异。MTBF值的计算方法：MIL-HDBK-217（美国国防部可靠性分析中心提出的军工产品标准）（美国国防部可靠性分析中心提出的军工产品标准）GJB/Z299B（中国军用标准）（中国军用标准）Bellcore（AT&TBell实验室提出的民用产品标准）。实验室提出的民用产品标准）。51可靠性设计概述可靠性设计概述4.网络可靠性的成本分析网络可靠性的成本分析网络系统的可靠性是以各种投入为代价而实现的，并不是越高越好。各种业务对服务中断的容忍度不同。如银行业务数据与办公数据属于不同的业务等级。减少损失需要考虑的因素：网络系统发生故障时对业务带来的损失；故障发生的可能性。61可靠性设计概述可靠性设计概述1.2网络可用性分析与计算网络可用性分析与计算1.可用性计算方法可用性计算方法可用性是衡量网络系统提供持续服务的能力。系统可用性计算方法：系统年停机时间=一年总时间（1-系统可用性）以上计算的是严重失效，即那些需要恢复程序数据，重新加载程序，重新执行等情况的失效，一般小的问题不计算在内。71可靠性设计概述可靠性设计概述P133表6-1网络通信系统可用性类型可用性类型可用性类型系统可用性系统可用性（%）每年停机时每年停机时间间应用范围应用范围个人可用性个人可用性9987.6小时一般性业务处理商业可用性商业可用性99.98.8小时企业级服务器系统，敏感性业务处理高可用性高可用性99.9953分钟集团级计算机系统，重要业务处理极高可用性极高可用性99.9995分钟省级通信中心，如金融业务处理容错可用性容错可用性99.999932秒国家级信息中心，核心任务处理81可靠性设计概述可靠性设计概述2.通信系统可用性指标通信系统可用性指标国家通信标准规定：具有主备用系统自动切换功能的数字通信系统，允许5000km双向全程每年4次故障；对于420km数字段，允许双向全程每3年1次故障。市内数字通信系统假设链路长度为100km，允许双向全程每年4次故障；50km数字段双向全程每半年1次故障。91可靠性设计概述可靠性设计概述3.网络可用性计算网络可用性计算（1）串联型网络结构可用性计算在串联系统中，可用性最差的单元对系统的可用性影在串联系统中，可用性最差的单元对系统的可用性影响最大响最大。串联型网络的可用性按（6-4）式计算。（6-4）101可靠性设计概述可靠性设计概述【案例6-2】网络拓扑结构如图6-1所示，计算路由器A至路由器B之间的可用性。AB之间的可用性=0.9990.99990.9950.980.950.980.9950.99990.999=90.1%111可靠性设计概述可靠性设计概述（2）并联型网络结构可用性计算并联型网络的可用性按（6-5）式计算。（6-5）【案例6-3】网络拓扑结构如图6-2所示，计算路由器ABCD整体的可用性。121可靠性设计概述可靠性设计概述路由器ABC之间的可用性=0.990.970.98=94.1%路由器B+D并联体的可用性=1-（1-路由器B的可用性）（1-路由器D的可用性）=1-（1-0.97）（1-0.95）=99.85%路由器ABCD整体可用性=A可用性（B+D可用性）（C可用性）=0.990.99850.98=99%131可靠性设计概述可靠性设计概述4.网站可用性分析网站可用性分析【案例6-4】国外知名微型博客网站Twitter（推特）2008年前4个月的可用性只有98.72%，有37小时16分钟不能提供服务，连2个9都达不到。国外电子商务巨头eBay在2007年的可用性是99.94%，考虑到eBay网站的规模与应用的复杂程度，这是个很不错的可用性指标了。不同业务类型决定不同网站对可用性的要求不同。141可靠性设计概述可靠性设计概述提高网络可用性的常规策略：消除单点故障部署冗余设备（或集群）设计高可用集群网络等电信级传输网中，通信设备的可用性要求达到99.999%，这要求系统在一年的连续运行中，因各种可能原因造成停机维护时间少于5分钟。151可靠性设计概述可靠性设计概述1.3网络可靠性设计原则网络可靠性设计原则网络最重要的两个特性是速度和可靠性网络最重要的两个特性是速度和可靠性。1.高可用性的高可用性的7R原则原则（1）冗余（Redundancy）主控设备冗余，交换设备冗余，存储设备冗余，电源冗余，风扇冗余，多处理器等；在结构设计中，采用双机热备系统等；在存储设计中，采用磁盘阵列技术等；在链路设计中，将网络负载分散到两条链路上。冗余虽然提高了网络的可靠性，但是增加了系统冗余虽然提高了网络的可靠性，但是增加了系统成本和网络的复杂度成本和网络的复杂度。161可靠性设计概述可靠性设计概述（2）品牌（Reputation）品牌指产品供应商一贯的良好记录。可以通过以下方法衡量厂商的品牌：占有市场分额的百分比；专家的测试分析报告；在该领域内的历史记录；客户中的良好口碑。171可靠性设计概述可靠性设计概述（3）可靠性（Reliability）可靠性分析经验：检查并分析故障管理日志；从操作人员那里获得反馈信息；从支持人员那里获得反馈信息；从供应商的维修人员那里获得反馈信息；专家的分析报告等。操作人员的反馈通常是公正的，而且有很好的参考作用，能够反映出设备真正的性能和问题。181可靠性设计概述可靠性设计概述（4）维修能力（Repairability）衡量这项能力的标准是：完成维修的时间长短，维修工作多长时间就要进行一次。（5）恢复能力（Recoverability）重新对磁盘进行读取或者写入网络的重新传输热插拔技术等191可靠性设计概述可靠性设计概述（6）响应（Responsiveness）供应商和网络工程师对问题做出快速有效的反应时间；对资源（备用部件）的备用冗余准备情况。（7）活力（Robustness）硬件和软件的发展前途和兼容性设计。一个有活力的系统经受过长时间不同的考验。201可靠性设计概述可靠性设计概述2.网络设计中的可靠性要素网络设计中的可靠性要素（1）无故障运行时间按故障后果的严重程度分为：致命故障严重故障轻度故障（2）环境条件（3）规定的功能211可靠性设计概述可靠性设计概述1.4可靠性设计案例分析可靠性设计案例分析系统优化改造思路网络设备的冗余配置。冗余线路。提高故障的快速恢复能力。在现有防火墙的基础上增加策略路由的功能。222网络冗余设计网络冗余设计232网络冗余设计网络冗余设计2.1冗余设计的基本原则冗余设计的基本原则1冗余设计的目的冗余设计的目的冗余设计是网络可靠性设计最常用的方法。冗余设计的目的：提供网络链路备份；提供网络负载均衡。链路备份和负载均衡在结构上完全一致，但是完成的功能不同，工作模式也不同。冗余链路用于网络备份时，2条冗余链路只有一条工作，另一条处于热备监控状态；冗余链路用于负载均衡时，多条冗余链路同时工作，不存在备份链路。242网络冗余设计网络冗余设计2单点故障单点故障网络冗余设计的原因是网络中存在单点故障。单点故障单点故障是指网络某一节点或某一链路发生故障时，可能导致用户与核心设备或网络服务的中断。链路冗余防止了服务丢失252网络冗余设计网络冗余设计P138图6-4单点故障与冗余链路262网络冗余设计网络冗余设计3冗余设计的内容冗余设计的内容冗余设计包括：链路冗余（端口冗余，双绞线冗余，光纤冗余）设备冗余（交换机冗余、路由器冗余、服务器冗余、电源系统冗余等）软件冗余（远程备份，软件镜像，虚拟机等）最好的冗余方式是多台主机互为热备，但这种方案投资大，而且冗余控制需要一定的开销，对网络性能有一定影响。272网络冗余设计网络冗余设计5冗余设计要求冗余设计要求冗余设计要求：只在网络正常链路中断时，才使用冗余备份链路。尽量不要将冗余链路用于负载均衡，否则当发生网络故障需要使用冗余链路时，网络由于负载失衡而产生不稳定性（性能颠簸）。一般在核心层采用链路聚合技术。尽量减少路由器的路由数量，减少路由跳数。282网络冗余设计网络冗余设计2.2网络结构的冗余设计网络结构的冗余设计1核心层全网状冗余设计核心层全网状冗余设计全网状结构的优点：提供多个到任意目的地的可用路径；到任意目的地只需要1跳；在最坏情况下，到核心层最大为3跳。292网络冗余设计网络冗余设计全网状的缺点：投资与节点数量呈现几何增长关系。随着节点数量的增加，增加了路由器选择最佳路径的计算量，加大了收敛时间。随着路由器数量的增多，处理广播消息的带宽和CPU资源也会增加。302网络冗余设计网络冗余设计P139图6-5核心层全网状冗余结构312网络冗余设计网络冗余设计2核心层部分网状冗余设计核心层部分网状冗余设计部分网状结构结合了网络冗余网络冗余，路由收敛路由收敛以及线路线路投资投资等方面的考虑。部分网状结构在网络设计中得到了大量应用，成为主干网络中最流行的一种形式。部分网状结构的连接不是随意设计的部分网状结构的连接不是随意设计的，要综合考虑网络结构特点，灵活应用其他冗余设计技术。缺点：某些路由协议不能很好地处理多点对多点的部分冗余网状设计。322网络冗余设计网络冗余设计P139图6-6核心层部分网状冗余结构332网络冗余设计网络冗余设计3汇聚层与核心层之间的双归冗余设计汇聚层与核心层之间的双归冗余设计双归链路提供了很好的冗余，当一条链路出现故障时，不会削弱汇聚层路由器的可到达性。双归接入的缺点：使汇聚层路由器通往核心层设备的路径比单连接增加了一倍，从而会降低网络路由收敛速度。强迫使用某一路径时，需要使用浮动静态路由。双归路由器的“升级”问题。如果核心层路由器R3-R2之间的链路中断，双归路由器R4就会升级到核心层，路由器R4承担了核心层路由器的功能，在性能上有可能达不到要求。342网络冗余设计网络冗余设计P140图6-7汇聚层与核心的双归冗余结构352网络冗余设计网络冗余设计2.3网络链路的冗余设计网络链路的冗余设计【案例6-6】如图6-9所示，某公司总部与分部之间有三条链路相连，DDN与FR之间的路由器配置动态路由协议选路，并配置策略路由从而实现负载均衡；另外还通过PSTN提供静态路由备份。362网络冗余设计网络冗余设计2.4网络设备的冗余设计网络设备的冗余设计1.网络设备和部件冗余技术网络设备和部件冗余技术设备端口的冗余。主控冗余技术。在交换机、路由器等网络设备中，提供两块主控制板，互为备份。主控板与备用从控板之间的切换检测方法可采用硬件心跳线或其他方式。372网络冗余设计网络冗余设计2.不间断转发技术不间断转发技术路由器进行主备切换时，在路由协议层面会与邻居路由器进行主备切换时，在路由协议层面会与邻居路由器之间发生信号震荡。路由器之间发生信号震荡。这种邻居关系的震荡将导致路由震荡，进而导致业务出现暂时中断。NSF（不间断转发）技术可以保证路由器控制层面出现故障（如系统重启或路由震荡）时，数据转发不间断地正常进行，保护网络流量不受影响。具备NSF的路由协议有：OSPF、IS-IS、BGP、LDP（标记分发协议）（标记分发协议）等。382网络冗余设计网络冗余设计3.设备热插拔技术设备热插拔技术热插拔包括：热替换热添加热升级。通过热插拔功能，用户可以在不影响业务的情况下，对组件进行维护更新。392网络冗余设计网络冗余设计2.5HSRP热备份路由设计热备份路由设计VRRPVRRP（虚拟路由器冗余协议）（虚拟路由器冗余协议）是一种容错协议。VRRP在网络边界布置2台路由器或3层交换机，然后在2台路由器上配置VRRP和静态路由，如果其中一台路由器发生故障，另一台路由器马上可以及时工作，从而保持通信的连续性和可靠性。HSRPHSRP（热备份路由器协议）热备份路由器协议）是Cisco公司私有协议。HSRP功能与VRRP完全一致。402网络冗余设计网络冗余设计1.HSRP工作原理工作原理HSRP协议利用优先级决定哪个路由器成为主动路由器。如果一个路由器的优先级比其他路由器的优先级高，则该路由器成为主动路由器。刚开始工作时，各个路由器广播自己的HSRP优先级，HSRP协议选优先级最高的路由器为当前的主动路由器。HSRP指定一个虚拟IP地址作为缺省网关地址，网络中的主机将缺省网关指向该虚拟地址，主动路由器负责转发由主机发到虚拟地址的数据包。412网络冗余设计网络冗余设计2.三层交换机的三层交换机的HSRP配置命令格式配置命令格式（1）设置端口IP地址。命令格式：Router(config-if)#ipaddressipaddress（2）启用HSRP功能，设置虚拟IP地址。命令格式：Router(config-if)#standbystandbyipip（3）设置HSRP抢占模式。命令格式：Router(config-if)#standbystandbypreemptpreempt422网络冗余设计网络冗余设计（4）设置路由器的优先权值。命令格式：Router(config-if)#standbystandbyprioritypriority 433存储网络设计存储网络设计443存储网络设计存储网络设计3.1SCSI与与SAS接口技术接口技术1SCSI接口技术接口技术SCSI（小型计算机系统接口）（小型计算机系统接口）是连接存储设备与服务器最通用的方法。SCSI接口可以连接硬盘、光驱、磁带机和扫描仪等外设。目前SCSI技术已经逐步被SAS技术替代。453存储网络设计存储网络设计2SAS接口技术接口技术SAS（串行连接SCSI）是SCSI总线协议的串行版。SATA标准是SAS标准的一个子集，因此SAS和SATA在物理上和电气上有一定的兼容性。SAS接口与SATA（串行（串行ATA）接口很相似，SAS接口是双端口设计，SAS硬盘无法插入SATA插座，而SATA硬盘可以安全插入SAS接口的第1端口。463存储网络设计存储网络设计P140图6-12SAS硬盘接口与SATA硬盘接口比较SAS与SATA有相同的物理层，因此它们的线缆与连接器很相似，但电气上有些差别。SATA信号电压不到SAS信号电压的一半，因此SAS接口传输距离可达6m，SATA只能达到1m。473存储网络设计存储网络设计案例SAS接口硬盘483存储网络设计存储网络设计P145表6-3SAS、SATA和PATA硬盘接口性能对比技术指标技术指标SAS1.0SATA2.0ATA0接口带宽接口带宽3.0Gbit/s3.0Gbit/s133MB/s电缆最大长度（电缆最大长度（mm）60001000450信号电压（信号电压（V）0.2751.60.3250.65热插拔热插拔支持支持支持不支持数据信号线（根）数据信号线（根）14740+40电源线数量（根）电源线数量（根）15（4组）组）15（4组）4通信模式通信模式全双工全双工半双工半双工连接设备接口连接设备接口SAS和和SATASATAIDE支持设备端口支持设备端口多端口硬盘多端口硬盘单端口单端口连接设备数连接设备数12812软件兼容性软件兼容性兼容兼容SCSI兼容ATAATA市场应用市场应用服务器服务器PC淘汰493存储网络设计存储网络设计3.2RAID磁盘阵列技术磁盘阵列技术改进磁盘存取速度的方法：磁盘高速缓存技术RAID（廉价磁盘冗余阵列）（廉价磁盘冗余阵列）技术。1RAID技术的类型技术的类型（1）软件RAIDWindows及Linux均支持软件RAID。所有操作由服务器CPU处理，系统资源利用率很高，从而使服务器系统性能降低。软件RAID的优点是不需要添加硬件设备。503存储网络设计存储网络设计（2）硬件RAID硬件RAID通常采用PCI-E接口的RAID控制卡，RAID卡上有处理器及内存，不占用系统资源。硬件RAID可以连接内置硬盘或外置存储设备。无论连接那种硬盘，都由RAID卡控制。513存储网络设计存储网络设计P146图6-13磁盘阵列机外观与系统结构523存储网络设计存储网络设计案例磁盘阵列机内部结构533存储网络设计存储网络设计（3）大型磁盘阵列机磁盘阵列机是一台独立的精简型服务器（如IBMTotalStorageDS4500）大型磁盘阵列机的控制部分与磁盘阵列部分采用分开的设备，存储容量可达到数百TB。磁盘阵列机采用精简型操作系统，如Linux等。磁盘阵列机可以通过自带的网卡接连到网络中。543存储网络设计存储网络设计P146图6-13大型磁盘阵列机553存储网络设计存储网络设计案例大型磁盘阵列机技术参数563存储网络设计存储网络设计3RAID的级别的级别RAID级别是一种工业标准。广泛应用的RAID级别有4种：RAID0RAID1RAID01RAID5573存储网络设计存储网络设计RAID级别大小并不代表技术的高低。RAID0没有安全保障，但速度快；RAID1适用于需安全性又要兼顾速度的系统；RAID2及RAID3适用于大型视频等处理；RAID5多用于银行、金融、股市、数据库等大型数据处理中心。583存储网络设计存储网络设计4RAID0条带技术条带技术RAID0采用无数据冗余的存储空间条带化技术条带化技术。如图6-14所示，这里用4个硬盘组成一个RAID0阵列，在存储数据时，由RAID控制器将文件分割成大小相同的数据块，同时写入阵列中的磁盘。连续存储的数据块就像一条带子横跨所有的磁盘，每个磁盘上的数据块大小都是相同的。软件RAID0中，数据块大小为64KB。硬件RAID0中，数据块大小有1KB、4KB、8KB等，甚至有1MB、4MB等大小。593存储网络设计存储网络设计P147图6-14RAID0结构603存储网络设计存储网络设计RAID0写入和读取数据时，4个磁盘可以同时进行，读写性能虽然不能提高300%，但比单个硬盘提高200%的性能是可能的。RAID0没有数据冗余和校验恢复功能，所以阵列中任何一个硬盘损坏，就可能导致整个阵列数据的损坏，因为数据分布存储在多个硬盘中数据分布存储在多个硬盘中。RAID0最低必须配置2块或以上的相同规格硬盘，但是多于4块硬盘的配置是不必要的。613存储网络设计存储网络设计5RAID1镜像技术镜像技术RAID1采用两块硬盘数据完全镜像技术镜像技术，这等于内容彼此备份。阵列中有两个硬盘在写入数据时，RAID1控制器将数据同时写入两个硬盘。这样，其中任何一个硬盘的数据出现问题，可以马上从另一个硬盘中进行恢复。两个硬盘不是主从关系，而是相互镜像的关系。623存储网络设计存储网络设计P148图6-15RAID1结构633存储网络设计存储网络设计RAID1提供了有力的数据容错能力，但这是以牺牲硬盘容量为代价获得的效果。例如，4个500GB的硬盘组成的RAID1阵列时，总容量为2TB，但有效存储容量只有1TGB，另外1TB用于数据镜像备份。643存储网络设计存储网络设计RAID5校验技术校验技术RAID2、3、4、5可以对磁盘中的数据进行纠错校验纠错校验，当数据出现错误或丢失时，可以由校验数据进行恢复。在RAID2、3、4中，这种纠错机制需要单独的硬盘保存校验数据。RAID5RAID5不需要单独的校验硬盘不需要单独的校验硬盘，而是将校验数据块（ParityBlock）以循环的方式放在磁盘阵列的每一个硬盘中。653存储网络设计存储网络设计P148图6-16RAID5结构663存储网络设计存储网络设计案例安装在机柜中的磁盘阵列设备673存储网络设计存储网络设计案例RAID磁盘阵列管理683存储网络设计存储网络设计RAID5对联机交易处理系统，如银行、金融、股市等或大型数据库的应用提供了最佳解决方案，因为这些应用的每一笔数据量都很小，磁盘输入/输出频繁，而且必须具有数据容错功能。RAID5既要求磁盘速度快，又要处理数据，计算校验值，做错误校正等工作。因此，RAID5的控制较为复杂，设备成本较高。利用多个磁盘组成RAID时，磁盘阵列最大可用容量与阵列中最小磁盘容量有关。693存储网络设计存储网络设计案例RAID模式下磁盘空间利用情况703存储网络设计存储网络设计3.3FC光纤通道存储网络设计光纤通道存储网络设计光纤通道（FC）是一种数据传输接口技术。FC适用于服务器共享存储设备的连接。1光纤通道技术光纤通道技术FC采用全双工串行通信方式，支持点对点、仲裁环和交换式三种拓扑结构。FC的兼容性较差，因为厂商以不同的方式解读FC标准，而且以多种技术实现。713存储网络设计存储网络设计FC是在SCSI接口技术上发展的一个高性能接口。由FC组成的网络不同于以太网技术，它的带宽资源几乎全部可用于传输数字信号，FC网络基本上没有管理信息。FC组建的存储网络（SAN）有较好的性能。723存储网络设计存储网络设计案例FC组建的存储网络（SAN）733存储网络设计存储网络设计2FC存储网络设计存储网络设计FC技术有三种光纤信道交换方法。（1）主控制器交换模式主控制器是一个多端口、高带宽的网络交换机。主控制器中某个部件失灵不会影响正常应用，因为主控制器采用全冗余、热插拔部件。主控制器支持在线错误检测、故障隔离和恢复。主控制器可提供99.999%的可用性。主要应用：不允许宕机的关键任务系统、企业SAN存储网、应用密集型系统等。743存储网络设计存储网络设计（2）网络交换模式采用光纤交换机作为主要设备，在交换机所有端口之间进行数据高速传输。光纤交换可以构成一个存储网络，这个网络对连接设备来说是透明的。网络交换应用：部门级连接、分布式存储占主导地位的应用、小型SAN的标准构件等。753存储网络设计存储网络设计【案例6-9】由光纤交换机组成的存储网络拓扑结构如图6-17所示FC组成：光纤交换机（FC-SW）主机光纤通道卡（HBA）磁盘冗余阵列（RAID）光纤链路（FC）等。763存储网络设计存储网络设计P149图6-17FC存储网络结构773存储网络设计存储网络设计P149图6-17FC存储网络设备783存储网络设计存储网络设计案例FC光纤交换机793存储网络设计存储网络设计案例FC光纤交换机803存储网络设计存储网络设计案例HBA卡功能813存储网络设计存储网络设计案例存储设备823存储网络设计存储网络设计案例光纤连接方式833存储网络设计存储网络设计案例光纤交换机管理843存储网络设计存储网络设计案例光纤交换机管理853存储网络设计存储网络设计3FC的局限性的局限性FC本是一个高速存储系统，虽然具备了一些网络互连功能，但远不是一个完善的网络系统。没有专门的服务器来管理FC网络。现有的FC还无法达到基本的安全管理要求。由FC组成的区域存储网络（SAN），无法使存储设备在因特网上运行。FC-SAN的物理覆盖距离不超过50km。863存储网络设计存储网络设计3.4SAN存储区域网络设计存储区域网络设计1网络存储技术的类型网络存储技术的类型（1）直接附加存储（DAS）DAS是直接连接在服务器主机上的存储设备。如硬盘、光盘、USB存储器等设备。在DAS中，所有存储操作都要通过CPU的I/O操作来完成，存储设备与主机操作系统紧密相连。这种存储方式加重了服务器主机负担。873存储网络设计存储网络设计案例磁带机技术参数883存储网络设计存储网络设计案例DAS存储893存储网络设计存储网络设计（2）网络附加存储（NAS）NAS是一种连接在网络上的专用存储设备。NAS以文件传输为主，提供跨平台海量数据共享功能。NAS最典型的产品是专用磁盘阵列主机、磁带库等设备。NAS连接在局域网上，客户端可以通过NAS系统与存储设备交互数据。NAS直接运行文件系统协议，如NFS、CIFS等。客户端可以通过磁盘映射和数据源建立虚拟连接。903存储网络设计存储网络设计P150图6-18NAS结构913存储网络设计存储网络设计案例存储网络923存储网络设计存储网络设计（3）存储区域网络（SAN）存储区域网络是在服务器和存储设备之间利用专用的光纤通道连接的网络系统。933存储网络设计存储网络设计P151图6-20具有冗余结构的SAN存储网络943存储网络设计存储网络设计案例SAN存储网络应用953存储网络设计存储网络设计案例SAN存储网络应用963存储网络设计存储网络设计（4）JBOD存储技术JBOD（磁盘组）（磁盘组）是将一些物理硬盘串联在一起，从而提供一个大的逻辑硬盘。JBOD上的数据简单的从第1个硬盘开始存储，当第1个硬盘的存储空间用完后，再依次从后面的硬盘开始存储数据。JBOD性能与单一硬盘相同，不提供数据安全保障。JBOD的存储容量等于组成JBOD所有硬盘容量的总和。JBOD支持热插拔。973存储网络设计存储网络设计P151图6-19JBOD结构983存储网络设计存储网络设计一些厂商的产品允许通过硬件开关或者跳线将JBOD升级成磁盘阵列。JBOD经常安装在19英寸机柜中，JBOD大都为十几块磁盘，甚至几十块磁盘，它们之间采用菊花链连接，因此总存储容量十分巨大。如果一个磁盘发生故障就会造成整个设备故障，这对系统是一个巨大的风险。简单的解决办法是采用软件RAID技术。993存储网络设计存储网络设计3SAN设计案例设计案例【案例6-11】SAN设计案例如图6-21所示。方案采用SAN存储服务器作为整个系统的核心设备，直接接到磁盘阵列机和磁带机，然后通过千兆交换机为所有服务器提供高速、可靠的存储服务。一台服务器安装备份软件作为备份服务器。其他服务器安装数据代理软件，系统将根据用户的备份策略，自动将各个服务器的应用数据备份到SAN中。1003存储网络设计存储网络设计P152图6-21简单SAN拓扑结构1013存储网络设计存储网络设计RAID和磁带机为整个存储网络提供存储资源。千兆交换机为SAN存储服务器和应用服务器之间提供千兆高速网络传输带宽。1023存储网络设计存储网络设计SAN存储系统软件有：数据保护模块；数据备份和恢复模块；数据迁移或分级存储模块；数据归档模块；灾难恢复模块；存储资源管理模块；SAN网络管理模块；集中统一管理等软件。1033存储网络设计存储网络设计5存储网络的安全问题存储网络的安全问题对备份数据实行加密保护并不是件容易的事情，会产生一系列问题，如系统性能降低、应用响应延时，以及数据备份/恢复和管理的复杂度增加等。很多存储网络产品虽然都提供了安全功能，但是，如果用户使用Cisco公司的NAS设备、安氏公司的安全设备、HP公司的主机、D-Link公司的网卡，这些设备要相互协调工作，会变得相对困难。1043存储网络设计存储网络设计3.5IP存储网络设计存储网络设计1.IP存储技术的发展存储技术的发展存储网络工业协会（SNIA）推出的SMI-S（存储管理接口规范）使不同的存储设备供应商，提供的存储系统之间能够互相兼容。SMI-S是一个面向对象的信息模型，它定义了系统构件的物理和逻辑结构。CIM（通用信息模型）则是基于Web的企业管理的一部分，它包括一个基于XML的加密规范和一个通过HTTP访问模式化对象的方法。1053存储网络设计存储网络设计IPIP存储目前的主流技术是存储目前的主流技术是iSCSIiSCSI，它将SCSI指令封装在TCP/IP协议中传输。iSCSI吸收了光纤通道技术的优点，同时也继承了以太网和IP技术的优点。iSCSI克服了光纤通道技术的距离限制。iSCSI兼容的设备要比光通道设备便宜得多。其它IP存储技术包括有iFCP，FCIP等。1063存储网络设计存储网络设计2iSCSI技术技术iSCSI与主机的连接有3种实现方式。P154图6-23iSCSI实现方式1073存储网络设计存储网络设计由于采用不同的协议，iSCSI与FC之间不兼容。3iSCSI工作原理工作原理iSCSI存储网络由iSCSI服务端和客户端两部分组成。服务端包括服务器及连接的iSCSI网络。客户端一般采用Windows或Linux操作系统，iSCSI客户端通过网络访问服务端。对于客户端来说，访问存储网络和本地硬盘完全相同。1083存储网络设计存储网络设计4iSCSI的优点与缺点的优点与缺点iSCSI的基础是传统的以太网和因特网。基于FC技术的SAN及DAS安全性相对较低。iSCSI支持IPSec机制，并在芯片层面执行有关指令，确保数据的安全性。问题：距离和带宽之间的矛盾；广域网传输的成本；网络传输效率和延迟等。1094高可用集群系统设计高可用集群系统设计案例IP网络存储系统1104高可用集群系统设计高可用集群系统设计1114高可用集群系统设计高可用集群系统设计4.1计算机集群系统的类型计算机集群系统的类型集群系统是将2台以上的计算机（如PC服务器），通过软件（如RoseHA）和网络（如以太网与RS-232），将不同的设备（如磁盘阵列）连接在一起，组成一个高可用的超级计算机群组，协同完成大型计算任协同完成大型计算任务务。根据2009年统计数据，世界500强计算机中，有379台计算机采用集群结构，占7676的比例。集群是目前超级计算机的主流体系结构。1124高可用集群系统设计高可用集群系统设计【案例6-13】Google数据中心集群计算机如图6-25所示。一个计算中心有多个机架；每个机架安装有80台服务器；每个机架通过2条1000M以太网链路连接到1000M以太网交换机；一个数据中心最多可以容纳5120台服务器。1134高可用集群系统设计高可用集群系统设计P155图6-25Google数据中心计算机集群系统1144高可用集群系统设计高可用集群系统设计案例数据中心计算机集群系统1154高可用集群系统设计高可用集群系统设计集群系统的类型集群系统的类型HA（高可用）集群；负载均衡集群；科学计算集群。（1）HA集群HA集群具有容错和备份机制，主节点失效后，备份节点能够立即接管相关资源，继续提供服务。HA集群最典型的结构是双机热备系统双机热备系统。HA集群主要用于网络服务，数据库系统，以及关键业务系统等。1164高可用集群系统设计高可用集群系统设计案例硬件双机热备系统1174高可用集群系统设计高可用集群系统设计案例纯软件双机热备系统1184高可用集群系统设计高可用集群系统设计（2）负载均衡集群负载均衡集群主要应用于高负载业务情况。负载均衡集群能够使业务（如DNS请求）尽可能平均地分摊到不同计算机进行处理。负载均衡集群非常适合运行同一组应用程序（如Web服务）的大量用户。1194高可用集群系统设计高可用集群系统设计（3）科学计算集群科学计算集群主要用于大规模数值计算。如天气预报石油勘探分子模拟生物计算等。1204高可用集群系统设计高可用集群系统设计4.2HA集群软件系统结构集群软件系统结构商业HA集群软件有：RoseHAIBMHACMP开源HA集群软件有：HeartbeatRHCS等1214高可用集群系统设计高可用集群系统设计1.Linux平台上的平台上的HA集群软件集群软件（1）Heartbeat（心跳服务软件）（心跳服务软件）集群软件Heartbeat是开源HA集群中最为成功的一个软件。Heartbeat基本功能：跳检测资源接管系统监测共享IP地址转移等。很多Linux版本都自带了Heartbeat套件。1224高可用集群系统设计高可用集群系统设计（2）Beowulf（贝奥武甫）（贝奥武甫）集群软件Beowulf是著名的Linux科学计算集群软件。它是在Linux内核上运行的一组公共软件工具。Beowulf软件模块包括：MPI（消息传送接口）；PVM（并行虚拟机）；修改后的Linux内核；DIPC（分布式进程通信）服务等。DIPC机制允许从任何节点访问任何进程。机制允许从任何节点访问任何进程。1234高可用集群系统设计高可用集群系统设计2.WindowsServer平台上的平台上的HA集群软件集群软件（1）MSCS（微软公司集群服务器）（微软公司集群服务器）集群软件WindowsServer带有MSCS集群软件。MSCS支持主/从、主/主工作模式；支持SQLServer，Oracle等数据库。在Windows2003EnterpriseServer平台上，MSCS最多可以管理8个节点的集群。1244高可用集群系统设计高可用集群系统设计（2）Co-Standby集群软件Co-StandbyServer是WindowsServer平台的HA集群软件。该集群软件支持磁盘镜像和共享磁盘两种存储模式，支持主/从、主/主工作模式，支持SQLServer、Oracle等数据库。由于支持磁盘镜像模式，这对一些没有磁盘阵列，但希望保证关键业务高可靠性的用户，是一种很好的解决方案。1254高可用集群系统设计高可用集群系统设计4.多操作系统平台的多操作系统平台的HA集群软件集群软件RoseHA是功能非常强大的商业集群软件。支持众多的专用UNIX平台。如：IBMAIX、HP-UX、SUNSolraris、UnixWare、SGI、NEC、SIEMENS等；也支持PC平台的UNIX系统，如：FreeBSD、SCOUnix、Solrarisx86等；还支持Windows、Linux等操作系统。RoseHA集群软件支持的数据库有：Oracle、MSSQL、Excheng|、Lotus/Nose、DB2等。商业集群软件还有Symantec公司的VERITASCluster1264高可用集群系统设计高可用集群系统设计5.HA集群软件的基本结构集群软件的基本结构HA集群软件主要模块：守护进程；应用程序代理；管理工具；开发脚本。不是每个应用程序都能够实现HA集群管理，也不是每个HA集群软件可以管理所有的应用程序。HA集群软件的代理模块一般支持使用频度较高的软件，如数据库系统、Web系统、邮件系统等。1274高可用集群系统设计高可用集群系统设计案例HA集群软件系统结构1284高可用集群系统设计高可用集群系统设计HA集群系统的工作原理集群系统的工作原理【案例6-14】图6-27是一个HA集群系统的典型结构图。在HA集群中，最核心的部分是心跳监测心跳监测网络和集群资源接管资源接管模块。心跳监测一般由串行接口（RS-232）通过串口线路来实现。1294高可用集群系统设计高可用集群系统设计P158图6-27HA集群系统典型结构1304高可用集群系统设计高可用集群系统设计HA集群系统工作原理两台主机在运行过程中，两个节点之间通过串口（心跳线）相互发送报文来告诉对方自己当前的运行状态，系统软件和硬件运行状态，网络通信和应用程序运行状态等。如果在指定时间内未受到对方发送的报文，就认为对方主机运行不正常（故障）。备机上的HA软件模块就会立即在自己机器上启动故障机上的应用程序，将故障机的应用程序及资源（IP地址和磁盘空间等）接管过来，使故障机上的应用在本机上继续运行。1314高可用集群系统设计高可用集群系统设计应用程序和资源的接管过程由HA软件自动完成，无需人工干预。当两台主机正常工作时，也可以根据需要，将其中一台主机上的应用人为地切换到另一台备机上运行。1324高可用集群系统设计高可用集群系统设计案例HA集群通信机制1334高可用集群系统设计高可用集群系统设计4.3HA集群系统硬件设备集群系统硬件设备HA集群系统必须的硬件设备有：服务器主机，网络和网卡。为了增