H3SE存储培训教材-第三部分 2 应用技术(共25张).pptx

《H3SE存储培训教材-第三部分 2 应用技术(共25张).pptx》由会员分享，可在线阅读，更多相关《H3SE存储培训教材-第三部分 2 应用技术(共25张).pptx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、日期：2007810存储产品部学习目标学习目标掌握和存储相关的掌握和存储相关的ITIT应用技术，扩大知识面应用技术，扩大知识面了解各种了解各种ITIT应用技术和存储的关系，从应用技术和存储的关系，从ITIT的角度理解存储的角度理解存储了解存储在各种应用中的作用和关注点了解存储在各种应用中的作用和关注点学习内容学习内容服务器和操作系统1文件系统2数据库系统3中间件和IT应用架构4集群和HA5典型行业应用简介6IT架构相关技术架构相关技术应用技术和存储的关系应用技术和存储的关系应用技术应用技术典型应用典型应用集群和集群和HAHA数据库系统数据库系统文件系统文件系统服务器和操作系统服务器和操作系统中

2、间件和中间件和ITIT应用架构应用架构存储的配置和优化存储的配置和优化共享存储共享存储数据的一致性保证数据的一致性保证性能影响和调优性能影响和调优兼容性兼容性ITIT系统的存储访问关系系统的存储访问关系存储存储底层底层上层上层关系关系主机端的硬件和操作系统分类主机端的硬件和操作系统分类F 专用操作系统：z/OSF 硬件：IBM ZSeries 900、AS400/390F 存储连接接口：ESCON、FICONF 接口硬件：存储连接需要专用的驱动程序大型机大型机小型机小型机PCPC服务器服务器F UNIX操作系统：IBM AIX 、HP HP-UX 、SUN SolarisF 硬件：IBM Po

3、wer系列、HP PA/Itanium系列、SUN SPARC系列F 存储连接接口：SCSI、FC、iSCSIF 接口硬件：SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡F 操作系统：MS Windows、LinuxF 硬件：各种X86架构的服务器，IBM、HP、SUN、DELL、浪潮、联想 F 存储连接接口：SCSI、FC、iSCSIF 接口硬件：SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡主机端的文件系统主机端的文件系统F IBM AIX ：HPFS(OS/2)、JFSF HP HP-UX：VxFSF SUN Solaris：UFS、V

4、xFSF Linux：EXT2、EXT3、ReiserFS、NFSF Windows：FAT、FAT32、NTFS、CIFSF Veritas：VxFS文件系统文件系统特性特性F 每种操作系统都采用一种或几种专用的文件系统F 操作系统中，文件的创建、更新和保存都需要文件系统来管理F 文件系统分32位和64位，主要体现在寻址空间上的差异F 文件系统直接关系到整个系统的效率，只有文件系统和存储系统文件系统直接关系到整个系统的效率，只有文件系统和存储系统的参数（比如块大小、条带大小、对齐方式）互相匹配，整个系的参数（比如块大小、条带大小、对齐方式）互相匹配，整个系统才能发挥最高的性能。统才能发挥最高

5、的性能。文件系统分类文件系统分类数据库的定义和存在形式数据库的定义和存在形式数据库定义数据库定义F 定义定义：有关联关系的信息通过合理的结构组织在一起的数据集合，可以通过其专用的命令（SQL语言）对信息进行快速的建立、存储、更新、删除、查询F 数据库的评价指标数据库的评价指标：数据检索能力、并行处理能力、支持的数据规模、稳定性等几个方面数据库数据库存在形式存在形式F 数据库建立在文件系统上数据库建立在文件系统上（比如：工资.DBF 文件），数据的读写操作由操作系统上的文件系统来控制，采用文件系统的数据读写缓冲机制，没有针对数据库做专用的优化，适合小型的数据库应用F 数据库直接建立在裸设备（硬盘

6、）上数据库直接建立在裸设备（硬盘）上（没有文件名，只有一个链接符号），数据的读写操作由数据库自己来控制，数据读写的缓冲机制也是数据库自己设定，由于是专门针对数据库应用设计，所以性能相对较快，适合大型的数据库应用数据库分类数据库分类从支持的数据规模、处理能力、管理功能等方面来看，分为三类：从支持的数据规模、处理能力、管理功能等方面来看，分为三类：F桌面型数据库系统：FoxPro、MS ACCESS、PARADOX等F中小型数据库系统：SQL SERVER、MySQL等F大型数据库系统：DB2、SYBASE、ORACLE、INFORMIX等DB2DB2从数据库的组成结构分为三类：从数据库的组成结构

7、分为三类：F关系型数据库：现在绝大部分应用都是采用这一类F非结构化数据库：专用数据库，比如图书馆、数字媒体等针对文件的管理应用F对象数据库：新兴的数据库，还未形成规模应用数据库对存储系统的要求数据库对存储系统的要求文件名称文件名称存储需求存储需求控制文件大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要经常访问，对于存储设备的性能要求不高。数据文件数据文件占用的存储空间是最大的，主要是随机的读取和写入。典型的RAID策略为RAID10或者RAID5，可以使用较多的磁盘组成RAID组，以提高随机访问的性能。索引文件在数据库中，索引文件是被访问频率最高的数据。查找索引文件需要很大的I

8、OPS。另外，有时候数据库被重新索引，这在计算上非常密集，并且需要大量的I/O带宽。日志文件日志文件主要的I/O操作是顺序写操作，所以用RAID-1就可以满足安全性和读写的要求。由于需要两个或以上的重做日志文件，通常将日志文件放在不同的卷上。数据库读写过程示例数据库读写过程示例库缓冲区日志缓冲区数据文件数据库写进程日志写进程用户请求4ABCD1数据写入库缓冲区2日志写入Redo日志缓冲区3ABCD3日志写入日志文件REDO日志ABCD4数据写入数据文件F为了提高效率，数据库的读写均在缓冲区内进行F缓冲区内的数据最终要写到物理文件中快照代理保证数据一致性快照代理保证数据一致性F 快照的数据一致性

9、问题 业界大多数的存储系统在做快照时，都仅仅是对磁盘中的数据进行快照操作，而没有顾及服务器缓存中的数据。因此，经常发现快照出来的数据“不对”，与预期中的数据不一致。 在存储设备执行数据快照操作时，必须同时兼顾磁盘和缓存中的数据，才能严格保证数据的一致性。F 保证快照数据一致性的方法 接口调用：接口调用：部分存储厂商提供编程接口，在主机端放置手动编写的脚本程序。做数据快照时，通过脚本调用数据库的接口，将缓存“刷”到磁盘上，以此保证数据一致性。 快照代理：快照代理：少数厂商提供完全自动化的快照代理程序，针对不同的客户端应用，比如Oracle、SQL Server、Exchange、Notes等，在

10、客户端安装不同的快照代理程序，与应用程序进行联动，保证各种存储服务运行时关键业务数据的一致性和完整性。中间件中间件F是一种独立的系统软件或服务程序F一般位于操作系统和数据库之上，应用软件的下层F为处于自己上层的应用软件提供运行与开发的环境， 实现在不同的技术之间共享资源，帮助用户灵活、高效地开发和集成复杂的应用软件F中间件分类：远程过程调用、面向消息的中间件 、对象请求代理 F中间件一般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件一般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件服务器通过数据库服务器访问存储中间件服务器通过数据库服务器访问存储中间

11、件中间件应用软件应用软件应用软件应用软件中间件中间件（分布式系统服务）（分布式系统服务）数据库数据库操作系统操作系统硬件硬件数据库数据库操作系统操作系统硬件硬件数据库中间件基于Web的数据库中间件中间件的体系结构应用系统的典型应用系统的典型ITIT架构架构 多层应用多层应用服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技术集群技术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。 集群概述集群概述服务器A

12、服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间,通过网络同步数据2、大数据量读写时，两台服务器会出现数据不同步3、镜像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低3、多服务器集群常采用NAS、SAN共享软件来实现存储共享服务器A服务器B磁盘阵列心跳线客户端PC公用网络集群的存储系统集群的存储系统共享卷同一个数据卷映射到不同的服务器上SANSAN共享：在共享：在SANSAN环境下，多个客户端对一个卷同时进行读写环境下，多个客户端对一个卷同时进行读写例如：非线性编辑等应用要求多台服务器同时读写相

13、同的卷，并且要求存储系统提供持续、稳定的高带宽读写SANSAN和和NASNAS不同，在不同，在SANSAN环境中不存在对共享数据的监管和访问控制功能，环境中不存在对共享数据的监管和访问控制功能，服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个文件的现象，导致数据的不完整或损坏文件的现象，导致数据的不完整或损坏SANSAN共享共享SANSAN可以采用以下两种方式实现卷可以采用以下两种方式实现卷共享共享lSAN共享软件（如IBM SANergy，SGI CXFS等）l集群文件系统（如REDHAT GFS,HP CFS等）刀片式

14、服务器和集群刀片式服务器和集群F 常用操作系统为Windows、LinuxF 采用FC-SAN 存储：每个刀片需要HBA卡，投入较大F 采用IP-SAN存储：通过网口接入，综合成本优势明显典型行业应用介绍典型行业应用介绍1. WEB应用既包括简单的页面读取，也包括对数据库的复杂查询和更新，其中包含大量文本、音像等非结构化数据2. WEB服务的存储需求以小文件，共享式读取为主负载均衡器负载均衡器局域网交换机局域网交换机WEBWEB服务器服务器应用服务器应用服务器数据库服务器数据库服务器NASNAS设备设备SANSAN设备设备WEBWEB应用对存储的需求应用对存储的需求SAN/NAS存储网络LAN

15、网络客户端邮件服务器邮件应用对存储的需求邮件应用对存储的需求1. 常见的邮件系统是微软的EXCHANGE SERVER和IBM Lotus NOTES2. 邮件系统的数据特点介于数据库和普通文件二者之间。邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的3. 邮件服务器的读写以小文件随机读写为主SAN/NAS存储网络LAN网络Client数据库服务器1. 视频点播服务器集群消除计算和IO瓶颈2. 要求存储设备提供稳定的带宽3. 以顺序读写为主视频点播服务器WEB服务器认证服务器流媒体应用对存储的需求流媒体应用对存储的需求业务类型性能要求文件服务一般使用较小的数据块请求，并体现随

16、机特征请求大小在512B到64KB之间分布打印服务通常使用较大的数据块请求一般为64KBWEB服务通常使用较小的数据块，并体现随机特征一般为512B-512KBBBS系统使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64KB之间分布数据库系统一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KB邮件服务一般为随机访问，数据块一般为4-16KB视频服务通常是顺序的大数据块读请求，对带宽的压力非常高一般为64KB及以上非线编通常是顺序的大数据块请求，对带宽的压力非常高，而IOPS压力较小。一般为64KB及以上各类应用对存储的性能要求各类应用对存储的性能要求演讲完毕，谢谢观看！