2022年北京金钻芯科技中科院存储技术解决方案.docx

《2022年北京金钻芯科技中科院存储技术解决方案.docx》由会员分享，可在线阅读，更多相关《2022年北京金钻芯科技中科院存储技术解决方案.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中科院储备技术解决方案中科院某中心储备系统需求1 、集中储备为了满意应用系统对于储备的需求，并考虑到性能、扩展性、牢靠性等 因素；中科院某中心方案建设储备区域网络SAN，来统一为应用系统供应储备服务；这样即可以有效的提高整套系统的储备利用率，简化治理和爱护的工作量，并且有利于实现数据的集中备份；同时利用SAN储备局域网的融合性和可扩展性，实现“服务器群 SAN网络储备池”新一代IT 架构，爱护用户投资，降低用户的总拥有成本 TCO，Total Cost of Ownership；中科院某中心的服务器的操作系统包括AIXSolarisLinuxWindows等主流的操作系统， SAN需要能够支持

2、这些异构的环境；并且在整合的时候要充分考虑到成本的因素，如交换机、主机适配器HBA等； 2 、 简化治理储备设备在一个企业中的异构化现象特别普遍，为保证储备空间的可管理性和削减 SAN结构的复杂性，方案应采纳先进、简便的SAN技术和相应的治理软件，保证大数据量简便治理并能够充分发挥系统性能；3、储备容量的需求综合考虑到各类储备需求后，中科院某中心估计第一期整体需要储备空 间为 30TB；其中重要的在线数据为 10TB，需要供应网络硬盘功能实现储备资源的 20TB；在在线数据中，有 4TB的重要的数据库信息需要系统供应高等级的数据爱护；4、储备容量扩展随着业务的进展，数据库和各种应用系统也需要越

3、来越多的储备空间；这就要求储备系统能够便利的扩充储备空间；5、 完善数据治理中科院某中心承担着繁重的科研工作，为了保证科研工作的顺当进行， 有必要完善数据治理工作，实现更好的数据储备和爱护；6、 系统实施规划在系统实施规划上，中科院某中心可以依据储备设备的规划，分步实施整个系统；学习文档 仅供参考储备架构设计方案在 IP-SAN 的方案设计中，共分为四个部分，分别是集中储备、连续数据爱护、数据备份以及应用服务器系统爱护；集中储备将要搭建 IP SAN 的储备架构，供应 10TB的可用容量；其中4TB重要的业务数据储备在宏杉科技的MS3000产品中，使用 NAS系统，供应网络硬盘的共享空间 6T

4、B，用于数据中心人员日常数据的储备；连续数据爱护用于核心业务数据的爱护手段，供应最快10 秒钟的系统复原速度 RTO，最少 10 分钟的数据缺失量 RPO；保证业务系统的连续进行；采纳备份软件建设统一的备份环境，完成分散的多台服务器数据备份；备份介质可以挑选虚拟磁带库或者磁盘阵列；应用服务器系统爱护能够实现对应用服务器数据和系统的“克隆”，一旦显现数据损坏、系统崩溃的情形，能够快速地进行复原，保证系统的正常运行；在集中储备中，以 MS3000为核心储备系统，支持采纳多块网卡的高牢靠性设计， 完全能够满意数据库服务器等关键业务对于储备区域网络的性能和牢靠性的要求；全部需要连接 MS3000的服务

5、器，如数据库服务器，只要安装千兆网卡， 并安装软件的 iSCSI Initiator，就可以通过以太网获得储备设备，从而不需 要购置价格昂贵的 HBA卡；主流的操作系统 AIXSolarisLinuxWindows都支持这种千兆网卡加软件的 iSCSI Initiator的实现方式；对于那些对于 CPU负荷比较重的服务器，也可以安装通过的HBA卡的方式连接到系统，将部分储备运算交给 HBA卡完成，从而减轻主机CPU的负荷；中科院某中心将会选购多种服务器邮件等应用，MS3000能够利用多种集群软件实现双机热备；例如 IBM 集群软件 HACM，P ROSE等，保证 Oracle 数据库等系统的高

6、可用性； MS3000仍可以通过多路径软件为应用主机供应多链路负载均衡和故障切换功能；为了实现多链路冗余，数据库服务器需要在原有2 块网口的基础上，增加新的网卡，或者增加iSCSI 的 HBA卡；日后假如需要扩展应用服务器的储备，可以随时安装操作系统所对应的 iSCSI Initiator，协作以太网卡连接到储备系统；MS3000 通过划分不同的卷， 以保证各个应用系统互不干扰 . 为了爱护储备设备上的各种文件资料的安全，并供应高牢靠的数据爱护，不采纳传统的数据备份手段磁带，而是采纳连续数据爱护 CDP；把 MS3000上的文件数据依据肯定的策略以异步的方式复制 到近线储备设备上；近线储备由一

7、台MS3100组成， MS3100配备 10 块磁盘，采纳 RAID5机制，能够实现 6TB的可用容量；考虑到近线储备设备除了要为主储备供应 1： 1 的空间储备以外，仍需要15%的额外空间用于时间点的爱护详见第 6 章 CDP数据爱护；此外，为了爱护应用服务器的正常运行，仍在应用服务器上部署如DISKSAFE类的软件，能够应用服务器的操作系统和业务数据备份到后台的MS3100上；在应用服务器显现故障的情形下，可以快速复原或者远程启动需要相关硬件支持，从而实现系统级的备份和爱护宏杉科技储备简介MacroSAN MS300是0 宏杉科技推出的新一代中端储备产品，其融入了大量先进的设计理念和架构技

8、术，面对中、小型数据中心供应安全牢靠的、资源弹性部署的储备平台；在硬件架构上， MS3000采纳了包括大容量缓存扩展、 PCI-E 2.0 、SAS2.0 、SSD等在内的先进技术，构建高性能的储备平台；在资源治理上，MS3000 采纳基于 Cell的虚拟化技术，通过创新的 ICMT治理机制，实现资源的弹性部署；在牢靠性上， MS3000除了采纳双控全冗余模块化设计、供应丰富的数据保护特性外，仍通过创新的 CRAID技术和 IDDC磁盘诊断安全机制，将磁盘故障导致的宕机时间和机率削减 80%；此外， MS3000基于开放式数据储备平台ODSP ，能够通过接口开放、规格功能定制、行业特性开发移植

9、等方式，将储备系统真正与用户业务系统无缝融合；产品特点一高性能体系架构在架构设计上， MS3000采纳了大量业界先进的技术，包括大容量缓存扩展、 PCI-E 2.0 、SAS 2.0 、SSD等，构建高性能的储备平台；1高带宽总线技术的总带宽到达 80Gbps；MS3000采纳多条 PCI-E 2.0总线连接前端主机通道、后端磁盘通道及缓存镜像通道，保证整个系统端到端的性能匹配；SAS 2.0技术： SAS技术近几年在带宽、稳固性、兼容性、效率等方面都超越了 FC技术，已经成为储备阵列的主流架构；而SAS 2.0 技术的成熟商用，使得 SAS的领先优势更为明显；在SAS 2.0 标准中，单个S

10、AS通道的带宽到达 6Gbps，四路宽端口的带宽到达24Gbps；MS3000采纳 SAS 2.0 技术构建后端磁盘架构，每个掌握器采纳2 个四路 SAS宽端口，总带宽到达96Gbps；2大容量智能缓存治理缓存调度是储备阵列的核心机制，也是影响储备掌握器性能的最主要因素之一；由于技术上的限制，传统储备阵列的缓存容量小，扩展困难，而且调优治理特别复杂；在云运算环境下，储备的并发I/O 拜访量快速增长，数据存取热点变动频繁，对储备缓存的容量要求也急剧增长；与此同时，大容量缓存对于储备的缓存治理也提出了更高的要求；MS3000在支持最大 32GB容量缓存的同时，采纳业界领先的智能缓存治理机制，大大提

11、升了缓存的效率；容量按需配置：缓存大小是打算储备阵列档次的重要标准，通过增加缓存能够显著的提升储备性能；在缓存大小上，MS3000支持 8-32GB 的敏捷配置，用户可依据实际的应用需求来挑选；相对于采纳更高的产品型号来增加性能的传统方式，这种通过扩展缓存来提高性能的方式，具有更高的性价比；全局智能调度： MS3000采纳智能缓存调度机制，对全局性缓存进行治理；不仅单个掌握器内的读、写缓存可依据实际情形动态调整, 而且两个掌握器的缓存也无需对称安排，以充分发挥掌握器的性能；在详细调度策略上，读、写缓存被划分为预留、共享、突发三大区块，以满意LUN的实时变化的性能需求；在这种机制下，LUN 在大

12、压力下获得大缓存空间， 在小压力下获得小缓存空间，既保证单个LUN不存在性能瓶颈，也使得 整个系统的缓存使用特别高效；数据安全牢靠：在缓存数据的安全性上，不仅采纳了缓存镜像机制，而且具备掉电爱护功能；在外部电源故障的情形下，写缓存里的数据能 够被下刷储存到储备阵列的前四块磁盘保留磁盘里；当供电复原后， 能够从保留磁盘中将数据复原回来；3高性能 SAS/SSD磁盘SAS磁盘技术： SAS磁盘是磁盘领域的一次技术变革；SAS磁盘在继承 SCSI 磁盘稳固、牢靠性等优点的基础上，仍具备大量新的特性，比方6.0Gb 接口速率、双冗余接口、全双工模式、兼容SATA磁盘等；由于这些优势， SAS磁盘已经成

13、为了主流的磁盘技术，并且将服务器、储备阵列两个不同领域的磁盘进行了统一；如今的SAS磁盘不仅同时支持15000/10000/7200转三种速率，而且仍支持2.5/3.5二种尺寸，给用户带来了更多的挑选；高性能 SSD磁盘： SSD磁盘的高性能已经获得了业界的一样认可，MS3000将这一领先的磁盘技术融入高性能体系架构之中，大幅提升磁盘的 IO 响应才能；此外，通过自动分层储备和自动数据迁移机制，能够将数据热点与 SSD磁盘进行完善的融合，使储备阵列只需要配置少量的SSD磁盘，却能获得整体性能的大幅提升；二基于 Cell的智能资源治理Cell ，形象称之为“细胞”，指带“活性”的数据单元，是MS

14、3000 进行储备资源治理的基本单位；MS3000采纳 Cell机制从数据块底层转变 了传统的卷 LUN治理机制，并在此基础上构建了完全的储备虚拟化架构，实现了资源的精细化治理和弹性调度；传统意义的储备规律资源治理是以卷LUN为基本的操作单元；LUN、RAID、磁盘三者是串行关系，一旦LUN安排之后， LUN所在的空间就被牢坚固化到详细的RAID 类型和磁盘之上，不仅性能、容量难以扩展， 而且配置改动困难；任何一次资源配置的改动都是“伤筋动骨”，最严重的情形是整个应用需要重做；ICMTIntelligent Cell Management Technology，基于 Cell的智能资源治理技术

15、是宏杉科技的一项创新技术；采纳ICMT技术后， LUN所对应的不再是一整块的RAID空间，而是由多个 Cell组成的一个规律空间； LUN不关怀 Cell采纳的是何种的RAID方式，也无需知道 Cell 所在的实际位置； MS3000以 Cell为核心来进行规律资源的治理，完全破 除 LUN与 RAID、Disk 之间的捆绑关系，在储备阵列内部形成完全的虚拟化架构；容量弹性配置：初始空间安排时，系统自动在Cell池中猎取储备空间，无需治理员指定；此后，再通过自动精简配置技术实现空间的自动增长；比方：应用系统需要1TB 的规律空间，储备阵列初始只为其分 配 500GB的物理空间，当应用的实际容量

16、接近或到达500GB时，会依据预设策略为应用系统安排新的物理空间，比方再安排200GB，使得实际的物理空间到达 700GB；通过 ICMT和自动精简配置技术，应用系统只需向储备阵列提出空间需求，而不关怀资源的空间限制和物理位置，由储备系统自动进行容量的弹性配置和治理；自动分层储备：采纳 ICMT技术后， LUN与 RAID、磁盘之间没有绑定关系；通过基于 Cell的数据拷贝和迁移，可以依据数据的拜访频度， 实现数据在不同的磁盘介质上的自由流淌，从而实现自动的分层/ 分级储备；比方对于热点的数据，将其放置在SSD磁盘上；对于非热点的在线 数据，将其放置在高速SAS盘上；对于归档 / 备份数据，将

17、其放置在低速SAS盘上，并将其休眠；通过ICMT和自动分层储备策略，完全解决动态 数据热点的性能问题；三创新的 CRAID技术传统的 RAID 机制是以磁盘为基本的操作单元，当磁盘内显现少量坏块后，整块磁盘会被作为问题磁盘“踢”出RAID组，然后在热备盘上对整块磁盘的数据进行重建；随着磁盘容量的急剧增大，这种粗颗粒度的 RAID机制遇到了庞大的挑战，不仅数据重建过程漫长，而且会消耗大量的系统资源；例如， 1 块 2TB 的 SATA磁盘的 RAID5 重建时间，在无流量压力的情形下需要 20 个小时，在有流量压力下需要数天甚至超过一个星期的时间；CRAID基于 Cell的 RAID技术是宏杉科

18、技在 RAID 机制上的一项创新技术；在 CRAID环境中，建立传统的 RAID组之后，系统会再将RAID 空间划分成一个个的小数据块，称之为Cell ，然后以 Cell为单元进行资源的治理；比方当磁盘内显现部分数据坏块时，其影响的只是坏数据块所在的 Cell ，系统只会针对这个 Cell进行数据重建，而磁盘的其它数据部分不会受到影响； CRAID通过 Cell来实现对磁盘的精细化治理，不仅提高了对硬盘故障的容忍度，而且将数据重建的效率提高了数倍，详细包括：同一 RAID组答应多块磁盘显现介质故障：在RAID组内，只要同一Cell内的两个数据块不同时显现故障，RAID组答应多块磁盘发生介质损坏

19、，而数据不会丢失；只重建数据 Cell ：假如磁盘显现严峻故障比方物理故障需要数据重建时， CRAID只对已有数据的Cell进行重建，闲暇 Cell不重建；局部重建：假如磁盘发生临时性故障比方被拔出后快速插回，CRAID只重建数据发生变化的Cell ，不对整个硬盘进行重建；快速重建：假如硬盘发生不完全损坏 存在部分介质错误 ， CRAID只对发生介质错误的Cell进行校验重建，其它数据通过拷贝的方式重建；四完善的磁盘安全策略传统意义的储备安全，主要关注系统冗余性、数据爱护二个方面，对磁盘安全的关注度不高；但是，据统计，储备系统的硬件故障90%以上都是由磁盘故障引发的；可以说，磁盘的安全才是储备

20、安全的根本；在磁盘安全方面， MS3000建立了一整套完善的机制，通过主动式磁盘诊断中心 IDDC，在磁盘检测、故障修复、故障处理三个环节实现了对磁盘故障的主动预防、快速修复和削减误判，以到达将硬盘故障导致的宕机时间削减 80%的目标；主动式磁盘检测：传统的磁盘故障处理是一种事后模式，即在发生故障后进行修复； MS3000的磁盘诊断机制是一种故障前的主动检测；在系统正常运行过程中，磁盘检测模块会周期性的检测数据盘的RAID校验信息和对空白盘、热备盘进行全盘扫描，从而能够比应用系统更早感知到磁盘故障，并提前启动对应的修复措施；快速故障修复：在检测到磁盘故障后，MS3000支持多种数据修复策略；对

21、于磁盘的假性故障，可以通过自动的磁盘上/ 下电等操作进行修复； 对于磁盘的少量坏块，可以采纳磁盘的Remap和 RAID/CRAID机制进行坏块替换；对于磁盘的大量坏块，可以通过CRAID技术进行快速重建；磁盘故障确诊：磁盘的故障误判，在储备系统中是一种常见的现象；为了削减对磁盘故障的误判，对于发生初次检测发生故障的磁盘，会在 磁盘检测中心再次进行磁盘检测和修复，将磁盘故障的误判减到最低；五双控全冗余高牢靠设计在硬件架构上， MS3000采纳双控全冗余模块化设计，不仅实现了数据通道的端到端冗余，而且主要模块均支持即插即用和快速更换；双冗余架构：数据从服务器写入磁盘，会经过主机通道、掌握器、缓存

22、、磁盘通道、磁盘柜、磁盘等组件；在这整个数据的通道上，MS3000采纳了完全冗余的架构，保证系统的牢靠性； MS3000采纳双掌握器设计，当单个掌握器发生故障时，能够自动实现业务切换； MS3000采纳缓存镜像机制，写缓存被一式两份储存，并且能在掉电后，将缓存数据下刷到保留磁盘； MS3000支持 ALUA多路径机制，能够实现主机路径的故障切换； MS3000的双 SAS链路设计，为每个 SAS磁盘柜供应两个冗余的外接端口，当其中一条链路发生故障时，自动进行路径切换；MS3000 采纳双接口 SAS磁盘，供应两条数据通路，实现磁盘链路的冗余互备；双活掌握器： MS3000的双掌握器不仅仅支持故

23、障冗余，而且支持负载均衡； MS3000的双掌握器平常都处于活动状态，承载独立的业务，当某个掌握器的性能显现瓶颈时，掌握器之间能够自动进行调整，将部分 业务迁移到另一个掌握器上，从而实现自动的负载均衡；模块化设计： MS3000掌握器的机箱、掌握器、电源、风扇、电池、主机接口卡等主要组件采纳模块化设计，支持单独组件的热插拔和在线更换；当个别组件发生故障时，能够实现快速的故障隔离和组件更换， 防止对整个系统造成大的影响；多类型主机接口卡： MS3000每个掌握器配置 2/4 个主机接口卡插槽，可依据需要敏捷挑选 1Gb/s iSCSI 、8Gb/s FC 、10Gb/s iSCSI 、10Gb/

24、s FCoE四种类型的接口卡；通过主机接口卡的敏捷挑选，可轻松搭建IP SAN、FC SAN、混合 SAN等储备环境；实施规划以上建议方案可以依据中科院某中心的规划分步实施的：1、建立集中储备系统此阶段重在实现储备架构的搭建，而不在于将所需的储备容量一次 扩展到位；例如，可以第一实现部分服务器的接入，实现2TB 的储备空间，采纳 1 台 MS3100供应 6TB的储备空间，满意科研人员的数据储备需求；然后通过系统一段时间的运行，明白把握SAN储备架构的运行特点和操控方法；依据业务的进展，随时可以扩展储备容量，增加接入的服务器台数，最终建立完整的分散应用，集中储备的体系架构；为应对数据量的爆炸式增长做好预备；2、建立连续数据爱护系统随着储备架构的完善，由于硬件故障导致数据丢失的概率已经降低到可以接受的程度； MS3000的牢靠性高达 99.999%；这时，规律错误、人为的误删除、病毒等“软灾难”就成为数据安全的最大威逼；为了有效的应对“软灾难”为数据安全带来的不利影响，必需着眼于数据多版本储存、系统的快速复原的角度来建设数据爱护系统；此时，传统的磁带备份在系统复原时间上、备份间隔上就不能很好的满意系统的需求，必需采纳先进的技术，建立基于备份+容灾的连续数据爱护3、建立对应用服务器的爱护同样，为了爱护系统的安全，对于那些应用服务器，供应一种经济，简便的数据系统爱护方法；