数据分级存储及访问方式设计方案研究随记.pdf

《数据分级存储及访问方式设计方案研究随记.pdf》由会员分享，可在线阅读，更多相关《数据分级存储及访问方式设计方案研究随记.pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据分级存储及访问方式设计方案 研究随记 认知问题的过程：what（什么）？why(为什么)？how（怎么做)？每一个需要研究的主题，我大都会按照这样的顺序重点在这三个问题上展开讨论和研究。1.数据分级存储的设计方案 1.1 什么是分级存储 分级存储是指根据数据不同的重要性、可用性、访问频次、存储成本等指标，分别存放在相应的存储设备上。其工作原理是基于数据访问的局部性，通过将不经常访问的数据自动移到存储层次中较低的层次，大大减少非重要性数据在一级磁盘所占用的空间，释放出较高成本的存储空间给更频繁访问的数据，从而加快整个系统的存储性能，获得更好的总体性价比。在分级存储系统中，一般分为在线存储、近

2、线存储和离线存储三级存储方式。1.2 为什么要分级存储 应用系统在线处理大量的数据，随着数据量的不断加大，如果都采用传统的在线存储方式，就需要大容量本地一级硬盘。这样一来一方面投资会相当较大，而且管理起 来也相对较复杂；另一方面由于磁盘中存储的大部分数据访问率并不高，但仍然占据硬盘空间，会导致存取速度下降。在这种情况下，数据分级存储的方式，可以在性能和价格间作出最好的平衡。1.3 怎么实现分级存储架构 1.3.1 标准的三级数据分级存储架构 在线存储又称工作级的存储，是指将数据存放在高速的磁盘存储设备上（如 FC 磁盘、SCSI 或光纤接口的磁盘阵列），其最大特征是存储设备和所存储的数据时刻保

3、持“在线”状态，可随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。在线存储适合存储那些需要经常和快速访问的程序和文件，其存取速度快，性能好，存储价格相对昂贵。例如：用于应用的数据库和短近期（通常 6 个月-12 个月）的数据的存储，需要满足大容量、高性能、高可靠性等特征。近线存储是指将那些并不是经常用到或者访问量并不大的数据存放在性能较低、单位存储价格较便宜的存储设备上（通常是采用数据迁移技术自动将在线存储中不常用的数据迁移到近线存储设备上）。近线存储外延比较广泛，定位于用户在线存储和离线存储之间的应用，包括一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备，如 SATA

4、 磁盘阵列、IDE 磁盘阵列、DVD-RAM 光盘塔和光盘库、磁带库、NAS 等。近线存储对性能总体要求相对不高，但要求能确保数据共享、可靠、传输稳定、适应一般的数据访问负荷。离线存储主要是用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储，需要人工操作设备了。离线海量存储的典型产品就是磁带或磁带库，价格相对低廉，但是访问速度慢、效率低。当然，仍然要保证设备可靠性、安全性好，大容量、成本低且管理方便。1.3.2 分级存储管理 分级存储管理（Hierarchical Storage Management，HSM）是指将高速、高容量的非在线存储设备作为磁盘设备的

5、下一级设备，然后将磁盘中不常用的数据按指定的策略自动迁移到次级大容量的存储设备上；需要使用这些数据时，分级存储系统会自动将这些数据从次级存储设备回迁到一级存储上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问速度上略有些慢，而在逻辑磁盘的容量上却明显感觉提高了。分级存储管理可实现数据在各级存储设备之间的自动迁移。1.3.3 数据迁移的触发条件 分级存储管理系统需要实时监控在线存储的磁盘剩余空间，根据剩余空间占磁盘总空间大小比例的变化、设定的迁移阀值、参照阀值对数据进行相应的迁入、迁出操作。例如，设定剩余空间的阀值范围是 30%10%，数据迁入、迁出的情况如下表：磁盘空间饱和度剩余空间数

6、据迁入数据迁出低30%允许允许中30%-10%暂停允许高10%禁止强制 1.3.4 数据的价值级别 数据并非生而平等，某一些数据可能更为重要，其访问的性能要求、安全保护级别比其他数据要求高。即使是同一数据，通常它的价值也会随着时间的推移而逐渐降低。判定数据价值级别的一个有效方法是对数据进行信息生命周期管理（Information Lifecycle Management，ILM）。信息的生命周期可以划分为 6 个阶段：创建、保护、存取、访问、归档和回收。系统在数据创建时就应当获得数据的类型、数据产生时间、数据有效期限、数据对业务的重要性、数据访问的性能要求、数据安全保护级别等相关信息。对数据进

7、行分类，划分价值级别，依照数据价值级别设定数据的存储级别，分配最优化、最具成本效益的存储资源。分级存储管理系统对数据价值级别进行定期的扫描监测，在时间点、数据价值级别、存储层次三者之间建立对应关系。一旦经过某个时间点数据的价值级别发生变化，即可触发数据的迁移，自动将数据转移到合适的存储平台之上。1.3.5 人为制定的条件 为了更好地辅助数据的管理，通常有人为制定的规章制度对数据存储以及服务提出相应的要求。其中最常见一类是根据数据的时间特性来制定的规则，例如，商业银行一般向客户提供最近 6 个月交易详单的网上查询服务。针对这种服务规定，可以对超过这个时间段的交易详单数据设定相应的策略，自动从在线

8、存储迁移到次级存储。2.近线、在线、离线数据的访问方式 2.1 银行数据中心的特点 银行数据中心是公认的数据产生量最高，数据安全性要求最高的数据中心。当在建设银行数据中心的时候一定要遵循数据生命周期管理的相关内容走。数据生命周期管理是一项复杂的系统工程，其存储架构的建立比较简单，最大的难题是现有应用系统中的数据是否可以按照生命周期实施分离和，以及满足当年数据、历史数据查询使用的具体要求。早期的银行业务主要还是以经营性业务为主，其特点是业务处理运算量大，但数据量相对较少，处理对象主要是当前数据或短期之内的数据，数据时间跨度小，这就意味着处理的数据规模相对固定可控。近年来，以几大国有商业银行为代表

9、的国内银行不约而同地走上了数据大集中的道路，数据集中统一处理造成数据量的急剧膨胀。随着国内银行业竞争的加剧，各家银行不断深化以客户为中心、以优质业务为核心的经营理念，长期被忽视的客户信息资源将作为银行拥有的重要无形资产被挖掘利用，以充分发挥其应有的价值。迫于沉重的不良资产压力，各类针对提高信贷管理和风险控制的管理信息系统在国内银行特别是国有商业银行中得到了前所未有的重视。而数据大集中也为管理信息的归集、挖掘和利用创造了条件。SAN 比 NAS 更适合银行数据中心 银行数据中心的数据主要以结构化数据为主，非结构化数据占比较小。这一特点成为了至今都非常流行的 NAS(Network-attache

10、d Storage)技术在银行数据中心始终难成气候的根本原因。传统的银行数据中心均采用主机直连存储模式(Direct-attached Storage)，无论通过 SCSI 还是 SSA 串行协议，从存储架构的角度都可称之为 DAS架构。随着银行业务的不断扩充和拓展，在国内银行日益庞大的 IT 架构中，基于 DAS 模式的存储系统逐渐成为瓶颈。取而代之的是基于SAN(Storage Area Network)-存储局域网络架构。几年来，SAN在国内银行数据中心得到了充分的应用，几乎达到了“无盘不 SAN”的地步。SAN 以其高性能、高可靠性、高扩展性、高可管理性为银行数据中心提高存储应用与管理

11、水平创造了条件。本文将针对银行数据中心利用已具备的 SAN 平台，如何进一步对存储架构进行整合改造进行初步的分析探讨。2.2 主流访问方式 访问存储空间有三种主流方式：基于数据块(FCSAN 或 iSCSI)、基于文件(CIFS/NFS)、或通过 Web 服务。基于块和文件的访问方式在企业级应用中最常见，能更好地控制性能、可用性和安全性。在这点上，市场上通常做法是利用 Web 服务的接口，如 SOAP 和 REST(代表性状态传输)访问数据。虽然，这是最灵活的方式，但有性能的影响。理想的情况是，提供全部的三种访问存储的方式来支持不同应用架构。3.相关联的存储架构设计 3.1 存储架构设计 根据

12、一、二级存储的特点建议采用专有磁盘阵列，以保证数据能及时实现快速在线访问。而采用 IP 存储的方式，不仅兼容性强、可管理性强，能够降低总投资成本，很好地满足数据容量的快速扩张的需要，更重要的是通过 IP 存储方式，还可以很好地建设异地容灾系统。同时配合虚拟化管理平台，可以轻松地整合异构存储设备。对一级在线存储，建议采用可通过前端交换机实现横向拓展的设备，保障整个存储系统的性能和可靠性可线性增加。同时支持 SAN 和 NAS一体化功能，满足系统数据共享的需求。在三级存储中，传统的方式多采用光盘库和磁带库来保存。但是光盘库和磁带库都有读取不及时、不方便的缺点，另外离线归档数据需要长期存放，但光盘和

13、磁带库都易磨损、故障率较高，且对环境的要求较高。因此三级存储中也可以采用磁盘阵列或者 VTL（虚拟磁带库），目前 VTL（Virtual Tape Library，虚拟磁带库）技术发展很快，VTL 用磁盘和磁盘技术模拟磁带驱动器和磁带库,使用户在使用和管理上和磁带库一样，但是具有磁带库不可比拟的好处：首先 VTL的备份介质为磁盘阵列，大大快于磁带库性能，最大带宽通常可达几百兆 MB/s,而磁带库一般在几十兆。可靠性更高，磁盘有 RAID 保护，出现故障可随时更换，保证备份数据安全。另外，VTL 还增强了备份数据管理特性、提高备份和恢复的速度。系统设计的分级存储系统设计中，主存储使用虚拟化平台把

14、数据镜像到次级存储设备上，对数据进行镜像保护，保证了在主存储设备出现故障的情况下，系统数据流会自动透明的切换到次级存储设备中。在近线方面，采用相对配置较低的存储设备并通过归档软件，把不经常使用的数据迁移到近线存储设备，而对于几乎不访问必须保留的数据，可以通过备份软件把数据备份到离线设备上，保证数据在需要访问的时候可以迅速恢复供系统使用。分级存储系统可以根据数据的重要性按照信息生命周期对数据进行分类，把最新生成并且经常使用的数据存放到在线存储设备中，确保数据的可用性和系统对数据快速查看能力，把不经常使用的数据存放在二级存储设备中，由于二级存储性能相对来说低于主存储并且又不经常被系统访问，因此构建

15、二级存储系统对于整个系统来说投资更合理，对于不使用并且需要保留的数据存放在离线归档设备中，确保数据始终被保存。3.2 虚拟化方案设计 很多金融业系统比较复杂，包括大量软硬件，而系统的应用和数据存储的需求也在不断发展和变化，因此，存储系统的设计也需要具备高扩展性和灵活性，需要支持容量增长的高度可扩展架构和对异构存储环境的支持。在存储设计中，解决上述问题的关键技术就是存储虚拟化。虚拟化是解决异构体系架构最直接有效的技术，已广泛应用于计算和网络领域。就存储领域而言，通过存储虚拟化，用户不用再去关心存储环境中底层物理环境的复杂性，也不用再去关心设备异构与否、协议是否统一。虚拟化使存储的统一管理成为现实

16、，用户可以通过选择完善的存储技术来满足不断增长的需要无论是哪一家的存储设备都可以无缝集成到现有的基础存储架构中。在存储虚拟化技术的基础上，通过采用标准化的连接技术和统一的复制、镜像、快照等存储技术可以实现海量数据的快速移动和简单管理，从而为提供标准化存储服务打下坚实的架构基础。因此，在存储系统设计方案中，可重点考虑采用虚拟化数据管理平台。虚拟化数据管理平台能够提供存储虚拟化、统一高效灵活的复制、连续数据快照、多模式镜像、多链路负载均衡等丰富的存储功能，可为用户搭建坚固、灵活的存储基础架构，实现动态扩展存储容量、高性能的数据处理、海量数据的快速移动、简单易用的 WEB 管理，可以和其配套存储设备

17、，以及和不同厂商、不同类型的存储设备进行整合和联动，统一形成各种实用的存储解决方案，搭建一个坚固而又灵活的存储基础架构。通过虚拟化平台把不同厂商、不同协议、不同系列的存储在不改变原有数据结构的情况下进行统一分配管理，并且通过虚拟化平台实现基于 IP 的复制功能，把数据中心的存储数据复制到灾备中心的存储系统之上。虚拟化方案可以提升整个系统的存储资源利用率，把最初建立的系统的存储系统和新建系统的存储系统存储空间进行存储资源整合，通过虚拟化平台也可以对系统数据进行统一管理，结合虚拟化平台软件功能方面的高级特性，可以对系统进行更高级别的数据保护措施建立灾难备份系统，可以把原有系统无缝的改造成数据级灾备系统和应用级灾备系统。