MarsStoragePlatform(全).ppt

《MarsStoragePlatform(全).ppt》由会员分享，可在线阅读，更多相关《MarsStoragePlatform(全).ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、“火星火星”海量数据归档存储中间件海量数据归档存储中间件 M2ars Storage Platformw备份软件备份软件备份关注的是数据安全问题，按设定的备份策略自动备份关注的是数据安全问题，按设定的备份策略自动执行；执行；根据数据的时间点特征进行管理；根据数据的时间点特征进行管理；w归档软件归档软件归档关注的是数据的海量保存问题，与应用系统紧密归档关注的是数据的海量保存问题，与应用系统紧密衔接，按规划的保存策略迁移数据；衔接，按规划的保存策略迁移数据；保证数据的访问，这也是归档面对的问题；保证数据的访问，这也是归档面对的问题；备份与归档备份与归档如何选择归档系统如何选择归档系统 数据必须永久

2、保存；数据必须永久保存；数据易读取；数据易读取；保证法规遵从；保证法规遵从；数据的可扩展性；数据的可扩展性；专业领域归档产品发展规划专业领域归档产品发展规划复杂的数据类型复杂的数据类型w每天被频繁使用的数据，我们称其为活跃数据，占总数据的百分比较少；w大部分的数据只是被周期性地使用，我们称之为动态数据；w大量的历史数据、原始数据必需可以随时访问，但极少使用，我们称之为静态数据；灵活的多级存储架构灵活的多级存储架构磁盘阵列磁带/光盘数字化的架上数据/归档存储活跃数据活跃数据动态数据动态数据静态数据静态数据自动化的磁带/光盘库磁盘阵列架上数据/归档磁带数字化的在线存储在线存储近线存储近线存储离线存

3、储离线存储自动化的磁带库效率效率成本成本部署结构图部署结构图M2ars Storage Platform 产品特点产品特点 归档存储策略归档存储策略w访问频率策略访问频率策略在线存储设备近线存储设备远线存储设备48小时未被访问3个月未被访问存储对象存储对象存储对象归档存储策略归档存储策略w存储容量策略存储容量策略在线存储设备近线存储设备远线存储设备85%80%容量达到阈值 容量达到阈值归档存储策略归档存储策略w对象存储容量策略对象存储容量策略在线存储设备近线存储设备远线存储设备该对象大于3GB该对象大于25GB存储对象存储对象存储对象归档存储策略归档存储策略w对象完整性策略对象完整性策略在线存

4、储设备近线存储设备远线存储设备该对象已经完整存储对象存储对象归档策略的运用归档策略的运用n上述策略元素为系统基本策略；n各策略元素之间相对独立；n可通过策略编辑对策略元素进行任意组合；n可指定组合策略元素间执行的优先顺序；n可根据不同的存储对象类型设置彼此独立的多组策略；n灵活的策略元素添加功能保障归档策略最大限度地符合用户需求。恢复策略恢复策略n应用系统可以根据用户的操作，使用标准API接口发出恢复请求，来完成对象恢复的操作；n支持截取部分数据恢复的功能；n软件提供单机恢复模块，使用户通过独立的磁带驱动器来恢复远线系统中的数据；n由于M2ars采用了开放的磁带存储格式，可支持通过第三方的软件

5、进行远线数据的读取和恢复（具体支持的软件见附表）。可定制开发的数据存储策略可定制开发的数据存储策略nAPI本身相关的函数 n归档和恢复的函数（对对象和文件的操作）n任务调度函数 n用户组管理函数 n查询对象和文件的函数n查询系统状态的函数 n磁带管理相关的函数n对每个迁移器的操作特性进行设置 对多级存储体系的支持对多级存储体系的支持SAN在线存储近线存储远线存储n MSP覆盖数据存储区；n 可同时可以访问应用工作区和存储区；n 根据指令完成数据迁移，n 订制 的策略实现数据的动态调度；n 采用先进的虚拟化存储技术，完全可 以帮助用户建立在线、近线以及离线 等存储形式相结合的多级存储体系。灵活的

6、多级存储架构w离线介质管理可以管理出库的磁带介质；需要访问离线介质时，软件发出装带请求；操作可以根据存储对象的不同特点，存储到不同的磁带介质上；在提供条码阅读功能的同时，软件会把识别码纪录于磁带中；提供独立的磁带阅读模块，用于单机读取。系统执行效率w负载均衡视频服务器Web服务器在线存储设备M2ars迁移器流媒体传输协议EthernetHTTP/FTP协议EthernetSCSI协议SCSI/FC近线存储设备M2ars迁移器M2ars迁移器M2ars服务器磁带驱动器面向对象的存储方法面向对象的存储方法对象一（素材）对象二（新闻）MPEG-2高码率视频文件 MPEG-2低码率视频文件 MPEG-

7、4视频文件 关键帧图形文件 其他需要的文件XML描述信息MPEG-2高码率视频文件 MPEG-4视频文件 配音音频文件 关键帧图形文件 字幕文本文件 口播稿文本文件 XML描述信息 先进的磁盘缓冲机制先进的磁盘缓冲机制缓存池缓存池n 响应时间又比较长n 回迁速度较慢通用标准直接控制带库机械手通用标准直接控制带库机械手已经支持的带库：StorageTekAdicSpectra LogicIBMHPSonyCompaqQuantum配合磁盘共享软件配合磁盘共享软件与与SANSAN磁盘共享软件的兼容性：磁盘共享软件的兼容性：完美融合完美融合 昆腾昆腾StorNext FSStorNext FS；支持

8、支持IBM Tivoli-SANergyIBM Tivoli-SANergy软件；软件；软件硬件运行环境对磁带库产品的支持w已经支持的带库：StorageTekAdicSpectra LogicIBMHPSonyCompaqQuantum独特的磁带容错冗余处理独特的磁带容错冗余处理对于数据流磁带这种介质，主要是为了防止出现意外的损对于数据流磁带这种介质，主要是为了防止出现意外的损坏造成数据丢失或错误坏造成数据丢失或错误 M M2 2ars Storage Platformars Storage Platform加入了具有独特技术的加入了具有独特技术的“RARMRARM：Redundant Ar

9、ray of Removable Media/Redundant Array of Removable Media/可移动存储介可移动存储介质冗余数据保护方法质冗余数据保护方法”来提高数据流磁带的可靠性，进行来提高数据流磁带的可靠性，进行冗余纠错处理。该方法作为我公司的专利技术，具有国际冗余纠错处理。该方法作为我公司的专利技术，具有国际水平的先进性和稳定性，可以最大限度地保障用户的数据水平的先进性和稳定性，可以最大限度地保障用户的数据安全。安全。带内冗余的各种情况带内冗余的各种情况空 白 磁 带校验位校验位数据段2 数据段3 数据段4 数据段n可恢复可恢复数据段1空 白 磁 带校验位校验位数据

10、段1数据段3 数据段4 数据段n数据段2空 白 磁 带校验位校验位数据段1数据段3 数据段n数据段2空 白 磁 带校验位校验位数据段3 数据段4 数据段n数据段1空 白 磁 带校验位校验位数据段1 数据段n数据段2数据段4数据段2 数据段3 数据段4可恢复可恢复可恢复可恢复不可恢复不可恢复不可恢复不可恢复带内冗余的缺陷带内冗余的缺陷w只要有两个以上（包括两个）连续的数据段同时损只要有两个以上（包括两个）连续的数据段同时损坏，该磁带上的数据就无法再恢复。坏，该磁带上的数据就无法再恢复。w数据磁带的损坏经常是连续性的，只出现一处损坏数据磁带的损坏经常是连续性的，只出现一处损坏的情况很少见。的情况很

11、少见。跨带冗余跨带冗余空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据磁带数据磁带1数据磁带数据磁带2数据磁带数据磁带n校验磁带校验磁带数据段n.按位异或按位异或逻辑运算逻辑运算.跨带冗余的各种情况跨带冗余的各种情况空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n.

12、校验磁带校验磁带数据磁带数据磁带2数据磁带数据磁带1数据磁带数据磁带3数据磁带数据磁带n可恢复可恢复不可恢复的条件不可恢复的条件空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n空 白 磁 带数据段1 数据段2 数据段3 数据段4 数据段n.校验磁带校验磁带数据磁带数据磁带2数据磁带数据磁带1数据磁带数据磁带3数据磁带数据磁带n不可不可恢复恢复跨带冗余的特点跨带冗余的特点w只有当任何两盘磁带的同一物理位置出现损坏时，磁只有当任何两盘磁带的同一物理位置出现损坏时

13、，磁带才是不可恢复的。而不同磁带间出现这种情况的概带才是不可恢复的。而不同磁带间出现这种情况的概率非常小；率非常小；w所以采用跨带冗余纠错后，出现不可恢复的机率很小；所以采用跨带冗余纠错后，出现不可恢复的机率很小；wRARMRARM在保护数据可靠性的同时，保持磁带数据格式的在保护数据可靠性的同时，保持磁带数据格式的开放性。开放性。开放的磁带记录格式开放的磁带记录格式 由于M2ars采用了开放的磁带存储格式，可支持通过第三方的软件进行远线数据的读取和恢复。VERITAS：VERITAS Backup Exec Microsoft：Microsoft NT Backup Computer Asso

14、ciates：ARC serve以以Web Services方式提供开发接口方式提供开发接口w采用采用Web ServiceWeb Service技术对外提供接口，实现上更快捷、接口调用更容技术对外提供接口，实现上更快捷、接口调用更容易、稳定性和安全性更高、可扩展性更强；易、稳定性和安全性更高、可扩展性更强；w其基于网络的、分布式的模块化组件，执行特定的任务，遵守具体的其基于网络的、分布式的模块化组件，执行特定的任务，遵守具体的技术规范，这些规范使得技术规范，这些规范使得Web ServiceWeb Service能与其他子系统更容易进行互能与其他子系统更容易进行互操作；操作；w采用采用Web

15、 ServcieWeb Servcie技术具有跨平台性、跨越防火墙通信、应用程序集技术具有跨平台性、跨越防火墙通信、应用程序集成比较容易、稳定性和可靠性高、易扩展等特性。成比较容易、稳定性和可靠性高、易扩展等特性。Mars Storage Platform界面界面技术服务技术服务w用户所订购的产品发生故障向亚细亚智业公司申请支援时，北京亚细用户所订购的产品发生故障向亚细亚智业公司申请支援时，北京亚细亚智业公司工程师应在亚智业公司工程师应在1 1小时内响应，本地小时内响应，本地4 4小时到达现场，异地小时到达现场，异地24482448小时内到达现场小时内到达现场。w在系统实施的关键阶段，亚细亚智

16、业公司将安排专门的技术支持服务在系统实施的关键阶段，亚细亚智业公司将安排专门的技术支持服务人员（小组），人员（小组），进行现场维护进行现场维护，确保在任何地点发生系统故障需要紧，确保在任何地点发生系统故障需要紧急服务时，能够及时解决。急服务时，能够及时解决。w亚细亚智业公司对用户所订购的所有软件亚细亚智业公司对用户所订购的所有软件提供壹年免费升级提供壹年免费升级，期限自，期限自系统使用最终验收报告签署之日起计。系统使用最终验收报告签署之日起计。w在保修期内，软件若发生非人为故障，亚细亚智业公司负责故障处理在保修期内，软件若发生非人为故障，亚细亚智业公司负责故障处理及安装调试，由此涉及的一切费用

17、由亚细亚智业公司承担。及安装调试，由此涉及的一切费用由亚细亚智业公司承担。w保修期满后，亚细亚智业公司将保修期满后，亚细亚智业公司将继续提供继续提供7*247*24的在线网络支持、电话的在线网络支持、电话支持等方式的免费服务支持等方式的免费服务。为确保系统正常运行，双方可另行签订有偿。为确保系统正常运行，双方可另行签订有偿系统维护保养合同，包括软、硬件升级、系统维护、现场支持等。其系统维护保养合同，包括软、硬件升级、系统维护、现场支持等。其维护价格为根据增值年限而定；维护价格为根据增值年限而定；w紧急现场服务紧急现场服务服务方式服务方式为了确保本系统安全、稳定的运行，为了确保本系统安全、稳定的

18、运行，亚细亚智业公司将为用户提供多种亚细亚智业公司将为用户提供多种形式的售后服务，包括线上值守服形式的售后服务，包括线上值守服务、现场紧急服务、定期保养服务、务、现场紧急服务、定期保养服务、技术支持服务等。技术支持服务等。MSP优劣势分析：优劣势分析：n n提供二次开发提供二次开发提供二次开发提供二次开发APIAPI，除了设定自动迁移策略外可以结合应用，除了设定自动迁移策略外可以结合应用，除了设定自动迁移策略外可以结合应用，除了设定自动迁移策略外可以结合应用进行完整的数据生命周期管理；进行完整的数据生命周期管理；进行完整的数据生命周期管理；进行完整的数据生命周期管理；n n采用企业级关系型数据

19、库进行管理，面对海量和大文件量项采用企业级关系型数据库进行管理，面对海量和大文件量项采用企业级关系型数据库进行管理，面对海量和大文件量项采用企业级关系型数据库进行管理，面对海量和大文件量项目得心应手；目得心应手；目得心应手；目得心应手；n n设备访问底层优化，充分发挥硬件性能；设备访问底层优化，充分发挥硬件性能；设备访问底层优化，充分发挥硬件性能；设备访问底层优化，充分发挥硬件性能；n n采用对象为单位的迁移回迁方法，充分优化算法，提高回迁采用对象为单位的迁移回迁方法，充分优化算法，提高回迁采用对象为单位的迁移回迁方法，充分优化算法，提高回迁采用对象为单位的迁移回迁方法，充分优化算法，提高回迁效率；效率；效率；效率；n n对应用不透明，不提供统一访问空间，不能进行自动回迁；对应用不透明，不提供统一访问空间，不能进行自动回迁；对应用不透明，不提供统一访问空间，不能进行自动回迁；对应用不透明，不提供统一访问空间，不能进行自动回迁；n n对单个文件不进行多流同时读写；对单个文件不进行多流同时读写；对单个文件不进行多流同时读写；对单个文件不进行多流同时读写；n n迁移器目前以迁移器目前以迁移器目前以迁移器目前以WindowsWindows和和和和LinuxLinux为主；为主；为主；为主；