ibm集群存储系统相关技术讨论.pdf

《ibm集群存储系统相关技术讨论.pdf》由会员分享，可在线阅读，更多相关《ibm集群存储系统相关技术讨论.pdf（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 SONAS IBM集群NAS存储系统及相关技术探讨 刘业雄 资深信息技术专家议程 NAS 和 SAN 技术比较 集群NAS需求分析 部署“云”环境，构建动态架构 SONASIBM集群NAS存储系统 总结 IBM 文件云存储（SONAS）给用户带来的价值议程1NAS 和 SAN 技术比较22 2集群集群集群NASNASNAS需求分析需求分析需求分析33 3部署部署部署“云云云”环境，构建动态架构环境，构建动态架构环境，构建动态架构44 4SONASSONASSONASIBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统55 5总结总结总结SAN存储(磁盘阵列)是提供块存储的

2、外置设备逻辑卷逻辑卷逻辑卷逻辑卷逻辑卷逻辑卷物理硬盘磁盘阵列控制器物理硬盘磁盘阵列控制器SANFCFC磁盘阵列磁盘阵列 外置 供应用存取数据 设备共享、数据专用SAN交换机交换机应用软件文件系统数据库逻辑卷逻辑卷逻辑卷操作系统应用软件文件系统数据库逻辑卷逻辑卷逻辑卷操作系统应用服务器应用服务器外置磁盘阵列NAS是提供文件级共享的外置存储设备应用服务器应用服务器LAN应用软件文件系统应用软件文件系统应用软件文件系统应用软件文件系统Mount over TCP/IPSONAS 外置 高速并行访问 超大规模文件空间 集成智能分级存储 集成文件备份网络文件系统并行访问节点并行访问节点磁盘阵列磁盘阵列磁

3、盘阵列磁盘阵列磁盘阵列磁盘阵列SANNAS连接方式光纤光纤(SAN)IP(LAN)主机环境 HBA卡卡(光纤通道卡光纤通道卡)驱动程序驱动程序(需与磁盘阵列设备兼容需与磁盘阵列设备兼容)多路径软件多路径软件(需与磁盘阵列设备兼容需与磁盘阵列设备兼容)操作系统自带、通用客户端 软件操作系统自带、通用客户端 软件(基于开放协议，无兼容 性问题基于开放协议，无兼容 性问题)网络设备SAN交换机以太网交换机交换机以太网交换机I/O模式Block 块文件块文件共享设备共享、信息专用设备共享、信息共享设备共享、信息专用设备共享、信息共享性能最高稍差最高稍差系统管理复杂简单复杂简单常见数据类型数据库、文件文

4、件数据库、文件文件NAS和SAN磁盘阵列的区别议程11 1NAS NAS NAS 和和和 SAN SAN SAN 技术比较技术比较技术比较2集群NAS需求分析33 3部署部署部署“云云云”环境，构建动态架构环境，构建动态架构环境，构建动态架构44 4SONASSONASSONASIBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统55 5总结总结总结现有非结构化数据（文件）存储面临的挑战 非结构化数据的爆炸性增长非结构化数据的爆炸性增长 非结构化数据以60%的速度在增长，远远超过结构化数据量的增速，当前多种不 同的文件服务器难以承载 文件存储基础设施亟待改进，以便在数据增长

5、的同时控制成本 存在多个存储孤岛存在多个存储孤岛 现有多台独立运行的文件服务器或NAS设备，形成存储孤岛，各部门间不能实现 信息共享，存储系统的利用率低下 系统管理员需要管理多个文件系统，最终用户也必须拥有访问众多不同文件系统 的权限 管理工作极其费时耗力，同时还需要消耗大量软硬件资源 扩展能力不足扩展能力不足 对业务支撑缺乏灵活度，不能进行灵活的扩展以满足快速变化的业务需求、确保 数据可用及业务不中断 因缺乏可扩展性或大规模文件处理能力，导致出现性能瓶颈用户对于非结构化数据（文件）存储的愿景 允许在单一视图下访问遍布全球的信息的全局命名空间 高度自动化和简化的 IT 操作 随时管理动态的业务

6、需求，响应业务变化 加强数据共享与协作 保护战略性信息资产 符合法规和安全性要求 可适应存储快速增长的卓越可扩展性议程11 1NAS NAS NAS 和和和 SAN SAN SAN 技术比较技术比较技术比较22 2集群集群集群NASNASNAS需求分析需求分析需求分析3部署“云”环境，构建动态架构44 4SONASSONASSONASIBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统55 5总结总结总结云简介云模式传统模式云模式传统模式?虚拟化的资源?自动化的服务管理?标准化的服务?与物理位置无关?快速的扩展能力?自服务 Software Hardware Storage

7、 Networking Software Hardware Storage Networking Software Hardware Storage Networking 云是一种能使用户便捷、随需应变地对共享的可配置资源共享池（如网络、服务 器、存储器、应用程序和服务）进行网络访问的模型。该模型可在最少的管理投 入或服务供应商介入的情况下快速实现资源的提供与发布。云的三种交付模型 软件即服务(SaaS)包括应用、流程和信息服务 平台即服务(PaaS)提供的是优化的中间件，包括应用服务器、数据库服务器、portal服务器 基础架构即服务(IaaS)提供的是虚拟化服务器、存储服务器及网络资源基础

8、架构即服务基础架构即服务软件即服务软件即服务平台即服务平台即服务Services as a service云的五个基本特征 快速伸缩 伸缩性是指根据需要向上或向下扩展资源的能力。对用户来说，云的资源数量没有界 限，他们可按照需求购买任何数量的资源 服务可度量 在可度量服务下，由云供应商控制和监测云服务的各方面使用情况。这对于计费、访 问控制、资源优化、容量规划和其他任务具有重要的意义 按需自助服务 云的按需服务和自助服务意味着用户可以在需要时直接使用云服务，而不必与服务供 应商进行人工交互 无所不在的网络访问 这意味着供应商的资源可以通过网络获取，并可以通过瘦客户端或富客户端以标准机 制访问

9、资源池 资源池允许云供应商通过多用户共享模式服务于用户，物理和虚拟资源可根据用户需 求进行分配和重新分配云给用户带来的价值自动化自动化更短的周期更低的操作成本更优化的使用更强的法规遵从更优的安全性更好的用户体验标准化更容易使用灵活的价格反复利用和共享更容易集成虚拟化虚拟化更高的利用率扩展的经济性低资源费用更好的服务质量更好的服务质量更高的性价比更高的性价比更好的敏捷性和降低 风险更好的敏捷性和降低 风险议程11 1NAS NAS NAS 和和和 SAN SAN SAN 技术比较技术比较技术比较22 2集群集群集群NASNASNAS需求分析需求分析需求分析33 3部署部署部署“云云云”环境，构建

10、动态架构环境，构建动态架构环境，构建动态架构4SONASIBM集群NAS存储系统55 5总结总结总结SONAS的产品结构CIFS客户端CIFS客户端HTTP 客户端HTTP 客户端FTP客户端FTP客户端NFS客户端NFS客户端管理节点管理节点管理节点管理节点接入节点接入节点接入节点接入节点.IP网络网络磁带库磁带库接入节点接入节点接入节点接入节点Storage PodStorage PodSCP客户端SCP客户端.接入节点接入节点接入节点接入节点单一文件名空间单一文件名空间存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点存储节点

11、存储节点Infiniband数据网络IP管理网络磁盘阵列磁盘阵列磁盘阵列磁盘阵列磁盘阵列磁盘阵列磁盘阵列磁盘阵列/home/appl/data/web多节点并行处理多节点并行处理?极高的共享存取性能?海量存储空间?线性的扩展能力多节点并行处理多节点并行处理?极高的共享存取性能?海量存储空间?线性的扩展能力一级存储：高速盘阵二级存储：大容量盘阵三级存储：磁带库整合分级存储整合分级存储?根据策略迁移数据至合适的存储?对用户透明基于开放标基于开放标 准的连接 准的连接SONAS?用户不需关心文件的具体存储位置?分散存储达到最佳性能?分级存储实现最合理空间使用SONAS 核心技术IBM 通用并行文件系

12、统（GPFS）IBM GPFS是一个可自由扩展的高性能并行文件系，同时支持AIX、Linux和Windows操作系统基于高可用的集群架构，可灵活扩展支持并行的共享磁盘访问方式，提供单一命名空间针对并行IO负载优化，提供极高的IO处理能力.scaleoutscaleout单一命名空间（Single Namespace）/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.m

13、pg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgIBM Scale Out NAS Policy Engine单一命名空间数据自动条带化到 存储池内的所有磁 盘上。高性能，自动优化，自动均衡Tier 1:SAS drivesTier 2:1TB SATA drivesTier 3:2TB SATA drivesInte

14、rface nodesInterface nodesInterface nodesStorage nodesStorage nodesStorage nodes逻辑物理自动分级存储（ILM）：从快盘到慢盘 快速扫描文件以决定 迁移到不同的存储池 传播到远程站点 备份出去 恢复回来 删除 当分级存储策略确定后 并行数据移动引擎实现物理移动 在物理数据移动过程中文件仍然是可用的（在线迁移）在全局命名空间中不需要改变逻辑文件路径 每个节点在数据移动过程中都并行参与 高达每分钟1千5百万的文件扫描速度 文件可以基于策略引擎的定义被promoted/demoted22自动分级存储（ILM）：从磁盘到磁带

15、 IBM SONAS提供策略驱动（policy-driven）的快速归档到磁带的能力 扫描引擎（Scan engine）用来标识需要迁移到磁带的文件 传送需要迁移的列表（list）到TSM 文件存根（Stub file）留在磁盘上 读取时可以自动召回（auto-recall）可以实现使用TB的磁盘存储PB级别的数据TSM ServerIBM Scale Out NAS 快速磁带备份 IBM SONAS提供永久增量的快速备份到磁带的能力 SONAS 扫描引擎快速定义文件的变化，并且把变化直接传送给TSM 避免了传统方式需要遍历所有文件目录的性能问题 只需要拷贝变化的数据到外部TSM存储，大大缩小

16、了备份窗口TSM ServerIBM Scale Out NAS Any TSM-supported device including:ProtectTier de-dupVirtual Tape LibraryTapeSONAS的易管理性（健康中心）SONAS 的易管理性（系统利用率监控）SONAS应用的典型环境IBM 磁盘存储产品一览Distributed,Open SystemsHetero-geneousMainframe,System iEnterpriseMidrangeDS8000 Solution for mainframe,I,&open systems platforms

17、Disaster Recovery across 2&3 sites Secure encryption Continuous availability,no downtime for upgrades Extremely fast response times,SSDSVC Heterogeneous block levelvirtualization for multi-vendor environments Modular scalability SSD support Replication,Data Migration,Thin ProvisioningDS5000 Open sys

18、tems environment support,including IBM i support Cost efficient storage for capacities up to 448TBs Modular storage,Replication,SSDXIV Open systems support Ease of Management Future-proof capacity expansion and management 2 site replication All inclusive softwareNASN series Application affinity(Snap

19、Manager)N series Gateway for heterogeneous storage Unified NAS&SAN ReplicationSONAS Very large performance and capacity demands Integrated ILM&TSM clients Replication All inclusive softwareEntryDS3000 For very price-sensitive customers Flexible interface choices,snapshots Modular storage网络内容存储网络内容存储

20、协同合作数据协同合作数据&一般文件存储一般文件存储能源能源&地理科学地理科学高性能分析高性能分析数字媒体数字媒体SONAS应用的典型环境海量扩展,存放Web 2.0内容和云计算应用的数据通用的文件存储,客户希望日常管理比目前的NAS好能源探索和地理科学要求大量可访问的命名空间作分析之用和非 常高的性能业务应用数据,包括财务系统和地理科学,统一的命名空间易于使用高性能,简化管理,适合数字媒体环境的变化多端的需求许多环境需要容易管理,高性能,扩展性好的存储计算机工程计算机工程汽车/航空/电子设计处理需要大量的文件存储来实现仿真议程11 1NAS NAS NAS 和和和 SAN SAN SAN 技术

21、比较技术比较技术比较22 2集群集群集群NASNASNAS需求分析需求分析需求分析33 3部署部署部署“云云云”环境，构建动态架构环境，构建动态架构环境，构建动态架构44 4SONASSONASSONASIBMIBMIBM集群集群集群NASNASNAS存储系统存储系统存储系统5总结IBM 集群NAS（SONAS）给用户带来的价值 新一代NAS存储 文件云存储的动态架构超高速并行存取性能 实测性能最高可到66GB/s的吞吐率(一个4Gbps的光纤通道吞吐率为约400MB/s)高达每分钟1千5百万的文件扫描速度 海量存储空间单个集群容量可达14.4PB单一空间大小无限制，文件数量可达数十亿个 极高的扩展能力从2个节点到30个节点，性能轻松扩展 从27TB到14.4PB，容量轻松扩展 全面的虚拟化容量属于整个系统，所有节点均可访问所有存储介质全局虚拟服务实现用户文件的随处访问，随时在线 整合分级存储 轻松实现数据根据策略在高速盘阵、大容量盘阵和磁带库之间的在线迁移，对用户完全透明 快速磁带备份 SONAS与TSM的完美结合实现了快速、永久增量的磁带备份核心技术成熟稳定 核心技术 GPFS文件系统已有13年的历史，全球已经安装了几千套，上万个节点，非常成熟稳定谢谢大家的时间谢谢大家的时间！