DAT315_微软处理海量非结构化数据的技术和解决方案.ppt

DAT315_微软处理海微软处理海量非结构化数据的技量非结构化数据的技术和解决方案术和解决方案微软处理海量非结构化数据的技术和解决方案 DAT315议题 非结构化数据存储技术发展趋势 基于SQL Server的微软非结构化数据存储新技术 远程文档与文件流结合的文档存储解决方案非结构化数据存储技术发展趋势新时代非结构型数据的挑战提供全方位可扩展的数据平台以满足.关系型数据管理使用的语法来管理.支持统一、标准的数据模型，例如.通过资源投入到. 爆炸性产生的电子数码数据的惊人数据量加速的全球化进程在企业周边应用中产生的新的数据类型结构型和非结构型数据集成日渐紧密新一代应用需要使用不同数据种类抽象化的数据形态定义直接支持特种数据种类联邦(和祥扩展并发)的数据管理统一标准的存储平台支持所有数据类型、各式新数据形态成为标准实体单一数据平台的应用，需要协调的数据存取简约、可扩展的管理模式支持BLOB的抽象编程接口提供更多的服务围绕非结构化数据，例如：搜索，分析提供集成多种空间数据源的能力提供结构化和非结构化数据的关联、集成 属性的提取/推广 灵活的架构 适用于非关系型数据的关系型操作实体汇总实体数据访问用户自定义数据种类关系型表名单BLOBs文字Windows文件系统SQL Server数据库其他数据源通过实体架构实现对实体的直接搜索查询针对多数据源的联合并发搜索查询与 Microsoft Office SharePoint Server 和 FAST 的集成其他数据源数据源1数据源2数据源3FAST企业查询门户应用特定查询SharePoint可适用于不同网域的数据流服务，例如：金融、制造，监测数据基于历史数据实现决策支持的和业务分析与现有SQL Server 部件集成，充分利用现有能力，例如：报表、数据分析报警，报表报表及数据分析数据流服务应用接口金融数据，例如：股票交易记录点将流量数据，例如;Web 日志历史数据流非结构化数据 存储成本最低（每GB） 文件流(streaming)性能较高 备份、恢复单元较小 存储成本较低(大存储量场景) 扩展性较佳 统一的管理模式 数据、事务的一致性 较为复杂的应用架构导致开发、实施的复杂度提升 与结构型数据的集成 较为复杂的应用架构导致开发、实施的复杂度提升 分隔的数据管理 尽陷于大型企业使用场景 大数据量文件流性能限制 存储成本较高 Windows File Servers NetApp NetFiler EMC Centera Fujitsu Nearline SQL Server VARBINARY(MAX)专用的专用的BLOB存储存储DBBLOB存储数据库存储数据库DB 传统的三种存储模式使用文件系统使用文件系统DB专用的专用的BLOB存储存储DBBLOB存储数据库存储数据库DBRBS - Remote Blob StorageFILESTREAM BLOB StorageSQL BLOB集成的数据库集成的数据库+文件系统文件系统DB非结构数据直接储存于文件系统(使用本地的NTFS文件系统)VARBINARY(MAX) 数据类型上注明存储属性即可开启文件流存储功能丰富的双重编程模式T-SQL语句(数据库语法)编程Win32文件系统I/O编程接口支持数据库事务属性BLOBs 大小上限= 文件系统大小与SQL Server集成数据库管理，例如：备份、恢复.与SQL Server数据库安全管理集成集成的数据库集成的数据库+文件系统文件系统DB 远程BLOB存储 标准的存储接口可使用不同存储体系 后端存储无技术限制：文件系统、数据库、文件流、专用文档存储等等 后端存储改变不影响应用(不需要改变) 宽松（链路级）一致性保证 SQL Server管理链路级一致性和垃圾收集，例如：删除、更改等等 市场趋势 RBS优势 降低BLOB存储成本 降低数据库工作负载，提高系统扩展性 标准应用端借口可使用不同存储 使用经济的普通服务器完成复杂的存储和工作流要求专用的专用的BLOB存储存储DBRBS非结构型数据存储技术一览文件系统文件系统SQL BLOBsRBS技术技术FILESTREAM文件流文件流文档流性能Depends on external storeDepends on external store链路级一致性数据级一致性数据级一致性集成管理集成管理外置外置 BLOB 存储存储n/a演 示 使用不同方式访问SQL Blob数据SQL Server Blob数据访问 SQL Server Blob访问方式 Filestream存储 T-SQL访问 Win32 API访问 Varbinary存储 访问性能与Blob数据块大小有关 系统设计时需要对存储数据的平均大小及使用模式进行评估示例代码-TSQL FilestreamSelect file from documents where docId=1 Varbinary(max)Select file from documents where docId=1示例代码-Win32 APIDllImport(sqlncli10.dll, SetLastError = true, CharSet = CharSet.Unicode)static extern SafeFileHandle OpenSqlFilestream(string FilestreamPath,UInt32 DesiredAccess,UInt32 OpenOptions,byte FilestreamTransactionContext,UInt32 FilestreamTransactionContextLength,Int64 AllocationSize);示例代码-Win32 APISqlTransaction transaction = sqlConnection.BeginTransactio(mainTranaction);sqlCommand.Transaction = transactio;sqlCommand.CommandText =SELECT GET_FILESTREAM_TRANSACTION_CONTEXT();Object obj = sqlCommand.ExecuteScalar();byte txContext = (byte)obj;SafeFileHandle handle = OpenSqlFilestream(filePath,DESIRED_ACCESS_READWRITE,SQL_FILESTREAM_OPEN_NO_FLAGS,txContext,(UInt32)txContext.Length,0);byte buffer = new byte512;FileStream fileStream = new FileStream(handle,FileAccess.ReadWrite,buffer.Length,false);远程读取性能远程写入性能远程更新性能FILESTREAM最佳实践 尽可能避免对多个小文件的附加操作，每个附加操作都将创建新的Filestream文件。如果必须建议使用varbinary(max) 在高负载的多线程系统中，可以考虑通过OpenSqlFilestream或SqlFilestream API设置AllocationSize,减少碎片 如果文件很大，避免使用T-SQL进行更新或附加，这样会对tempdb有很大开销FILESTREAM最佳实践 当读取FILESTREAM数据时考虑如下因素 如果仅需要读取初始的部分数据，可以使用substring函数 如果读取整个文件，考虑使用Win32 API 当读取整个文件时，指定FILE_SEQUENTIAL_ONLY标志 程序中的缓存尽量设置为60KB的整数倍FILESTREAM最佳实践 使用文件组及分区进行负载均衡 NTFS优化 fsutil behavior set disable8dot3 1 Fsutil behavior set disablelastaccess 1 Format F:/FS:NTFS /A:64K RAID级别 磁盘接口演 示 使用RBS实现对于FILESTREAM的负载均衡客户应用程序客户应用程序RBS 架构SQL FS libIBM libCentera libSQL RBS APISQL ServerIBMCentera供应商接口供应商接口 客户应用程序可以支持多种不同的Blob存储机制或设备 供应商将提供相应的接口类库RBS 服务服务创建创建读取读取垃圾收集垃圾收集删除删除Net App libNetAppRBS 示例文档或多媒体数文档或多媒体数据据ClaimIDClaimDatePhotoRef43906/5/2007写入 BLOB数据(图片)返回BlobID将BlobID 写入PhotoRef 字段机器边界机器边界RBS文档写流程写写Blob 地址地址Reference写写Blob写写Blob写写Blob返回地址返回地址Reference取得取得Collection 信信息息清理App Machine应用服务机应用服务机SQL ServerBLOB 存储终端用户例如：浏览器应用触发、存储过程服务存储接口应用端接口存储接口Database Machine 数据库服务机数据库服务机用户请求用户请求RBS文档读流程1 用户请求用户请求4 请求请求BLOB (标识标识)9 应用读取应用读取BLOB8 读取读取BLOB7 读取读取BLOBApp Machine应用服务机应用服务机SQL ServerBLOB 存储终端用户例如：浏览器应用触发、存储过程应用端接口存储接口Database Machine 数据库服务机数据库服务机10 用户读取用户读取BLOB2 请求请求BLOB标识标识 应用读取应用读取BLOB标识标识5 请求请求BLOB (标识标识)6 请求请求BLOB(标识标识)远程文档与文件流结合的文档存储解决方案解决方案特点 远程BLOB存储技术与FILESTREM文件流技术的集成 由FILESTREM文件流存储节点组成的存储池可以迅速扩展（使用经济实惠的PC服务器） RBS后端的FILESTREM文件流接口提供多线程、多通道的负载均衡逻辑进行文档的读写 负载分配可以用户可以根据需要灵活调整 存储节点可转变为“只读”属性（存储历史数据，不接受新档案） 可以迅速添加节点并重新设置负载均衡模式 智能备份恢复功能可以避免历史性“只读”数据的重复备份，显著降低备份需要的时间和空间 客户生产环境显示单线程文档写入可达到48M+/秒性能（限于存储设备性能）解决方案优势 按用户需要扩展存储池 更合理的资源投入 避免大规模初期投入造成空置设备、存储空间的浪费 后续投入经济上可得益于硬件价格的快速跌落 后续投入可取的更现代的技术，自然升级系统，且不需要更改应用 服务器性能提升快，降价快 存储成本降低快，读写性能提高快 分期扩展自然形成不同层次的存储池，帮助信息生命周期的管理 老旧数据在老一代存储池，新数据、常用数据在新一代系统上，有更好性能 可嵌入各种服务、应用对文档数据进行整个生命周期的管理。例如：审计、备份、归档、删除等等 可集成各种不同存储媒介进一步支持各种服务，例如NAS、磁带或其他现有或未来存储技术 可嵌入智能缓冲区，将当前文档、历史文档、归档数据、备份集合在一起RBS+文件流解决方案架构一中小型系统应用场景 FILESTREM文件流接口提供负载均衡、多线程、多通道文档读写 RBS+FILESTREM文件流存储池可根据用户需要使用经济实惠的PC服务机扩展RBS+文件流存储池定制应用定制应用Customer ApplicationSQL RBS 应用端接口Client APISQL RBS后端存储接口Provider APIRBS Services Create Fetch GC Delete文件流存储节点文件流存储节点Filestream文件流文件流存储节点文件流存储节点Filestream文件流Filestream 文件流存储接口RBS+文件流解决方案架构二大型企业级应用场景RBS+文件流存储池企业核心企业核心BLOB存储系统存储系统SQL RBS后端存储接口Provider API文件流存储节点文件流存储节点Filestream文件流文件流存储节点文件流存储节点Filestream文件流Filestream 文件流存储接口横向扩横向扩展展文件流存储节点文件流存储节点Filestream文件流文件流存储节点文件流存储节点Filestream文件流SQL RBS 应用端接口Client API客户订制应用客户订制应用SQL RBS 应用端接口Client API客户订制应用客户订制应用SQL RBS 应用端接口Client API客户订制应用客户订制应用SQL RBS 应用端接口Client API客户订制应用客户订制应用RBS接口档案管理使用场景 核心档案存储可通过服务层安全的提供各种应用借口 档案导入可嵌入智能保留期限识别模块 防火墙提供基础保护 如需要应用层可通过防火墙PORT FORWARDING功能延伸到外网企业核心档案存储使用RBS+文件流可扩展解决方案调阅其他收集查询管理导入安全服务接口防火墙建议使用硬件配置 市场性价比较好的PC服务机标准： 4芯4核16G 存储标准 光纤技术SAN或其他存储设备 估算方式 至少2台 每台承担10-20T（当前数据使用） 每台承担20-40T（历史数据使用） 设计应可达到单通道读写每秒40M以上（实际情况根据存储设备吞吐量）参考资源 http:/ http:/ http:/ http:/ http:/