海量数据存储、访问与管理.docx

海量数据存储、访问与管理随着信息化程度的提高，数据已超出它原始的范畴，它包含各种业务操作 数据、报表统计数据、办公文档、电子邮件、超文本、表格、报告以及图片、 音视频等各种数据信息。人们用海量数据来形容巨大的、空前浩瀚的、还在不 断增长的数据。海量数据是当今商业面对的一个现实。任何一个企业都在面对其企业数据 库由于规模扩大产生的沉重负担，提高海量数据访问力量和业务分析力量的要 求也变得越来越迫切。.数据爆炸。如今，需要企业进行管理的数据正在以指数级速度增长。分析 人员觉察，公司收集、存储和分析的有关客户、财务、产品和运营的数据，其 增长率达125%之多。各个方面的因素导致了数据的爆炸，如：网络应用增加 了数据的增长速度；监控点击流需要存储与以往相比越来越多的不同的数据类 型；多媒体数据也增加了对存储的要求；我们存储并管理的不仅仅是数字和文 字，还有视频、音频、图像、临时数据以及更多内容，这些数据的增长速度也 在不断地提升；数据仓库和数据挖掘应用鼓舞企业存储越来越长的时间段内越 来越多的数据。这些实际状况导致的结果就是数据大量增加。法规方面的要求。在会计丑闻的唤醒下，立法者和决策人施加了严格的新 要求，几乎影响到全球各家大型企业。法案要求公共公司遵守严格的金融纪录保持与报告法规。假如公司不能准时、牢靠地访问精确的财务信息，那么恢复技术NonStop IQ,进一步满意海量数据7 X 24的高可用性和满意系统灾难恢复的需 要。8. TelestraClear历史数据归档与报表系统TelstraClear是新西兰其次大全业务电信运营商，它需要收集并报告经由它 的交换机到其他公司的呼叫信息并计费，也需要检验从公司外部收到的计费信息。为了管 理公司内部的计费，TelestraClear追踪全部呼叫明细。由于数据量不断增件，系统需要 额外的维护，而且对所需报表尴尬重负。Sybase IQ精彩的性能及压缩力量使TelestraClear 采用现有的硬件，节省储存本钱以及额外的维护费用。TelstraClear每天产生6百万条纪 录，每月大约有1400百万条纪录。Sybase管理超过13个月的数据，大约30亿行信息。 Sybase IQ解决方案使TelstraClear可以存储超过13个月的数据，供应了丰富的历史报 表，而且能够在很短的时间内完成即席查询与日常报表。它们将面临罚款、调查、起诉、甚至更严峻的股东信念下降的威逼。这要求公 司能供应对更多数据的不间断访问力量并进行更多的分析，这必定会延长数据 的维护周期，增加数据容量。 非结构化数据应用的需要。结构化数据是指诸如企业财务账目、客户信息、 业务操作数据等具有明显结构化特性的数据。非结构化数据包括扫描文档图像、 、照片、计算机生成的报告、字处理文档、电子表格、演示文稿、语音和 视频片段等。依据业界分析报告，非结构化数据占有整个信息量的85%以上， 数据量及其浩大，是信息资源管理的核心。同样，企业需要对非结构化数据进 行存储、检索、过滤、提取、挖掘、分析等各方面应用。 历史数据归档与访问的需要。一般来说业务系统是用来处理业务交易的, 为了使这些关键业务系统的性能不会受到严峻影响，往往业务系统只存放短周 期内的业务交易数据，大量的历史数据都被备份到磁带上，或者被转移到其他 存储设施上静态保存，当对它们运行SQL查询时再把它们从档案环境中恢复出 来。但是随着企业对数据的重要性越来越重视，以及数据分析、数据挖掘的应 用渐渐普及，历史数据的访问将变得重要、频繁和直接。历史数据的不断积累, 也对海量数据的存储、管理和访问提出了新的需求。 数据整合与数据分析的需要。当前，企业信息的存放具有数据结构多元化、 存储异构化的特点，企业的数据可能存储在传统系统、大型数据仓库或具有计 费、订购、制造、分销或其他功能的数据运营孤岛上，因此会给访问带来极大 的困难。数据整合与数据分析已经成为信息管理技术的应用热点。只有在有效的数据整合基础上，才能消退信息孤岛，降低有效信息猎取的难度，通过对整 合数据的分析和加工来获得制定策略所必需的信息依据。传统的关系型数据库面临更大的挑战传统的关系型数据库在计算机数据管理的进展史上是一个重要的里程碑， 这种数据库具有数据结构化、最低冗余度、较高的程序与数据独立性、易于扩 充、易于编制应用程序等优点，目前较大的信息系统都是建立在结构化数据库 设计之上的。然而，随着越来越多企业海量数据的产生，特殊是Internet和Intranet技术 的进展，使得非结构化数据的应用日趋扩大，以及对海量数据快速访问、有效 的备份恢复机制、实时数据分析等等的需求，传统的关系数据库从1970年进展 至今，虽功能日趋完善，但在应对海量数据处理上仍有很多缺乏。缺乏对海量数据的快速访问力量当你的竞争对手在周五下午宣布了新的价格体系，你所在机构的总裁在周 一早晨之前想要一份对你公司有何影响的分析报告，业务分析员想做的最终一 件事情是花费20分钟等待整个表扫描和多表连接来获得“假如会怎么样”的 查询。由于没有经过优化的查询会耗费很长的时间；进行查询的用户，其需求 需要按方案执行；多个杳询会竞争CPU资源；并且业务需求常常被转变。全部 这些都要求不断调整优化数据库或甚至重新设计数据库。缺乏海量数据访问敏捷性在现实状况中，用户在查询时盼望具有极大的敏捷性。用户可以提任何问 题，可以针对任何数据提问题，可以在任何时间提问题。无论提的是什么问题, 都能快速得到回答。传统的数据库不能够供应敏捷的解决方法，不能对随机性 的查询做出快速响应，由于它需要等待系统管理人员对特殊查询进行调优，这 导致很多公司不具备这种快速反响力量。对非结构化数据处理力量薄弱传统的关系型数据库对数据类型的处理只局限于数字、字符等，对多媒体 信息的处理只是停留在简洁的二进制代码文件的存储。然而，随着用户应用需 求的提高、硬件技术的进展和Intranet/Internet供应的多彩的多媒体沟通方式， 用户对多媒体处理的要求从简洁的存储提升为识别、检索和深化加工，因此如 何处理占信息总量85%的声音、图像、时间序列信号和视频、E-mail等简单数 据类型，是很多数据库厂家正面临的问题。海量数据导致存储本钱、维护管理本钱不断增加大型企业都面临着业务和IT投入的压力，与以往相比，系统的性能/价格比 更加受关注。GIGA讨论说明，ROI（投资回报率）越来越受到重视。海量数据使 得企业由于保存大量在线数据以及数据膨胀而需要在存储硬件上大量投资，虽 然存储设施的本钱在下降，但存储的总体本钱却在不断增加，并且正在成为最 大的一笔IT开支之一。另一方面，海量数据使DBA陷入持续的数据库管理维 护工作当中。海量数据缺乏快速备份与灾难恢复机制传统的数据库备份技术，如通常采纳的磁带备份方式，不能运用于海量数 据，由于磁带备份将使备份时间增加，需要几小时-几天，不仅影响了生产，而 且增加了备份的难度，使得备份/恢复变得缓慢而且不行靠，几乎无法在固定的 时间窗口完成备份工作。此外，第三方备份软件隐含的本钱代价如本钱开销、 简单度、昂贵的实施等也是企业需要考虑的。因此海量数据平安显得特别重要, 只有通过引入有效的备份、便利高效的备份恢复技术，才能满意海量数据平安 的需要。Sybase供应对VLDS的最大支持专注于信息管理和信息移动技术的企业级软件公司Sybase,致力于为客户 供应管理企业内部各种简单海量数据源的解决方案。其一系列的解决方案关心 数据密集型行业对来自于固定或移动数据源的结构化或非结构化的海量数据进 行查询和分析，使企业能够更好的管理数据资产并将其转化为切实可用的信息。世界领先的VLDS引擎一 SybasE IQSybase IQ采纳了成熟的压缩算法，与传统的RDBMS解决方案相比，数据存储量可以 削减6080%。这也就削减了物理存储需求和人员配备本钱。经过独立的审核测试确认， 存储48T字节的原始输入数据，Sybase IQ只需要22T的物理存储空间。止匕外，Sybase IQ 比传统数据库更简洁维护，而且不需要进行与时间和资源相关的调整就可以到达极佳的性 能.除了节省本钱以外，Sybase IQ还可以更好地觉察和分析信息，从而关心组织机构防 止欺诈、减小风险、开掘新的商机以及获得其他各种好处。Sybase DODS从运营系统猎取数据，将其复制到运营数据存储中，然后使用用户熟识 的、功能强大的报告工具快速访问数据。强有力并且简洁易用地进行交叉查询Emails, Documents and Transact ions 0Sybase Dynamic Archive解决方案的独特设计Sybase Dynamic OperationalData Strore (DODS)动态运营数据存储解决方案数据的空前增长，需要访问数据的学问工作者的不断增多，以及实时取得信息的需要, 这一切都对运营系统造成了巨大的压力。Sybase DODS解决方案采纳功能强大的复制技术, 能够几乎实时地从运营系统猎取数据，而不会干扰系统的运行。复制的数据存储在Sybase IQ归档数据库中，可供应比传统数据库快100倍的查询速度，而所需的存储空间却比传 统RDBMS解决方案要少6080%。Sybase的DODS解决方案可以快速缓解公司海量数据的 压力，使它们在保持原有系统性能的同时，还能平安地满意不断增长的实时自助业务分析 的需要。用户实例：Telefonica Spain (西班牙电信)DODS系统、青岛海尔DODS系统、江苏 地税DODS系统，等等。Sybase E-mail与文档归档、检索解决方案一非结构化数据的有效运用Gartner讨论说明：非结构化数据已经与传统的“结构化”数据同样重要，当今85% 以上的商业信息是保存在非结构化数据中，而且这个进展趋势越来越快。相关法规的制定 对公司E-mail系统信息及相关文档保存期的要求也越来越长。如何从三年内上万个邮件中 搜寻需要的内容以及附件包含的内容？如何将E-mail信息与数据仓库中数据进行关联查 询？类似的需求将越来越多，Sybase E-mail与文档归档、检索解决方案能够快速地回答 你的问题。 实时捕获E-mail内容及附件信息，并传送到IQ中。 实时把文档/媒体加载到IQ中。,对文档信息进行快速load/index处理，客户端对其中数据、email、文档都可以 进行关联查询。用户实例：United Health Care (store ANY type of medical data such as CAT scans, X-rays, regular photos (i. e JPEG) , spectrograms, EKG and others.)Sybase Dynamic Archive (DA)动态数据归档解决方案在典型的业务应用环境中，数据量每年以125%的速度递增。生产系统中高达80%数据 处于非活动状态，它们却在不断地占用着昂贵的硬件、存储设施和维护资源，并且降低了 应用性能。传统的归档管理方法是将数据移出应用环境，但这可能会损害数据完整性，从 而使公司面临违反规定的风险。Sybase Dynamic Archive解决方案特地设计用来满意其核心应用饱受数据迅猛增长 之苦的企业的需求，为企业供应真正需要的东西：一种长期的、本钱效益好的方法，能够 从应用生产中消退非活动数据，同时在需要这些数据时，又能够持续实现无缝访问，它还 在节省本钱和提高性能方面供应了很多可以量化的优势。用户实例：C0SC0N中远集运DA系统。Sybase海量数据备份/恢复NonStop IQ解决方案NonStop IQ是针对海量数据的便利准时的Disk-to-Disk (D2D)备份/恢复解决方案: 基本忽视数据库的大小，进行全库备份在秒级或分钟级就能完成； 当发生灾难时候，瞬间实现由生产库到备份库的切换，以最短的宕机时间来进行 恢复操作，TB级数据恢复时间小于60秒；支持本地和远程的操作； 不同于磁带备份，NonStop备份数据是动态可用的，备份的数据可以用于开发、测 试、DBCC检查、QA等等； 比磁带备份更加牢靠：马上对备份数据进行验证，备点数据库随时可以启动、使 用； 可以使用ATA磁盘替代昂贵的FC磁盘来满意本钱节省和信息价值非类存储的需 要，比“传统的”磁带备份/灾难恢复具有更低的本钱；在实际的生产中已有20多个客户在采纳该方案(从200GB到140 TB)。用户实例：Nielsen Media Research AMEX. BizRate、SEC、广东移动 IP 网管、交行总行历史数据查询系统等等。Sybase V L D S国内外胜利案例以下为2005年Sybase VLDS排名前10名的应用。表格中列出了裸数据存储大小，以 及在Sybase IQ中数据库大小，这充分验证了 IQ具有强大的数据压缩力量，没有数据膨胀。 同样的裸数据大小，在其他传统的关系型数据库中，将有2-11倍的数据膨胀。局部国内外VLDS的客户应用介绍：1. Telefonica Spain （西班牙电信）Telefonica西班牙及拉丁美洲地区领先的电信运营商，西班牙第一家上市公司，也是 电信业主要的全球化企业之一，全球拥有8200万客户，在16个我国拥有分支机构。拥有 4500万固定线路（西班牙2100万），3600万移动 （西班牙1800万），100万付费电 视用户（西班牙80万）。Telefonica经过对各家数据库产品进行基准测试后，采纳了 Sybase DODS解决方案，胜利地将数十个各自独立的信息系统的海量数据准实时集中存放在ODS架 构中，实现了在最优的存储和维护本钱下获得了最好的性能的目标。2. ComScore-一家新生代信息服务公司ComScore需要监控分别来自美国六个不同的主干网，七个重要要城市的网络点击流。 基于Internet的客户数往往是难以掌握的，且常常是特别大量的（有时候会到达百万数量 级），这就导致有大量的数据需要收集，ComScore如今每周需要处理600万条新纪录，约 300GB数据，全部数据到达了 60TB,在IQ中存储只占用20+TB。3. Nielsen Media Research总部位于佛罗里达州达尼丁市的Nielsen Media Research是全球范围内电视观众测 评及相关服务的主要供应商。可想而知，随着这种调研工作的不断扩大和深化，Nielsen Media Research的数据量也变得特别浩大，而且已经成为了企业的生存命脉。Nielsen客户提交的恳求往往不是订单处理，而是集中在海量数据的提取上，由于客 户需要这些数据进行分析。而每一条恳求都包含数十页，甚至数百页的SQL语句。假如采 纳传统的关系型数据库，1/0负载将会特别重。如今，采纳Sybase的IQ Multiplex后， 不仅解决了问题，而且能够随时对CPU进行调整，最高速率保持在每小时600GB,这个速度不会给SAN磁盘的I/O造成过重的负担，随着数据量的增长，可以通过添加更多的CPU, 以保证系统的顺当运行。4. Korea Chohung Bank-韩国朝兴银行2000年1月，朝兴银行(CHB)完成了韩国第一个企业数据仓库(EDW)和基于Web的 市场数据库系统的开发工作。CHB将EDW用作集成交易数据和客户全部相关信息的数据存 储单元。包含在EDW中的客户和交易信息每天都会更新，供CHB内部各独立业务单位'数 据集市中的大约700名用户(如用于管理收益、信贷和风险的集成系统)使用。5. 广东电信海量数据分析系统广东电信需求主要特点就是数据量浩大，广东公众多媒体通信网拨号用户总数已到达 70万。依据业务需求分析，广东省163/169网到2002年底的用户总数将到达800万以上, 其中拨号注册用户达400万，主叫用户300万，卡用户100万，专线用户也将到达1万户 以上。在这些大量的数据背后隐蔽着很多重要的信息。另一方面，广东电信业务结构简单, 系统的最终用户的需求不尽相同，业务策略不断变化。广东电信经过多方测试比拟，最终 在广东视聆通和福建163网，广东省新一代的多媒体网综合业务管理系统，广州电信市场 经营分析系统等多个系统中采纳了 Sybase VLDS解决方案。6. 广东移动IP网管系统(2006年IQ数据量到达30+TB)广东移动是中国领先的移动运营商，其CMNET是中国移动集团内规模最大的省级IP 网络，具有网络规模大、设施种类多、业务开展丰富等特点。广东移动业务系统的IP网络 管理系统，每日数据行数巨大，仅WAP业务一项，目前每天超过9亿行(ROWS),每日数 据增量在800GB,且保持着相当高的增长速率，在大量数据持续加载到数据库的同时还需 要做大量的汇总计算工作。该系统经过9个月的运行，验证了在移动IP网管领域，采纳 Sybase VLDS解决方案能够满意移动要求的支持海量数据存储和业务管理进展需要，工程 一期实现了多个业务系统数据的实时装载、小时分析、日分析。在存储方面，实际磁盘开 销低于原始数据文件的大小，在充分满意查询需求的基础上，很好的掌握了空间的膨胀， 降低了存储代价。7. 交行总行历史数据存储与查询系统(5+TB)交通银行总行历史查询数据量在不断增加，尤其在实现个人历史数据查询功能后，数 据量更加急速增长，到达5TB。交行总行历史数据查询系统采纳了 Sybase IQ数据库作为 其VLDS方案后，又考虑到历史查询系统数据平安的重要性，引入有效的备份、便利高效的