2022年重复数据删除技术 .pdf

《2022年重复数据删除技术 .pdf》由会员分享，可在线阅读，更多相关《2022年重复数据删除技术 .pdf（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、重复数据删除技术 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 2 页 共 32 页重复数据删除技术当前，不管是权威机构，还是众厂商，都非常看好重复删除技术。重复数据删除通过有效地减少数据，消除备份成为降低数据存储成本的重要技术，成为大家关注的焦点。然而，重复数据删除是否可以在你的存储设备下工作？你如何在海量的数据中应用重复数据删除技术？本专题深入探讨重复数据删除技术，针对各种重复数据

2、删除产中提出评估建议。为什么需要重复数据删除？随着企业的数据量不断增长，大量的重复数据给存储带来严峻的挑战。重复数据删除带来了多种好处。存储量减少，从而降低了存储成本。这意味着只需更少的磁盘和更低频率的磁盘采购。更少的数据同时也意味着备份更小。?重复数据删除迅猛发展?如何通过重复数据删除降低存储成本什么是重复数据删除？重复数据删除，也被称为智能数据压缩或单一实例存储。它是一种可以减小数据存储需求的手段。本系列文章将介绍重复数据删除是如何工作的，重复数据删除技术的基本原则和具体实现等相关问题，并列举一些该技术在实际应用中的例子。名师资料总结 - - -精品资料欢迎下载 - - - - - - -

3、 - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 3 页 共 32 页?重复数据删除是如何工作的？?确保重复数据删除的高可用性?重复数据删除技术如何缓解存储需求重复数据删除有哪些产品？重复数据删除还是一个新的市场，不同的厂商为客户提供了不同的产品，这也使得实现重复数据删除的方式变得多样化，而客户面临的则是困难的抉择。让我们来看一下不同的重复数据删除产品及如何评估基于硬件的重复数据删除产品。?重复数据删除产品一览?如何评估基于硬件的重复数据删除产品?如何评估

4、基于软件的重复数据删除产品重复数据删除技术比较重复数据删除和其他技术有很多相似点和不同点，在这一系列中我们将深入探讨CAS和重复数据删除，讨论它们的用途并总结这两种技术的优缺点；介绍压缩、重复数据删除和加密的区别，比较和对照in-band(带内)和 out-of-band(带外)两种重复数据删除方式，以及它们各自存在的利弊。?CAS 和重复数据删除：归档双雄?压缩、重复数据删除和加密的区别?重复数据删除 in-band VS out-of-band 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - -

5、 - - 第 3 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 4 页 共 32 页重复数据删除迅猛发展存储经理们已经意识到了重复数据删除技术的诸多优点。Federal Reserve 银行的存储架构师Michael Thomas在最近的“存储决策大会”上说：“如今我是不会购买一个不具有重复数据删除的二级存储设备的。”其原因，是显而易见的。最新的虚拟磁带库(VTL) 已经将重复数据删除技术作为一大特点包括在内，据称通过删除重复冗余的备份数据，在存储空间上可以为用户提供50:1的压缩比。所节省下的每GB 的成本是相当可观的。IDC.的分析师 Rob

6、ert Amatruda 认为，“随着重复删除的应用，现今VTL 的经济性已可以与磁带相比了，” GlassHouse Technologies 公司数据保护服务部的副总裁Curtis Preston估计，一个中端磁带库每GB 的成本估计在 4 美元到 11美元之间，而无压缩或无重复删除的磁盘每GB 的价格大约在 3美元到 11 美元，VTL 的供应商预测，对于保存期为一年的每周全面备份和保存期为十天的每日增量备份，要保证数据在其生命期内的存储，每TB 的数据将需要 53TB 的存储空间。随着存储容量以这种速度增长，任何能够节省这笔资金的方式都会受到用户的欢迎。重复删除产品的推出，可以帮助用户

7、遏制这种增长速度。主要的厂商包括：Data Domain、Diligent Technologies、ExaGrid、 FalconStor Software 、Network Appliance (NetApp)、NEC、Quantum（昆腾）、 Sepaton 和 Symantec （赛门铁克）。 EMC Corp.公司收购了 Avamar Technologies公司并计划在今年晚些时候将它的重复删除技术并入其备份部门。 HDS 与 Diligent Technologies公司、 IBM 公司和 NetApp 一起合作开发重复删除产品。Taneja Group.的创始人及咨询分析师Ar

8、un Taneja说：“重复数据删除的优点已经相当明显了。”但是，他认为，重复数据删除采用的不同方式和所得到的压缩非常模糊。他警告说，用户应该在自己的数据集下对产品进行彻底的测试。因为厂商更善于技巧性地实现这些数字，而不应该理所当然地就认同接受。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 5 页 共 32 页摩托罗拉公司的IT 基础架构师 Guna Shankar Selvaraj

9、认为，他们对 Data Domain公司的进行了评估，但是他发现他们还处在“非常早期的阶段”。Federal Reserve 银行的 Thomas说，在决定购买哪种产品之前，他将用六到八个月的时间来测试所有的重复数据删除产品。他说“我想知道产品有多少拷贝的索引需要保存，以及如果它们被破坏后会发生什么所有的一切都是非常重要的。”UIC Medical Center 的企业存储架构师Richard Dearmon关注则是在重复删除之后的数据恢复问题。他说，“我想购买它，可我不清楚二级以及三级备份到底会发生什么。”普遍而言，用户们很想对该技术进行评估，却仍然有很多的问题。一部分公司则已经采取了行动。

10、CitiStreet 使用 Sepaton的 VTL 保存 50TB 的备份数据，该产品的重复数据删除技术，使其备份集得到了56:1 的压缩比。公司对该产品进行了两个月的测试，最终决定在六月底之前将数据转移到该产品上。起初是有一些挑战，但在Sepaton公司的帮助下 CitiStreet 最终扫平了这些障碍。“他们的重复删除产品对于用户来说就像一个黑匣子 -他们过来，打开一些开关，压缩了一些小文件。”不过，CitiStreet公司的全球基础架构副总裁Jeff Machols 表示，现在的运行广告说的一样了。随着数据的减少， CitiStreet 公司能够对数据进行更长期的保存，而不用担心磁带存

11、储问题。“为了备份和恢复，我们能够保持对有价值数据至少长达一年的在线存储。”Machols 说，“我们不必担心要把数据转移到其他的存储介质上。”不利的证据有一些证据可能会减慢重复删除的推广。用户关心重复删除、加密和压缩是如何以一种协调的方式共同工作的。摩托罗拉公司的Selvaraj说，“有些时候这些特点会导致自相矛盾.深入剖析你的数据，这一点是非常重要的，因为并不是所有的数据都能有效地进行重复删除。”由于越来越多的存储采用在线进行，另一个关心的话题就是电力消耗的问题。有一个用户告诉我们，最近由于电力消耗的问题，不得不关闭一些Data Domain公司的设备。不过，由于话题敏感，他要求隐去名字。

12、名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 6 页 共 32 页该用户说，“产品的性能的确很棒然后我们主管设备的家伙走进来说，要不你把关掉什么，否则我只开始拔插头了我们没电了。” Data Domain公司的该产品是最后进入数据中心，最早从数据中心撤出的。“我们不得不重新使用磁带，以节省能量。”在目前阶段，还不清楚面临的能源危机会对存储经理们产生多大的影响。但根据最近一份 Gartn

13、er报告，这个问题似乎涉及到到IT 的所有部门。“到2008年，目前 50%的数据中心将不具备足够的电力和冷却能力来满足高密度设备的要求。”Gartner说，到 2009年，全世界 70%的数据中心将面临能源成本将为第二大运行成本的问题。（作者：Jo Maitland翻译：陈晶 来源：TT中国）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 7 页 共 32 页通过重复数据删除降低存储成

14、本随着企业的数据量不断增长，大量的重复数据给存储带来严峻的挑战。举例来说：现在有一个大小为10M 的 PPT文件，要把它拷贝给100个用户，这就需要Exchange服务器有 1GB的可用存储空间。当每周都要备份1GB 的重复存储时，问题就会变得更加糟糕。一年后，浪费的1GB 空间最终会导致需要52GB 的磁带备份或其他方式的备份存储。近来新兴的重复数据删除正是为解决数据冗余问题应运而生的，它只将重复的文件、块或位存储到实际的存储介质中。重复数据删除带来了多种好处。存储量减少，从而降低了存储成本。这意味着只需更少的磁盘和更低频率的磁盘采购。更少的数据同时也意味着备份更小。这些都将转化为较少的备份

15、窗口占用时间和更快的恢复时间目标(RTO)。更小的备份也延长了在虚拟磁带库(VTL) 或虚拟档案库的保存时间。但是要使重复删除有效，数据必须被长期保存以便可以产生一个可供重复删除使用的全面索引只保存一周的数据对于重复删除来说是毫无意义的。重复删除的本质重复数据删除用以扫描数据中的重复内容，有时它也被称为智能压缩或单一实例存储。在最简单的层次，重复删除寻找同一文件的多种备份，不过，它只对相同的的数据进行处理，所以哪怕两个文件只有几比特数据的不同也会被其识别为两个不同的文件。如今的重复数据删除可以在更深的层次上寻找块或者位的重复实例，这使得它可以更好地节省存储空间。事实上，当数据向备份、档案文件或

16、者复制平台转移时，只有最初的数据实例会被保存到磁盘上。随后的实例会用小标号来简单地注明并指向已经保存的重复部分。每一块的重复数据删除都通过“散列算法”进行处理，例如MD5 或者 SHA-1，有时也会将二者同时使用。散列算法会为每一个数据块产生一个特定的散列值，并将它保存在索引中。当处理另一个数据块时，其散列值将与已经编入索引中的其他散列值进行比较。如果该值已经存在于索引中，新的数据块将会进行重复删除处理，不被保存。但会插入一个指向已存在数据的“标号”。专家指出重复数据删除的压缩比能够达到10:1到 50:1。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - -

17、- - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 8 页 共 32 页重复数据删除的部署重复数据删除可以部署在硬件设备或软件产品中，而且每一种实施方式可能会有不同的实现形式，因为厂商都想在这个新兴的技术市场中与众不同。重复删除可以通过in-band（带内）实施，在数据写入存储时完成重复数据的删除。重复删除也可以通过out-of-band（带外）、作为独立或二级过程来实施。In-band处理效率较高，但处理速度可能会稍慢一些，因为额外的处理需要更多的存储时间，从而导致备份窗口

18、占用更久的时间。Out-of-band 处理不会影响系统的性能，但它需要略多一些的磁盘空间，并且在重复删除过程中可能引发磁盘冲突。专家建议，测试不同的重复删除方式，看这些方式是如何在你的现实环境中工作的。基于硬件的实施需要更多的成本，但它们的性能确实会更好一些，而且也更易于部署。硬件设备包括Data Domain公司适用于分支机构的DD410 以及 DDX 系列的门阵列，昆腾（ Quantum）公司提供的 DXi3500 和 DXi550 。在选择哪种产品时，你必须确保这台设备与现有的备份软件是兼容的，并且确保它能够支持现有的存储容量(例如：需要能处理 20PB的容量 )。重复删除也可以直接嵌

19、入到存储产品中，例如：Diligent Technologies 公司的 ProtecTier VTL，ExaGrid Systems公司的网络附加存储 (NAS)备份设备，美国NEC 公司的 HydraStor grid 备分产品， Network Appliance（NetApp）公司的 NearSore R200和 FAS的存储系统，以及Sepaton公司的 S2100-ES2 VTL。基于软件的重复删除通常工作于备份服务器(源)而不是在备份目标 (存储系统 )。它可以减轻备份服务器和存储系统间的网络拥堵，并且通过广域网（WAN ）进行备份工作，尤其得心应手。重复删除软件包括EMC 公司

20、的 Abamar产品和赛门铁克的NetBackup。基于软件的重复删除与硬件相比成本会低很多，但是对每个系统的代理使用都必须被备份对于 IT 公司来说这会增加管理和维护的负担。在考虑部署时，可扩展性是一个主要的关注问题。随着重复数据删除系统的不断扩展，存储性能将如何相应地改变，对这一点的理解是非常重要的。例如，极其巨大的散列索引表库可能会给系统性能造成负面的影响。当然，重复删除厂商都意识到了这个问题，并开始着手解决性能扩展的问题。 （作者：Stephen J. Bigelow翻译：陈晶 来源：TT中国）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - -

21、 - - - - - 名师精心整理 - - - - - - - 第 8 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 9 页 共 32 页重复数据删除是如何工作的？重复数据删除，也被称为智能数据压缩或单一实例存储。它是一种可以减小数据存储需求的手段。重复数据删除的处理过程是通过删除冗余数据，确保实际上只有第一个单一实例数据被存储。而被删除的重复数据将由一个指向元数据的的指针所代替。重复数据删除可以对文件，块或者位进行操作。在基于文件的重复删除中，如果两个文件完全相同，那么其中一个将作为备份文件被保存，而随后重复的文件将获取指向保存文件的指针。但是

22、基于文件的重复删除并不十分有效，因为哪怕文件只是更改了一个字节，也会被作为另外一个不同的文件全部保存下来。基于块和位的重复删除，软件通过对文件进行比较，只保存每一块的单一重复部分。如果文件更新，那么只有被更改的数据才会被保存。这就是为什么基于块和位的重复删除要比文件级的重复删除要有效率的多。块和位重复删除所能达到的压缩比是从10:1到50:1。重复数据删除的处理方式每一个数据块通过散列算法(例如 MD5 或者 SHA-1)为每一个数据产生一个特定的散列值。将这个散列值与现有的散列值索引相比较，如果它已经存在于索引中，那么这个数据就是重复的，不需要进行存储。否则，这个新的散列值将被添加到索引中，

23、这个新的数据也因此被存储。要使重复删除平台处理更精确，就需要更大的索引。例如，基于文件的重复删除只需要一个百万大小或千万大小的单一散列值索引。相比之下基于块的重复删除会涉及到更多的单一数据块，这个数字通常会达到十亿级。这样精确的重复删除需要更强的处理能力以便可以为其提供更大的索引。除非硬件的设计与对索引的要求相适应，否则随索引的不断扩展，平台的性能将随之下降。一般而言，散列算法很少会将两个不同的数据块产生出相同的值。当这样的“散列碰撞”发生时，系统就不会存储新的数据，因为系统看到同一个散列值已经存在。这被称为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - -

24、- - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 10 页 共 32 页“false positive”（误报），会导致数据丢失。一些厂商结合不同的散列算法，以降低散列碰撞的可能性。另一些厂商还会检查元数据来确认数据，从而避免散列碰撞。其他方式的数据删除重复数据删除一般和其他的数据删除技术一起使用，例如压缩和差分delta。数据压缩技术已经问世约三十年之久，它将数学算法应用到数据中，以简化大容量或重复的文件部分。差分 delta通过只存储相对于原始备份文件被修改的部分，来减

25、小存储总量。例如：一个大约包含 200G数据的文件组，与原始备份相比可能只有50M 的数据是被修改过的，那么也只有这 50M 的数据会被存储起来。差分Delta 一般用于基于广域网的备份系统，它可以最大程度地利用带宽，从而减少备份窗口的工作时间。更快的备份速度和更短的恢复时间采用压缩比高达30:1的重复数据删除技术，300G的数据只需要 10G的磁盘空间。显而易见，这为我们节省了巨大的存储空间，因为我们不仅可以节省大量的磁盘空间，还可以延长磁盘的保存期。重复数据删除还可以带来一些间接的便利。较少的数据存储使备份的速度更快，从而减少了备份窗口的占用时间，同时也使恢复目标指针（RPOs）变得更小（

26、更近），恢复时间目标（ RTOs）变得更快。磁盘存档平台可以相地的存储更多的文件。如果磁带作为最终的备份对象，那么更小的备份只需要更少的磁带，从而降低介质的花费，减小磁带库所占用的空间。对于一个虚拟磁带库（ VTL ）来说，降低磁盘存储空间的需求意味着在VTL 上的备份保存时间需更长。例如，一个普通的VTL 大约可以保存备份30 天，然后将最旧的备份转移到磁带上保存，为之后的备份腾出磁盘空间。由于重复数据删除可以有效并显著地增加磁盘空间， VTL 有可能将备份保存两年时间，从而大大地降低了对磁带系统的依靠。重复数据删除也可以加快远程备份、复制和灾难恢复处理过程。数据传输可以更快地得以完成，使网

27、络可以去处理其他的工作，传送更多的额外数据或者通过使用低速网络、低价的广域网来降低成本。 （作者：Stephen J. Bigelow翻译：陈晶 来源：TT中国）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 11 页 共 32 页确保重复数据删除系统的高可用性在部署重复数据删除系统时，考虑其可伸缩性和可靠性很重要。随着存储容量和重复数据删除粒度性的增加，系统性能需要保持在可接受性的水

28、准之上。如果由于重复删除算法错误而产生数据损失，重复数据删除应能够不受影响。可伸缩性与散列冲突重复数据删除产品检测重复的数据元素，判断一个文件、块或比特是否和另一个文件、块或比特相同。重复数据删除产品将每个数据元素用数学的散列算法来进行处理，并得到一个名叫散列码的唯一的认证数。每个数字都被编译到一个清单，这个清单经常被称为散列索引。当新的数据元素被处理时，它们所产生的散列码将和已经在索引表中的散列码相比较。如果新的数据元素所得到的散列码和另一个已经在索引表中的散列码相同，那么这个新数据将被认为是一个重复数据，将不被保存到磁盘-只有一个很小的参照 存根能够相联到已经被存储的同一数据。如果索引表中

29、没有这个新的散列码，那么该数据元素将被认为是新数据而被正常保存到磁盘中。即使这个数据不是和已保存的那个数据完全相同，这个数据元素还是可能会产生同样的散列码。这就是误确认，或者称为散列冲突，这将导致数据丢失。有几种方法可以缓解误确认。重复数据删除厂商可以选择在每个数据元素上使用多于一个的散列算法。例如，FalconStor 软件公司的虚拟磁带库（VTL ）上的单实例存储（ SIR）技术就用 SHA-1 和MD5 算法来进行带外索引。这在很大程度上减少了误确认的机率。另一个选择就是使用一个散列算法，但是在数据元素的比较上精确到比特单位。这两种方法的共同问题是它们需要主机系统更多的处理能力，降低了索

30、引效率，减缓了重复数据删除进程。随着重复数据删除进程越来越粒化，所检验的数据块也越来越小，索引变得更加庞大，而散列冲突的机率也随之增加，更加拖累了性能。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 12 页 共 32 页可伸缩性和加密另一个问题就是在一个公司的存储架构中，重复数据删除和传统的压缩及加密之间的关系。普通的压缩是将冗余数据移出文件，而加密则是打乱数据，使得数据完全随机而不

31、可读。在数据存储中，压缩和加密都扮演着重要的角色，但是删除冗余数据可能影响重复数据删除进程。如果加密或传统的压缩和重复数据删除一起被请求进行，那么编制索引和重复数据删除应当先进行。（作者：Stephen J. Bigelow翻译：陈晶 来源：TT中国）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 13 页 共 32 页重复数据删除技术如何缓解存储需求数据如潮水般涌向企业。存储管理员不

32、断努力地处理日益激增的数据，比如，文本、声频、视频、图像，还有不断增加的大容量邮件附件。存储这些数据并不是最佳的解决方案存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾难恢复系统(DR)的负担。企业与其寻求更多的存储数据的不同方式，还不如转向数据删除技术，以存储更少的数据。近来新兴的重复数据删除（Data De-duplication）就是数据删减方案的重要一环。本文将介绍重复数据删除技术的基本原则和具体实现等相关问题，并列举一些该技术在实际应用中的例子。了解重复数据删除基本而言，重复数据删除就是减小存储空间的一种方式。它通过删除冗余数据，确保只将单一的数据实例保存在存储介质中，比如

33、，磁盘或磁带。删除的冗余数据将被一个指针替而代之，指向保存的单一数据。有时候重复数据删除也被称为智能数据压缩或者单一实例存储，通常是和其他的数据删减技术一起使用的。传统的压缩方式已经使用了将近三十年，它将数学算法应用到数据，以简化大容量或重复的文件有效地将文件压缩变小。与此相似的是，差分delta 减小存储总量是通过比较重复的新旧文件，只存储修改过的数据。将二者合二为一，就能非常有效地优化存储空间的使用。如果实施恰当，重复数据删除可以降低对存储空间的大量需求，从而减少在磁盘上的花费。更有效地利用磁盘空间，就能够延长磁盘保存期限，这样，提供了更好的恢复时间目标(RTO)，更长的备份时间，并降低了

34、磁带备份的需求。同时，重复数据删除还可以缩减必须通过无线网络传送来实现远程备份、复制和灾难恢复的数据。重复数据删除主要是基于文件、块甚至是位进行操作的。相对而言，文件的重复删除较易于理解如果两个文件完全相同，其中的一个文件备份将被保存，而随后与之重复的文件将获取指向保存文件的指针。不过，文件重复删除并不最有效，因为哪怕文件只更改了一个字节，也会被作为另外一个不同的文件全部保存下来。基于块和位的重复删除通名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 44 页 - - -

35、 - - - - - - TT 存储技术专题之重复数据删除技术第 14 页 共 32 页过对文件进行比较，只保存每一块的单一重复部份。如果文件更新，那么只有更改的数据才会被保存。这样，基于块和位的重复删除可以发挥更为有效的作用。GlassHouse Technologies公司主管数据保护的副总裁W. Curtis Preston说，“在典型的存储环境中，它(块重复删除 )所节省的存储空间带来了巨大的差异”。其他的分析家指出重复删除技术的压缩比能够达到 10:1 到 50:1。不过，基于块和位的重复删除增加消耗，并且需要建立一个更大的索引库去追踪独立的块。重复数据删除平台必须解决“散列冲突”(

36、hash collisions)的问题。每一个数据块通过散列算法 (例如 MD5 或者 SHA-1)，为每一个数据产生一个特定的散列值。然后，将这个散列值与现有的散列值索引进行比较。如果它已经存在于索引中，那么这个数据就是重复的，不需要进行存储。否则，这个新的散列值将被添加到索引中，这个新的数据也因此被存储。一般而言，散列算法很少会将两个不同的数据块产生出相同的值。当这样的“散列冲突”发生时，系统就不会存储新的数据，因为系统看到同一个散列值已经存在。这被称为“ false positive”（错误的确定），会导致数据丢失。一些厂商结合不同的散列算法，以降低散列冲突的可能性。另一些厂商还会检查元

37、数据来确认数据，避免散列冲突。实施重复数据删除一般情况下，重复数据删除过程是在实际存储系统的硬件中实施的，不过也可以在备份软件中应用。基于硬件的实施往往更容易部署，主要是针对设备或存储系统的磁盘层面缩减存储空间。基于软件的实施也可以缩减数据，但这种缩减是在备份服务器上完成的。这使备份服务器和备份系统之间的带宽最小化，如果是远程的备份系统，效果其佳。Enterprise Strategy Group的分析师 Lauren Whitehouse说：“当重复数据删除工作在数据源时-使得更少的数据在广域网、局域网和SAN 之间传输，这可以使用户得到端对端的便利”。然而，在一个新的备份应用中部署重复数据

38、删除会使系统受到更多的干扰，因为除了要安装新的备份引擎外，还要在必须备份的系统中安装一个轻型的代理。如何部署重复数据删除还没有一个普遍的方法，由于环境和选择的产品不同，你得到的结果也不同。必须注意的是，只有在涉及到长期保留，通常用于备份和归档工作时，重复数据删除技术才有作用。短期的保留是毫无意义的，因为几乎没有重复的信息可以被删除。Preston警告说重复数据删除厂商不应误导用户，他建议应该着重于产品的性能、容量名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 44 页

39、- - - - - - - - - TT 存储技术专题之重复数据删除技术第 15 页 共 32 页和成本等关键性问题上。根据你特定的环境，可以找出潜在的性能和压缩问题。他说：“比如说如果你正在备份地震资料或者医学影像资料-这些数据可能很少存有重复。”通过不同的备份和恢复方式，对重复数据删除平台进行相应的测试，就可以知道在现实环境中重复数据删除是否有效。可扩展性是另一个令人关注的问题，特别随着重复数据删除不断增长性能方面的扩展。随着之前的散列索引库逐渐变大，查询每一个块需要更多的时间时，性能的扩展可能成为一个问题，不过Preston称之为 FUD(弄糟数据 )市场手段。他说，“我所注意到的所有厂

40、商，目前或多或少都正在解决或将解决这个扩展性问题。”不过，他仍然建议客户自己必须就这一问题与重复数据删除技术的销售商商讨，看看是否能解决关注的扩展性问题。从管理的角度来看，重复数据删除应该不会造成明显的额外支出。“管理应该和一个标准的 VTL 虚拟磁盘库 旗鼓相当”。但如果需要安装多个重复数据删除设备，可能管理方面的支出会相应增加。重复数据删除的影响阿巴拉契亚和沿海地区的南卡罗来纳州的美丽景点吸引了旅游业和本地商业的发展。广告、通信和宣传册已经新兴为主管公园、娱乐和旅游部门的重要资产。该部门由一家代理公司负责促进旅游业的发展并维护一个贯通全州的、全面的公园系统。该公司原来使用EMC 的 SAN

41、（存储区域网络），总容量为4TB，其中的 1.2TB 的容量用于数据库和文件的实际工作数据集， 2TB 在采用 DLT 技术之前用于磁盘的备份。像许多IT 公司或其他机构一样，该公司寻求多种方法想减轻其日益增加的存储介质和其他数据的要求。在比较若干重复数据删除厂商后，该公司最终选择了Data Domain公司的 430 产品担任磁盘备份的任务。 430 产品将原来 SAN 网络中放置一旁的2TB 取而代之为 2TB 的板载存储。这种基于位的重复数据删除节省出了巨大的存储空间。该公司的系统管理员兼安全员 Bernie Robichau说：“经过压缩和重复删除之后，我们大约只使用了900MB 的磁

42、盘空间。”节省的空间大大节约了成本，而且也延长了备份在磁盘上的保留时间。“以前，如果有人需要一个两周前的文件，我们很难从基于磁盘的备份中提供该文件，因为，我们无名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 16 页 共 32 页法在分配容量为 2TB 的硬驱动器 (SAN)上保存两组备份。” Robichau说，“但现在，如果有人需要三周前或六周前的某个文件，即刻可取”。Robich

43、au说，相对而言，重复数据删除平台的安装快捷和简易，仅需要四小时左右的时间就可以完成现场安装和基本的调试工作。公司目前使用的CommVault System公司的备份基础架构证明完全兼容-备份代理仅仅指向新的设备，而不是指向EMC SAN 网络。他说，“备份工作和以前没有两样，但和以前相比，我们占用的磁盘空间更少，备份保留时间更长。” Robichau指出，虽说重复删除设备几乎可以不需要管理时间，但至少可以减少高达 75%的磁带管理工作量，比如磁带的更换、清洗和存储。现在仅剩的磁带维护工作就是：在周末进行全面备份并系统地将磁带保存到指定的地点。目前还没有升级430 产品存储设备的迫切计划，主要

44、精力更多地集中在灾难恢复上。先前考虑的灾难恢复计划由于其复杂性被暂时搁置。但是，430产品很容易实现复制，所以，Robichau希望在下个财年或以后，将430 产品复制到另一个完全一样的设备，彻底淘汰备份磁带。“除了相同设备现场同步处理，并安放在远程地点之外，我们暂时还没有其他计划。”总部设在丹佛的主机提供商的Data393 有限责任公司正被庞大的客户数据所淹没。它面临的挑战是：在保障数据保护业务的正常运行同时，必须保障其他服务的正常工作，例如主服务器的维护，防火墙的维护以及载荷的平衡。但是，它的备份环境面临的挑战更为严峻：平均每个月要生成20,000个备份，每个客户的保护数据从20G到 10

45、0G不等。即使拥有 4.5TB 的保护存储空间， Data393公司也只能维持大约两周的保存期。事情更棘手的是，公司的 StorageTek L700和 L11000磁带库交由外包商管理，这需要在Data393公司额外配备一名全职工程师。但是，真正迫使Data393公司采取行动的是不断持续的恢复问题。高级系统工程师Steve Merkel说，“我们的备份成功率最低达到70%左右但是，经常出现的问题是，我们无法在客户想要的当天提供备份。”磁带备份过程的不良性能也困扰着组织，备份窗口占用时间往往超过18个小时。这些问题最终只能转化到增加客户的支持成本上来。显而易见，对于 Merkel 来说，磁盘存

46、储是达到可靠性和提升性能的关键，而重复数据删除是节省存储空间以便能充分满足客户备份需要的重要手段。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 17 页 共 32 页Data393公司选择了 Avamar Technologies公司提供的 Axion 软件，运行在由11台Dell 2850s组成的工作组上，一共可以提供大约10TB 的存储空间。实际的部署要求系统升级，但 Merke

47、l 说，在完成近 400台服务器上的代理安装和所需的数据迁移之后的短短数日内，该系统就上线并投入运行。这个向重复数据删除的转变带来了许多显著的效益。最为重要的是满足了节省磁盘空间的要求。例如，在没有重复删除的情况下，无论是完全还是增量备份，需要消耗350GB 的空间保护客户 100G的信息。在重复数据删除的帮助下，实际所需的存储容量要小于保护客户数据的容量。“我们使用7TB 左右的空间就可以保护客户大约 8TB 左右的数据，” Merkel 说，“而且 在每日完整备份的前提下可以包括从两周到一年之内的任意时间段的保存期。”备份时间也缩短了，在有的情况下，以前需要占用 18个小时的备份窗口可以减

48、少到一个半小时之内，同时还可以将备份和恢复的成功率提高至 98%或更高。以前两名全职工程师的需要量降低75%，只需要一名全职工程师的一半。如今，通过重复数据删除，4.5TB 的保护数据已经扩展到7.6TB 左右。其中保护数据中的约 2TB 复制到位于圣路易斯的容灾点一个较小的Avamar 系统。 Data393公司继续使用磁带作为长期的存档备份。Merkel 预计，保护数据的量在可见的将来会翻番，但随之增长的存储需求却会减少。重复数据删除技术的未来在短期内，业界的专家认为重复数据删除技术在灾难恢复中将扮演重要角色。通过复制重复删除平台的数据到另一个远程站点来节省磁盘的存储空间。这减轻了来来回回

49、移动磁带的需要，尤其是在复制兆兆级的数据时，这一点就显得更有意义了。其他的分析师指出，在像VTL 的“点产品”解决的是备份窗口所面临的问题，而重复数据删除则是解决存储容量的问题。“下一代的备份方案将对二者进行改进，” Lauren Whitehouse说，“既能够删除来源于备份目标的数据，又能够提高通过LAN/WAN 到中央磁盘仓库的数据传输效率。”现在，重复数据删除技术已经广泛应用于VTL ，并将作为一主要特征出现在传统的备份产品中。（作者：Stephen J. Bigelow翻译：陈晶 来源：TT中国）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - -

50、 - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 44 页 - - - - - - - - - TT 存储技术专题之重复数据删除技术第 18 页 共 32 页重复数据删除产品一览简言之，重复数据删除就是在一个存储系统中删除重复比特信息的过程。但作为一个市场，它才刚刚起步，不同的厂商为想购买重复数据删除的客户提供了不同的产品，这也使得实现重复数据删除的方式变得多样化，而客户面临的则是困难的抉择。提供重复数据删除的厂商基本上可以分为两个阵营：In-line 和 Post-process 。In-line是指数据保存到二级存储系统前进行重复数据删除；而Post-p