2022年重复数据删除对数据归档的影响 .pdf

重复数据删除对数据归档的影响刘季哈尔滨理工大学测控技术与通信工程学院，哈尔滨（150040）E-mail ：摘要： 重复数据删除是一种非常高级的数据缩减方式，可以极大的减少归档数据的数量。这种技术通过减少存储的数据量，改变数据保护方式， 卓越的提升了磁盘归档方式的经济性。重复数据删除被业界公认为归档技术的下一代发展步骤，是今日数据中心的“必备”技术。关键词： 重复数据删除存储冗余数据1.引言今日， IT 经理及管理员们不仅要面对日益爆炸的数据增长难题，还要担负由此引发的不断上升的归档及容灾所需的主存储的成本压力。然而， 每完成一次全归档，都会归档大量与之前的全归档相同的文件和数据，相同数据的多个归档，占据了大量昂贵的磁盘空间。随着时间的推移，一次归档中的重复数据会充斥于所有服务器、所有归档工作( 全归档及增量归档 ) 。重复数据 删除是 一种非常高级 的数据 缩减方式 ，可以极 大的减少 归档数据的数量。 这种技术通过减少 存储的数据量， 改变 数据 保护方式 ，卓越 的提升了磁盘归档 方式 的经济性 。重复数据 删除被业界公认为归档 技术 的下一代发展步骤 ，是今日数据中 心的“必备”技术 。重复数据 删除应运 而生重复数据 删除是 一项非常新 的 技术 ，专门用 于在减少 需要归档的数据量、最大化存储 利用率 的同时， 使更 多的归档数据 在线保留更 长时间。 通常来讲 ，重复数据 删除技术 会将最新的归档数据与 已有的之前的归档数据进行比 对，从而消除冗余 数据。这项技术 的优势在 于数据的 减少 不仅 使存储的 效率更高 、成本 更节约 ，带宽的利用也降到最低，使更 经济、更快速的实现 归档数据的 远程 复制成为可能 。然而，目前市场 中的重复数据 删除 解决方案还有很大差异 ， 有 些解决 方案会 使归档 处理的 速 度变的很慢 ，甚至引发 无法预计且 不可恢复的数据 丢失。2.重复数据删除的发展方向2.1 块级重复数据删除多年以前的重复数据 删除技术 ， 可以 看作是 文件级的技术，当时称之为“单一实例存储(Single Instance Store ，SIS) ”，通过 SIS 技术 ，整个文件 系统或电子邮件系统 的重复文件可以被减少为 单 一的 拷贝 ，当再出 现这 一文件时， 会被指向到这 一单一拷贝 ，从而减少 容量需 求。这一技术通常被用 于电子邮 件管理及归档 系统 。今天的重复数据 删除技术利用 了与 SIS 类似 的数据 缩减概念 ， 但却使之向前迈进了一大步 实现 了块级 (子文件 ) 重复数据 删除 。当读取 数据时， 系统 利用 Hash 算法识别唯 一的数据 块， 系统 将保留 Hash索引，每个 Hash编码指向 一个不同的数据块。当新的归档发 生时，会自动 的与 现有的 块进行比 对，如果索 引中 已经有相同的 块，数据将会被删除 或被指向块 的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 6 页 - - - - - - - - - 指针 所代替; 反之，则会被保 存 并在索引中 为其创建 一个 新的 Hash编码 。这里提到 的唯一数据块 的大 小， 会根据用户选择 的不同的重复数据删除 解决 方案而不同，平均 大小 在 4KB-24KB之间。与文件 级 SIS 技术 相比，块级的重复数据 删除技术可以说更具优势 。它可以在 不同的文件或 应用 中消除冗余 数据 块。比如，如果 一个文件 只做 了 想当小 的一 点修 改并保存，块级 重复数据 删除技术 则 将只保存发 生变化 的数据 块。按这种方式 ，块级重复数据 删除可以提 供 更好的压 缩比率 ，特别 是应用 于巨大数据量的 情况 下，如数据 库或全归档之 后。下面的 例子 进一步 说明了 SIS 和块 级两种重复数据 删除技术 的结果比较。一个 企业向 1000 个邮件地址 发出一封 带有注册内 容的 活动邀请函 ， 传统的归档 应用将会把 文件归档1000 次。 SIS 解决 方案可以 识别出 文件 是相同的， 将只会保留 一份归档，然后生 成 999 个指针指向 那个唯一的归档，因 此，大概节省了 99.9%的空间。但是， 之后这 1000个参 会人可能 会将 注册内 容填好后回 复给发件 人，由于 他们的 名字 不同， SIS 解决 方案就 会归档 1000 份回执 。块级解决 方案 在发出邀请函 的时 候执 行了相同的重复数据删除 处理，也实现 了 99.9%的存储空间 节省。但 是，当收到 1000 份参 会 人的回执 时， 块级解决 方案会发 现每个 回执 的大部分内 容与 第一封收 到的是相同的 并已经归档 过，因此，它只 会对 其它 999 封回执 的相 异 数据块( 块级) 进行 归档。 这种方 法与 SIS 技术 相比，则还可以节 省额外 的 99.9%的存储空间。2.2 绿色存储与重复数据删除由于 块级重复数据 删除技术 只 保存发 生变化 的数据， 极大的 减少 了所需的归档容量，使用户 不用再像从前一 样购置 大量磁盘， 从而将用 户归档 系统 的总成本 降到最低 。更少 的磁盘致使 存储 系统 更少 ，电力及 制冷需 求更小，同时还 降低 了整体系统 的复 杂性。与传 统的磁 带归档 解决 方案相比，重复数据 删除技术 完全 改变 了磁盘归档的经济性 。通过这一技术 ，更多的 用户可以 负担 得起 用磁盘归档 取代整个 或是部分 磁带归档的 解决 方案。磁盘归档相对于磁 带归档 来说，提供了更好 的归档及 恢复 性能 。通过利用 磁盘归档的 方式 ，用 户可以进 一步改 善他 们的服务 品质协议 (Service-Level Agreements，SLAs)。当通过 数据复 制实现 灾备时，重复数据 删除技术也可以带来卓越利益。由于 减少 了归档数据量， 重复数据 删除技术将 主站点与 远程 数据中 心 之间的 带宽 需求 、数据 传输 成本、复 制时间都 降到最低 。企业利用 相对经 济的 WAN 网络即 可在 任意地 理空间 范围内执 行复制，实现了额外 的成本 节约 。理论上讲，重复数据 删除技术可以用于任意地 点存 在的数据。 它可以 与在线 或是离线 的数据一 起工作 ，可以在 文件 系统或 是 数据 库，也可以在 其它 应用 。总的来说，哪里有大量的重复数据， 它就能在 哪呈 现出最大的 利 益回报 。而最好的 应用 示例是在 企 业级 归档。 企业 大都是 每天做 一次全归档， 两日的全归档中通常 只有 很小 部分 - 不会 超过 5%- 的数据 是 不同的，大 部分 归档 扇区 都是相似的。据存储 工业 协 会调查 ， 80%的归档 系统 中的数据需要保存 50 年以 上，同一个文件存在很多历史版 本， 某个版 本和 已归档的所有 版本之间一 般 只有 1%的数据不同。这种 情况 下，重复 删除为 归档 系统 带来 了最佳的利益回报 。2.3 集群式重复数据删除从性能 的角度看 ，只能提 供单 台重复数据 删除 服务器 / 设备的解决 方案根 本无法 满足 每天需要归档成 百 TB数据 或 每天需要多次归档的大型企 业的需 求。据相 关组织 预测，EB级 的归档 系统 不会 离我 们太远了。在这种 情况 下，重复数据 删除 反而会 造成瓶颈 。一些企业考虑名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 6 页 - - - - - - - - - 用两台 或多台设 备 完成 这一工作 ， 但由于每 台设 备都保留 了它自 己 的 Hash 索引， 设备根 本不能 鉴别出 重复的数据 是否已经由 另一台设 备归档。这种方 法不仅会 影响 到重复数据 删除 的比率 ，还会增 加维 护的工作 量。单台重复数据 删除 服务器 / 设备也 会成 为单点 故障 。 如果 重复数据 删除 服务器 /设备发 生故障 ，所有的归档 工作 则都将失败，更糟 的情况 是造成恢 复过程 中的 失败 。尽管单台重复数据删除 服务器 / 设备在实 际 应用过程 中出现故障 的情况 非常 罕见 ，但这对企 业来 说还是一个潜在 的、 无法 接受 的风险 。其实，针对这个难题有一 种解决 办 法，就是重复数据 删除 集群 ，即利用 双工故障切换架构。在集群 的重复数据 删除 架构 中， 2或 4 台重复数据 删除 设备被 虚拟 化为 一台，为用 户 提供了 双倍 或四倍 的 吞吐 及处理能力。如果 他们中的 任意 一台出现故障 ，另 外的设备就会自动的接 管它的工作 负 荷，以确保处理的 连续 性。由于 集群仍 然保留 的 是单个的 Hash 表，因 此它不会 影响 到重复数据 删除比率 。以行业 知名的 美国飞康软 件公 司的 SIR 技术为 例，飞康 SIR 是应用 于业界 领先 的飞康VTL解决 方案的重复数据 删除技术 。飞康 SIR 可在 一个 性能 集群 中支持 4 个节点并 可应用 于所有的 飞康 VTL节 点，从而优化 了管理 能力和 扩展能 力。这 个集群架构 通过 统一性的添加 节点， 使企业可以 扩 展到最 大容量 ( 最多 4 个节点，每个 节点 64TB，合计 256TB)和 速度( 每个节点 的重复数据 删除约为 300MB/秒，合计最大 1.2GB/ 秒) 。内置 的 N+1故障切换功 能，SIR重复数据 删除 引擎 是后处理方式 ， 在不影响 恢复或归档 窗口 的情况 下减少 了存储成本。 此外，由于 SIR 解决 方 案基于飞康 历经验证 的 IPStor ? 技术 平台 ，包括 了它的虚拟 化和供给容量功能 ，因此， 用户 可以在 任意 时间 添加 存储而不 用中断 处理。3.根据需求选择重复数据删除方式目前市场 中的重复数据删除 解决 方案提供了多 种删除 重复数据的 方式 ， 如果想 找出最 适合用 户需求的方式 ，需要 考虑 两个 关键性因素：在 哪里进行 重复数据 删除 ( 源数据 端还是目标端 ); 在归档 处理的 哪个阶段 删除 重复数据 删除 ( 在归档 过程 还是归档之 后 )。3.1 源数据端一些重复数据 删除 产品在源数据 端工作 ，这意味着它们是位于主 机或应用 服务器上的。这种方式 要求为每一 台需要 进行 归档的 机器安装 重复数据 删除 系统 。 当数据 传送到归档 软 件之前 即识别 重复数据 并删除 。这种 重复数据 删除方式 具有如下优 点 ： 数据 在网络传输 前就减少 了， 改善了传输 性能 ，节省了网络 带宽 。 从扩展性 角度讲，整体 性能 与客户端的数量 无关，因此， 在进行 扩展时不会 影响 到归档性能 。 由于 是重复数据 删除 处 理的同时 传输 数据，因此 在处理过程 中不 再需要 额外 的存储 设备。然而， 这种 处理方式也 有它的缺点 ： 必须在每一 台归档服务器上安装 重复数据 删除 系统 。在 大型企 业环境 中， 特别 是具有 分布于 各地的分支机构 的大 型企 业， 软件的 安装 和维护工作极为 复杂 重复数据 删除 处理运行 于应用 服务器上，会消耗服务器的 运算能力， 影响 到应用性能 。这对于大多数 企业来 说是不可接受 的。 有些重复数据 删除 解决 方案在设 计 之初并没有 考虑 到与用 户已经安装 的归档 软件相 集名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 6 页 - - - - - - - - - 成，因 此，用户必须为了 使用 它而更换归档 软件，这便增加 了部署解决 方 案时的 工作 量及 风险，对于 那些具 有大量归档数据的企业用 户来说，这种方 案并 不可行 。3.2 目标端目标端 的重复数据 删除 处理通常是运行 于一 台 独立 于主 机或应用 服务器之 外 的设备( 服务器 或工具) 之上。 下面是 几种典型的目标端 重复数据 删除方式 ： 具备重复数据 删除 功能 的虚拟 磁带库(VTL) 具备重复数据 删除 功能 的磁盘 设备 具备重复数据 删除 功能 的归档 软件值得 一提的是，目标端 重复数据 删除 解决 方案可以 与现 有的归档 软件相 整合，运行 于归档服务器上。 归档数据 先发 送到重复数据 删除 设备，重复数据 删除在 后端完成。 相对于 源数据 端方式 ，它的优势在 于： 企业无需 改变 其当 前的归档 系统 。 这种 架构 无需更换应用 服务器。由于 它不会 消耗应用 服务器的 运算能力， 应用性能 不会受到 任何影响 。 重复数据 删除 服务器 / 设备能 够 从不同的归档 客户端删除 所有 冗余 数据。这对于 具有大量应用 或数据 库服务器的 企业来 说， 是非常 经济高效 的解决 方案。对于 那些不想改变现 有归档 系统 ，也不 想牺牲 应用性能 的企业用 户来说，目标端 重复数据 删除无 疑是最 佳的方式 。3.3 在线处理在线 处理的重复数据 删除 ，是 指重复数据 删除 服务器 / 设备从 归档 软件 开始 传输 数据，数据还 没有写入 磁盘之前， 即执 行重复数据 删除 。它的重要 优势是 经济高效 ，可以减少 存储容量的需 求。它不需要 用于保存还 未进行 重复数据 删除 的数据 集的 临时磁盘空间。尽管 在线 处理的重复数据删除减少 了归档数据的数量，但处 理本 身会减慢归档的 速度。因 为重复数据 删除是在 写入 到磁盘之前 进行 ，重复数据 删除 处理本 身就 是一个 单点 故障 。因此，如果 企业需要 保留 他们归档数据的冗余 的时 候，是不能选择 在线 处 理的 方式 的。3.4 后处理后处理的重复数据 删除 ，也被 称为 离线的重复数据 删除 ，是指在归档 处理完成 后再执 行重复数据 删除 。归档数据 先被写入 到 临时的磁盘空间，之后再开始 重复数据 删除 ，最后，将经过 重复数据 删除 的数据 拷贝 到末 端磁盘。后处理方式 有一个 很小 的问 题在于它需要 额外 的磁盘空间 来保 存全 部 还未删除 重复数据的数据 集。但是 ，低成本的 SATA磁盘 可以用作这 部分 ，因此，对于大多数企业来 说， 这根本 算不上 什么问 题。 后处理的重复数据 删除方式带 了诸多优势 ： 由于重复数据删除是 归档完成 后在单独的存储 设备上执 行，因此完全不会对归档处理 造成影响 。管理员 可以 随 意制定重复数据 删除 的进程 ，无论 是怎样的频率都 可以 ，性能更 加 可靠、 可控。 先将归档数据 保留在 磁盘上 进行 重复数据 删除 ，企业在 需要时 则可以更 加快速 的恢复 最近归档的文件和数据。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 6 页 - - - - - - - - - 某种 角度上讲，在线 处 理方式也 许更适 用于小型企 业的需 求，而后处理方式 对于中 型及大 型企业来 说，是更 佳 的解决 方案。4.选择重复数据删除的方法4.1 能够与当前环境相整合一个 高效 的重复数据 删除 解决 方案应该对当前 IT 环境 的影响 / 中断 越小越好。 许多企 业都选择 利用 VTL归档 来避免 影响 / 中断， 以在 不改变 企业当 前归档 策略 、处 理或软件的 情况下提 升归档 质量。 因此， 基于 VTL的重复数据 删除技术在 部署时对 环境影响 也应 该 是最 小的。它将更 多的 注意 力 集中在了归档 这 个巨大的重复数据存储池上。基于 VTL的 t 重复数据 删除 解决 方案通常 要求使用专用 设备， 但这并 不影响 部署的灵 活性。一个充 分灵活的重复数据 删除 解决 方案应该即可以以 软件包形式提 供给用户，也可以提供给 用户整 体的解决 方案(Turnkey Appliance)，从而最大 限度的使用 户的 现有资源得以利用。4.2 具备可扩展能力由于重复数据删除 解决 方案是用 于长 期的数据储存的， 在容量和 性能方 面的 可扩展能 力也是非常 重要的 考虑 因素，而且至 少要 考虑 未来五年甚至 更长时间的增长计划。那么，在保证快速 访问 的前 提下 ，你希望 有多 少数据 保存在磁带上?你需要 怎样的数据 索引系统 呢? 优秀 的重复数据 删除 解决 方案提供 的架构 ，无论是在 初 始部署时，还是面对 未来系统 的长 期增长， 都应该能保 证最优化 (Right-sizing)、最经济的架构 规模 。集群 可以 帮助 用户满足 不断增长的容量需求- 即使是 N多 Petabyte数据增长的 环境 - 而且不会 降低 重复数据 删除的效率 或系统 的性能 。这个架构 还 为存储 库保护 的部分 提供了故障切换 (Failover)功能。4.3 支持分布式应用重复数据 删除技术 ，不只是能为 单 个数据中 心带来利 益，对于 具有多个 分支机构 或多个站点 的大 型企 业来 说，它可以 让整个企 业的分布式应用 受益无穷。一个 包 含复制和多 级重复数据 删除 的解决 方 案可以将这 一技术 的优势 发挥到极 致。举例来说，一个 企 业由 1 个总部 和 3 个区域代表机构构 成，可以在 区 域代表机构 部署 一台具 备重复数据 删除 功能的容灾 设 备，使本地存储及 向 远程 中央站点的复 制更为高效 。这种解决 方案使数据复 制到 中央站点的 带宽 需求降到最低 ， 它只 不过是用来 确 定远程 的数据 是 否已经 包括 在中央的存储 库中。所有 站点 中，只有唯一的数据会 被复制到 中 央站点或 是容灾 站点， 否则所需的 带宽 就会增大。4.4 能够对存储库提供实时保护保证对删除 重复数据的存储库 的访问 是非常 关键的， 因此它不 能允许 有单点 故障 发生。一个 优秀的重复数据 删除 解决 方 案应该包括 可以在 本地存储 故障 发生时提 供保护 的镜像 功名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 6 页 - - - - - - - - - 能，同时 也应 该具备复 制功能以在 灾难发 生时从提 供保护 。这种 解决 方案 还应该在出现节 点故障 时具备故障切换 能力，即使是 一个 集群 中的多个 节 点出 现故障 ，企业也必 须能够及时 恢复数据同时还要保 证业务持续 运营 。4.5 满足绿色环保的要求近期 的 Gartner 报告显 示 ，2008 年，将有 50% 的数据中 心出现电力及 制冷不足以运行他们 高密度的设备 的情况 。IDC 的研究 报告也显示，IT 部门 正在将 硬件 1/4 的成本 花在电 力上。 而 MAID这项 创新 的存储 技术 ，可以利用 大型的磁盘 驱动器组，而这 些磁盘 驱动器只 在任意设 定的时间 才 工作 。这便减少 了电力消耗。当 关掉一些磁盘 驱 动器时， MAID 可以提 供卓越 的电力节约能 力，可以为 企业的 电力成本 节省高达 1/3 。目前市场 中的有 些解决 方案 充分结 合了 MAID技术 ，帮助 数据中 心减少 至 少 20-30%的 电力成本。找到最 适合 的整体 解决 方案由于 业务应用 需要和 法律法规 的要 求，存储的数据量还在不断的增 加，重复数据 删除也快速 上升 到至关重要的 地位。在大幅消除 数据量、 削减存储需 求、最小化 数据 保护 成本和 风险方 面，重复数据删除可 说是唯一的 应对办法。尽管重复数据 删除技术 所带来 的利益多多，企业还是应 该抵御住 不时 出现的针对这一 技术的大 肆抄 作。无论是 哪种方式 ，重复数据 删除 的删除比率 都可以 根据数据 自身的格式和 保护策略 的不同而发 生变化 。为了使重复数据 删除技术 的利 益最大化，企业应 该 从上面 提到 的几个标准出发，充分 考虑，仔细评估 ，找到真正 适合 自己的重复数据 删除 解决 方 案，而不 应该简 单的听信 于宣传 的重复数据 删除比率 的理 论数值。5.总结重复数据 删除技术为 企业信息 架构 进行 融合提供了强大的 技术 支持 ， 它最大的 好处 是可以帮助 数据中 心进行“ 瘦身”，尤其是 基于内容识别 的重复 删除技术 ，大大 减少 存储空间的浪费 。作为 一种绿色 环保的存储 技术 ，重复数据 删除技术在 未来将 大有 可为 。正因如此，重复数据 删除技术被业界公认为是归档 技术 的下一代发展，是今日数据中 心的“必备”技术 。参考文献1 王纪奎 ，王泓 ，张乐等 . 成就存储 专家之路存储 从入门到 精通M. 北京 ： 清华 大学出版社，20096 2 戴士剑 ，涂彦晖 . 数据 恢复 技术M. 北京 ：电子 工业 出版社 20074 3 张冬 . 网络 存储 系统 原理精 解与最佳实践M. 北京 ：清华 大学出版社 200811 4 吴志峰 . 虚拟环境 下数据保护 的首选J. 中国计算 机报，2009，5(36)：1617 5 王改性 ，师鸣若 数据存储归档与灾难恢复M 北京 ：电子 工业 出版社，20096 6 W.Curtis Preston ，Mike Loukides. Backup&RecoveryM. OReilly Mesia, Inc.，200612名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 6 页 - - - - - - - - -