数据迁移技术方案计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf

《数据迁移技术方案计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf》由会员分享，可在线阅读，更多相关《数据迁移技术方案计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 数据迁移方案 N8000到 AS13000 广东 XX信息技术有限 2015年 7 月 1.系统拓扑图 AS13000成果存储 备成果数据存储系统拓扑图NAS 网关成果存储 主万兆交换机1千兆以太网光纤线路万兆以太网光纤线路AS13000中间服务器核心交换机DPS万兆交换机2文件服务已有存储 华赛 N8000千兆以太网线路 2.需求分析 新增设备：2 台 AS13000-NAS、1 台 NAS网关和 1 套 DPS备份系统通过光纤跳线连接万兆交换机，中间服务器和华赛N8000通过 6 类网线连接万兆交换机，最低达到千兆交换的物理基础架构。其中1 台 AS13000-NAS 作为成果数据存储，

2、通过 NAS网关对外提供存储服务，另一台通过DPS备份软件实现数据备份。华赛N8000存储数据有40TB，包括各种大小文件、压缩包，需安全迁移到AS13000，实现数据的备份和共享。数据迁移是敏感性动作，必须保证迁移数据的完整性、可用性，一致性。华赛 N8000已发生硬件故障，须尽快完成数据迁移工作。赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动

3、作必须保证迁移数据的完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据迁移方案本次数据迁移的目们在本方案中建议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据3.数据迁移方案 本次数据迁移的目标是在最少存储中断服务时间内完成数据在两个存储设备之间快速有序迁移，并保证数据的完整性、可用性，一致性。我们在本方案中建议以下2 种方式实现存储设备之间的数据迁移：文件复制 通过全备份、增量备份实现数据迁移 实现方式简单，迁移成本较低 需要较长的存储中断服务

4、时间 备份软件迁移 通过建立选择备份的模式运行实现数据自动复制，实现数据迁移 支持异构平台 需要第三方备份工具支持，成本较高 3.1.文件复制 该方法是通过中间服务器的指令在2 个存储设备之间复制数据，数据迁移实现方式简单，不需要对源数据进行设置变更，不影响源数据的正常运行；但该方式迁移数据需要较长的迁移周期，同时需要安排一定的存储中断服务时间，以保证数据的完整迁移。该方法不适用于增量数据迁移，增量数据需另配存储或在存储中临时划LUN替用，迁移完原数据后再迁移增量数据。3.2.备份软件迁移 该方法通过安装的备份软件实现2 个存储设备之间数据备份，向导指引你进行文件的备份与恢复，支持任务排程，进

5、行备份时可以根据文件类型有选择的进行备份，备份文件可以压缩为ZIP 文件进行存放，以节省空间，并且可以通过压缩密码保护您的文件。整个迁移过程都是可控的，原有存储环境保留，避免了迁移过程中的数据损失，保证了系统的平稳过渡。赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动作必须保证迁移数据的完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据

6、迁移方案本次数据迁移的目们在本方案中建议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据该方法适用于增量数据迁移，满足存储系统不间断运行。需另行采购备份软件实施，提高实施成本。3.3.方案对比 通过以上 2 种方案综合比对，建议采购文件复制方式实施数据迁移。4.数据迁移实施 4.1.AS13000 部署 新购存储预计7 月 10 日到货，硬件设备上架安装1 天，存储系统规划调试3天，预计 7 月 17 日可开始实施数据迁移工作。4.2.数据迁移实施 数据迁移

7、系统搭建 数据迁移系统由华赛N8000、中间服务器、AS13000、网络设备组成。文件复制 备份软件迁移 难易程度 较为容易 需要专业软件 存储中断服务时间 较长 长 实施额外费用 无 需要购买软件授权 需要调整现有数据设置 无 无 迁移周期 较长 长 平台要求 同构平台 无要求 赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动作必须保证迁移数据的

8、完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据迁移方案本次数据迁移的目们在本方案中建议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据 数据迁移链路 由华赛 N8000、中间服务器、AS13000连接到万兆交换机，最低 1000Mbps的以太网链路互联。如不能连接到万兆交换机，需要专门的千兆交换机保证数据传输，减少影响业务网络运行。迁移速度 网络最大传输速度为 1000Mbps，最大的数据传输速度为 100 Mbps，按大小文件传输平均速率大

9、概为 60Mbps。一天数据传输量文件传输速率*3600*24 60*3600*24=5184000=5TB 实施时间 数据迁移包括 4 个阶段：测试、预演、正式迁移、检验，主要耗费时间为正式迁移时间，目前 N8000需传输的数据量为 40TB，传输时间40TB/5TB8 天 整个迁移完成时间预计 10 天左右。4.3.数据校验 为了保证数据迁移后的一致性，需进行迁移前后数据的验证，可采取以下3 个方法核验。业务验证方式 业务验证方式是数据迁移验证的核心，由于迁移流程中从小到大、从易到难会经历测试、预演和正式迁移三个实施阶段，而这三个阶段分别需要业务的验证。由于成果数据的数量太多，业务验证时间

10、和参与验证的数据各有不同，业务验证不可能面面俱到，不可能涵盖每一笔数据，因此需要根据每个阶段的测试目的，根据数据的重要性，在不同的实施阶段，选择不同的数据和数量，制定每个阶段可行的业务验证。在测试阶段，业务验证主要是验证数据迁移后应用能否正常使用，因此该阶段验证侧重的是业务的可用性和正确性。预演阶段是正式迁移的预先演习。由于内部测试已经测试了较为完整的迁移流程，预演的目的主要是验证实际数据迁移的可靠性，另外预演还能起到对数据迁移链路一个压力测试作用。在正式迁移阶段，所有的验证数据均为真实的操作，之前两个阶段的验证赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储

11、系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动作必须保证迁移数据的完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据迁移方案本次数据迁移的目们在本方案中建议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据只在数据迁移有效性。迁移完成后的数据，此时的验证要尽可能的详细，必须包含所有

12、核心业务，能测的都需要尽可能得测到。外围系统验证 如果存在外围系统，并且这些外围系统有些是需要与核心系统的应用和数据打交道，有些是不需要通过业务交易直接在数据层面或者其他层面与核心系统进行交互，基于此，可以对所有外围系统进行分析，将新旧数据迁移后是否正常的系统进行筛选，列出各外围系统与核心系统的关联性，并提供可行的外围系统验证方法，从而提高数据迁移验证的准确性，减少业务交易验证的工作量。技术验证方案 技术验证的方法可以考虑通过在特定的时间在原有的数据中插入特定的内容，当数据迁移完成后，在新的数据中查找插入的特定内容是否存在，如果不存在，迁移肯定有问题，如果存在，则在一定程度上可以证明数据的一致

13、性。为了进一步验证迁移前后数据的一致性，还可以考虑将数据中与应用相关的、重要的数据求和进行统计，在数据迁移完成后，在新的存储中同样执行相同的统计，能得到两个数据，将前后两次所得到的数据进行对比，如果两个数都分别完全一致，则从另一个角度也能说明迁移前后新旧数据库数据的一致性。完整性和可用性验证相对比较简单，只要迁移后的新数据能正常打开，并且架构在数据之上的应用能正常启动，不会报由于数据的问题导致应用不可用，那就可以肯定迁移后的新数据是完整的、可用的。数据迁移的验证是一个非常重要的内容，通过验证可以确定新旧数据库内容是否一致，可以确定新的数据的完整性和有效性。4.4.风险回退 本次数据迁移不会改变

14、原有存储数据，只是复制方式，为零风险迁移方案，可不实施风险回退。5.实施计划 7 月 6 日 7 月 13 日7 月 16 日 7 月 17 日 7 月 27 日 7 月 28 日 赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动作必须保证迁移数据的完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据迁移方案本次数据迁移的目们在本方案中建

15、议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据方案编写 AS1300安装 迁移环境准备 环境测试 数据迁移 数据检验 赛已有存储千兆以太网线路千兆以太网光纤线路万兆以太网光纤线路成果存储主成果数据存储系统拓扑图成果存储备需求分析新增设备台台网关和套备份系统通过光纤跳线连接万兆交换机中间服务器和华赛通过类网线连接万兆交换现数据备份华赛存储数据有包括各种大小文件压缩包需安全迁移到实现数据的备份和共享数据迁移是敏感性动作必须保证迁移数据的完整性可用性一致性华赛已发生硬件故障须尽快完成数据迁移工作数据迁移方案本次数据迁移的目们在本方案中建议以下种方式实现存储设备之间的数据迁移文件复制通过全备份增量备份实现数据迁移实现方式简单迁移成本较低需要较长的存储中断服务时间备份软件迁移通过建立选择备份的模式运行实现数据自动复制实现数据