分布式数据库设计报告.pdf

《分布式数据库设计报告.pdf》由会员分享，可在线阅读，更多相关《分布式数据库设计报告.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 供学习参考 分布式数据库设计报告 供学习参考 目 录 1 案例背景.1 1.1 需求分析.1 2 分布式数据库设计.2 2.1 设计目标.2 2.1.1 总体设计目标.2 2.1.2 完成方式及周期.3 2.1.3 分布式数据库架构图.4 2.1.4 物理设计施工.5 3 总结.5 4 所用设备汇总.7 1 成品车间分布式数据库设计 1案例背景 随着成品车间信息化程度越来越高，我们的传统集中式数据库系统的缺点逐渐表达出来主要有:1、所有数据处理、存储集中在一台计算机上完成，一旦机器损坏或系统崩溃数据数据很难恢复。2、单台机器写入/查询处理能力缺乏，一台机器既要读取数据，又要写入数据，遇到大批

2、量超过单台数据库的处理能力，就会出现卡顿，在生产时间不敢批量制造/查询数据。3、硬件性能瓶颈，包括(硬盘、CPU、内存)，使用升级硬件的方法效果有限。4、出现故障没有备用效劳器可以替代。5、当前成品车间存在 2 种数据库，oracle，sql sever，交叉使用不方便管理维护，出现问题排查困难。6、由于数据库初期创立数据库/表比较混乱，现在对数据的统计管理需要在两台效劳器之间交叉进行，统计难度高，效率低。1.1需求分析 成品车间信息化程度越来越高，各个节点产生的数据量越来越大，对数据系统要求越来越高，我们所使用的传统集中式数据库已经无法沉着应对越来越大的数据。成品车间生产线数据库主要有ora

3、cle 和 sql server两种，分别分布在 2台计算机中，柔性线、自动线、三相线交叉使用两种类型数据库，主要出现的问题有;1、一旦其中一个数据库出现问题，那么就有很大的几率导致三条线体的某个节点或全部节点失去数据效劳，导致停线。2、数据库出现故障，必须停线，故障修复之后才可以上线使用。2 3、数据库处理能力有限，一旦进行数据统计，或者批量导出、写入数据，数据库响应时间就会延长，严重时会影响到生产线的运行，带来停线的风险。4、硬件可拓展能力差，单台效劳器使用升级硬件的方式来提高整个数据库系统性能效果有限，花费高。这就要求数据库必须变得稳定、快速、灵活，应具备分布式管理数据的能力，节点扩容添

4、加灵活，容灾容错能力，数据平安增加备份效劳器，主备数据同步无缝切换主备效劳，读写别离功能，数据分片功能,每个节点都是一个独立的数据库，每个独立数据库上都有属于自己的局部业务应用，同时也能够支持全局的业务应用，数据由两台主机互相备份，一台异常宕机后出错另一台无缝提供数据效劳，异常处理后可以即时并入系统，不用重启效劳。2 分布式数据库设计 分布式数据库系统是数据库系统与计算机网络相结合的产物，分布式计算是和集中式计算相对立的概念，分布式计算的数据可以分布在很大区域，它具备三方面的特点：一是物理分散性，即数据分散存储在各个不同的场地上；二是逻辑整体性，即分散的数据库在逻辑上是一个整体，在逻辑上就好似

5、是一个集中的数据库系统；三是场地自治性，即各个场地上的数据由本地的DBMS(数据库管理系统)管理，具有高度自治的处理能力，能够独立完本钱站点的局部业务应用。2.1 设计目标 2.1.1 总体设计目标 根据分布式数据库设计的总体要求，结合实际现场生产案例的具体业务需求，该案例的总体设计目标如下：1平安性：包括保证网络平安、数据库平安,建立严格的权限管理机制，后端数据库网络独立。2 配置方便：整个数据库配置后要实现热加载，不能重启整个系统效劳。3可扩充性：该分布式数据库的设计必须保证一定的可扩充性，以满足业务开展的需求，当系统需要扩容时，必须保证系统能够方便的将其参加，而并不需要修改源程序，以保证

6、前端使用方式不变。3 4可靠性：1、改善系统的可靠性和可用性是分布式数据库的主要目标将数据分布于多个场地，并增加适当的冗余度可以提供更好的可靠性一些可靠性要求较高的系统，这一点尤其重要因为一个节点出了故障不会引起整个系统崩溃因为故障场地的用户可以通过其它场地进入系统而其它场地的用户可以由系统自动选择存取路径，避开故障场地，利用其它数据副本执行操作，不影响业务的正常运行，针对系统运行时可能遇到的各种软硬件故障，2、分布式数据库应提供系统恢复机制和数据单节点定时备份功能，使故障发生时遭受的损失最小。3、当网络出现故障时，仍然允许对局部数据库的操作，而且一个位置的故障不影响其他位置的处理工作，只有当

7、访问出现故障位置的数据时，在某种程度上才受影响。5 数据一致性:分布式数据库在处理多节点数据时要保证主备数据的一致性、完整性。2.1.2 完成方式及周期 系统设计目标分 4 期:1、一期目标:完成部署 4 台存储效劳器、1 台数据路由器、调试(进行稳定性测试，压力测试，主从切换测试)、完成定时备份功能，上线提供效劳。2、二期目标:规划柔性线数据库表结构，创立相应的存储规那么，完成柔性线数据转移，替换柔性线应用软件使用的 Sql Server 数据库。3、三期目标:1、标准化 SQL 语句的使用，以数据库运行效率。2、为保证前端的高可用，增加数据路由效劳器至2 台，替换掉现有一台测试用路由效劳器

8、。(可以是当前办公电脑联想小机箱)。3、参加数据路由效劳器负载均衡效劳，保证数据路由可靠性。4、将 4 台数据效劳器内存升级为64 或 128GB，数据在内存中执行效率是最高的。5、使用独立交换机提供数据交换。4 6、重新梳理柔性线数据存储表结构。7、规划三相数据表存储结构与规那么，完成三相线数据转移，替换三相线应用软件使用的 Sql Server 数据库。4、四期目标:与三辉合作，通过升级软件的方式将数据存储至分布式数据库中，替代现有 oracle 数据库，实现为整个自动线提供数据效劳，最终建成可靠稳定高效的成品车间大数据系统。2.1.3 分布式数据库架构图 总控服务器WEB服务器DataN

9、ode2ORACLE备份服务器DataNode1DataNode4ORACLE服务器DataNode3内网:192.168.4.1外网:10.0.35.206内网:192.168.4.10外网:10.0.35.203内网:192.168.4.12外网:10.0.35.206内网:192.168.4.13外网:10.0.35.202内网:192.168.4.11内网:192.168.0.249主备同步主备同步数据读写心跳检测数据分发服务器Mycat数据分发服务器Mycat 5 2.1.4 物理设计施工 数据库性能的好坏很大程度上取决于数据库的物理设计，而不仅仅是关系模式设计的好坏和SQL 语句写

10、的好坏。通常关系数据库物理设计的内容包括：为关系模式选取存取方法，设计关系和索引等数据库文件的物理存储结构。首先将 5 台效劳器网络配置为192.168.4.%)，并安装配置java 环境，在4 台效劳器中分别安装mysql 数据库，并配置2 个用户，backup(用于主备数据同步)，mycat(用于数据路由)，使用 backup账户配置主从同步，在 pc 主机中安装 mycat 数据路由工具，配置相关连接属性与数据分片规那么，使 mycat 账户可以成功接管4 台 mysql 效劳。3 总结 大数据时代，面对海量测试数据量和成品车间不断增加的节点对数据库的需求，分布式数据库具有如下特征，足以

11、沉着应对不断增加的节点与数据。高可扩展性：分布式数据库必须具有高可扩展性，能够动态地增添存储节点以实现存储容量的线性扩展。高并发性：分布式数据库必须及时响应大规模用户的读/写请求，能对海量数据进行随机读/写。高可用性：分布式数据库必须提供容错机制，能够实现对数据的冗余备份，保证数据和效劳的高度可靠性。设计理念 从需求分析开始，分别进行概念设计，框架设计，容灾容错设计，物理设计物理设计等一系列设计过程。该设计过程是系统从无到有的设计与实现过程，是比较适合当前生产模式的分布式数据库设计。该分布式数据库设计过程基于分布式应用需求，符合分布透明性原那么，满足整个数据库系统在物理上分散而逻辑上统一的设计

12、要求，根本能够实现用户的功能需求，改善整体工作效率，解决原来集中式处理的传输瓶颈问题，有效的利 6 用了局部数据来处理资源，使整个数据库系统实现负载均衡。当前分布式数据库优点:处理能力:当前效劳器设计处理能力是 oracle 数据库 2 倍 容灾容错:采用主备同步方式，单节点定时备份，主机崩溃后，自动切换可用效劳,整个数据库后端单节点故障不会影响到整个数据库对外效劳。硬件拓展:分布式数据库优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加.开发方式:分布式数据库提供一个统一的前端连接接口，与其他数据库使用方式根本相同。当前分布式数据库缺点 通信开销较大，例如，在网络通信传输速

13、度不高时，系统的响应速度慢，与通信相关的因素往往导致系统某个节点。2数据的存取结构复杂。一般来说，在分布时数据库中存取数据，比在集中时数据库中存取数据更复杂，开销更大。7 4 所用设备汇总 所用设备汇总 设备名称 设备功能 数量 配置 自动线效劳器 实现数据存储、查询与备份 4 16 核处理器/12GB内存/2TB 硬盘容量/百兆网卡 联想台式 PC 实现数据分发路由 1 双核处理器/4GB 内存/百兆网卡 交换机 现有自动线交换机 2 千兆以太网交换机 5 所使用软件 所使用软件 设备名称 设备功能 数量 配置 自动线效劳器 实现数据存储、查询与备份 4 16 核处理器/12GB内存/2TB 硬盘容量/百兆网卡 联想台式 PC 实现数据分发路由 1 双核处理器/4GB 内存/百兆网卡 交换机 现有自动线交换机 2 千兆以太网交换机