云计算集群服务器系统监控方法的研究.pdf

《云计算集群服务器系统监控方法的研究.pdf》由会员分享，可在线阅读，更多相关《云计算集群服务器系统监控方法的研究.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云计算集群服务器系统监控方法的研究 董波，沈青，肖德宝 ，（华中师范大学计算机科学系，湖北 武汉 ）（，）摘要：随着云计算技术越来越多地应用到信息产业的各个领域，云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成，其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统，保证其高性能运行，必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是，传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究，从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨，构建了一

2、个保证云计算集群系统高性能运营的云系统方案。：，关键词：云计算；集群监控系统；资源调度 ：；：中图分类号：文献标识码：引言随着信息产业的进步，云计算这样一个具有战略意义的新兴产业被提到了一个前所未有的高度。理想的云计算是由称之为“云”的计算机网络向称之为“端”的用户提供所需的透明服务。云计算平台主要是通过一系列基于分布式架构的集群服务器组成，其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群系统，需要及时发现性能瓶颈，保证整体系统的高可用性，保证其高性能运行。因此，必须有一套合理的云计算集群服务收稿日期：；修订日期：通讯地址：湖北省武汉市华中师范大学计算机科学系 ：，计算机工程与科

3、学 年第 卷第 期 ，文章编号：（）器监控管理方案。云计算集群服务器系统监控方案 云计算集群服务器监控系统的作用云计算集群服务器监控系统主要包含以下几方面的功能：（）应能够及时发现硬件故障，并报警提示，能保障系统的正常运行；（）能够对系统关键资源的使用情况进行监测，及时发现性能瓶颈，并进行智能的资源调控，保证系统在高性能状态下持续运转。云计算集群服务器监控系统架构由于云计算集群系统涉及的服务器众多，要支撑全网络的上千个节点上服务器与应用的运行，云计算集群服务器监控系统首先需要有一个好的监管架构，实现集中的监控和管理方式，以大大减少运维人员的工作和降低维护成本。同时，为了克服模式监控系统存在的弊

4、端，同时考虑到互联网技术的普及，形式的监控界面更易于使用，可以做到与平台无关，而且能够通过 实现远程监控。因此，本方案采用 模式作为监控系统的监测模式，底层通过多个监测服务器监测部分集群，再由客户管理机对多个监测服务器进行管理，通过分布式的管理架构，实现整个集群服务器的整合管理，如图所示。图云计算集群服务器监控系统架构示意图 监测服务器每个集群由一台监测服务器进行监控，采集各个服务器的监测指标，集中所有监测服务器的数据，得到整个云计算集群系统的集群运行状况。同时，根据实际情况对集群中的服务器进行动态调控，可实现整个云计算集群系统的负载均衡。管理客户端管理客户端采用基于模式的 监控界面形式。在管

5、理服务器上，通过 浏览器可查看 形式的系统管理监测界面，可以看到整个云计算集群系统当前的运行状况，并可通过设置对云计算集群系统进行调控和管理。基于 页面形式的监测客户端，使监控系统的通用性更强，不必考虑兼容性问题，减少因监控系统的部署占用的物理资源，实现对云计算集群系统的便捷管理。监控调度方案云计算集群监控系统的监控目的在于通过监测服务器的实际运行状况，对集群进行负载调度，从而保持集群的高性能运转。通常，对于集群服务器的监控和负载调度的评判分为两种类型：一种是通过监测各个物理服务器的硬件指标来了解物理服务器的负载状况，当负载超过物理服务器的最大负荷时，对云计算集群服务器中的虚拟机进行动态迁移，

6、使各个服务器的负载保持均衡，；另一种则是通过对集群的响应延时进行监测，来判断各个服务器的负荷状况，并以此对集群下的资源与服务作出相应的调节。然而，单纯地通过监测物理服务器的硬件指标来调控集群下的资源分配，无法保证服务器下具体应用的服务质量；而只通过应用响应延时来判断服务器的负载状况，又无法综合地考虑到各物理服务器的硬件性能，如果硬件超过负荷运转，整个服务器的性能都会受到影响，其上运行的应用的服务质量必定也会受到影响。因此，必须将物理服务器负载均衡和服务器响应延时结合起来进行综合考虑，以保证云计算集群系统从物理服务器到应用服务均能以高性能状态运行。考虑到基于负载轻重的调度策略主要是从集群的硬件资

7、源的角度对集群进行调控，而基于响应延时的负载调度策略，更适合于确保实际应用的服务质量。在本文中，对于集群下的服务器，主要通过监测获得关于物理资源的各项指标，以此对集群动态地进行资源调度与调整，实现各服务器的负载均衡，确保服务器的高效运行；而对于集群下各服务器提供的应用，主要利用应用响应测量技术，通过监测应用响应延时，调整应用所在服务器的服务负荷，从而保证应用的服务质量。监控数据的采集通过部署的监测服务器，实时监测云计算集群系统下各个服务器和应用的运行负载情况。通常将每一台服务器或服务器下的应用统一称做“实体”，根据实时监测各实体的各项指标，获得相关的董波等：云计算集群服务器系统监控方法的研究监

8、测数据和状态信息。服务器的监测本文使用开源的网络监视工具 对集群下服务器中指定需要监视的各项指标进行监控与采集，其结构如图所示。对服务器的具体监管方法是：首先在监测服务器上安装 以及 服务；服务负责向 发出监测采集指令，并将采集到的数据存储到关系数据库中；则利用其监测采集插件，针对接收到的监测采集指令，对所监控的服务器进行数据采集，并将分析处理的数据回传给 服务。服务器监控所需要采集的监测指标，因服务器的不同操作系统而异，如表所示。主要监测指标有云中服务器的 利用率、内存利用率、磁盘利用率、进程以及网络使用率等。由此可以得到云中各物理服务器的使用状态、节点运行状态和网络状态，如图所示。图使用

9、监测并采集需要的性能指标图服务器的数据监测与采集原理表不同操作系统下服务器的监测指标操作系统类型监测指标 、利用率、内存利用率、磁盘利用率、进程 、利用率、内存利用 率、磁盘利用率、进程、系统平均负荷、系统平均负荷、交换空间利用率、打开的文件比率、用户数、进程总数、服务 、利用率、内存利用 率、磁盘利用率、进程、统计信息、网络使用率、内存页面和换页空间信息、换页空间使用率、实际内存大小与内存使用的分布情况、热门工作量管理、事件队列、文件 、显示每秒调用的 状态 、利用率、内存利用 率、磁盘利用率、进程、服务、系统平均负荷、统计信息、交换空间利用率、打开的文件比率、用户数、进程总数 、利用率、内

10、存利用 率、磁盘利用率、进程、交换空间利用率、服务 应用的监测云计算集群服务器下应用的监测，主要利用开源的 应 用 响 应 测 量 标 准（，简称 ），监测应用响应时间是否在正常的响应延时范围之内，以此来判断应用是否处于良好的运行状态中。通过在应用程序中引入 接口，可以对应用的响应延时进行测量。然后，将测量数据通过监测服务器进行采集，并存储到关系数据库中，如图所示。集群的负载调度采集到的关于服务器与应用的监测数据，最终被保存在关系数据库中。根据数据库中有关各个计算机工程与科学 ，（）图通过应用响应测量技术获得应用监测数据实体的各项指标数据，基于前面提到的调度方案，采用针对服务器和应用不同的负载

11、状态评价方法，对采集到的不同监测指标数据进行分析，并动态地进行资源调度与调整，以优化系统性能。对服务器的负载调度通过采集到数据库中的关于服务器的 利用率、内存利用率、磁盘使用率、网络拥塞状况等信息，对集群下各个服务器的性能进行综合分析，分析出哪些服务器暂时处于空闲或利用率较低状态？哪些处于高负荷或超载状态？然后以此作出决策，将高负载的服务器上的虚拟机动态迁移到其他负载较低的服务器上，并将多个负载较低的服务器上的虚拟机集中到少数几台服务器上，然后关停多余的、空闲的服务器。一方面调整了过载服务器的负载量，保证了集群系统的整体性能；另一方面，使大部分服务器的资源得到充分利用，而且节省了底层的硬件资源

12、，大大减少了集群系统的能耗。如图和图所示。图动态迁移虚拟机关停闲置的服务器图应用监测信息图服务器监测信息 对应用的负载调度通过对各服务器的应用服务请求进行分流，即对于响应延迟过大的应用，将请求应用的事务转发到其他负荷较小的镜像服务器上，从而保证所有应用都能高质量服务。具体实施方案为：通过应用响应测量技术，测量出应用响应延时数据，根据指定应用在所部署到的多个不同镜像服务器上的响应延时，判断哪个服务器上的服务负荷最小，从而利用负载均衡服务，将向各服务器发起的事务请求进行转移，将服务负荷较重的服务器上的任务分流到服务负荷较轻的服务器来处理，使得服务器集群内各个应用能够保证有最佳性能，如图所示。通过这

13、样的调度方式，无论从服务器负荷角度来看，还是从应用服务质量角度来看，整个集群系统的性能可以始终保持在最优状态，集群系统下的资源也得到了充分的利用。董波等：云计算集群服务器系统监控方法的研究结束语本文探讨了保证云计算集群服务器系统高性能运转的监控方案，通过构建上述方案中的云计算集群监控系统，对服务器与应用采取不同的负载评判模式来进行负载调度，既能使服务器在较优负载状况下运作，又保证了应用程序的服务质量，最终在各个方面确保云计算集群服务器系统的高性能运作。参考文献：于国防，王耀才，庄立运，等集群服务器响应延时预测及其负载调度控制 计算机系统应用，（）：，（）：郑洪源，周良，吴家祺 服务器集群系统中负载平衡的设计与实现南京航空航天大学学报，（）：李乔，秦锋，郑啸 服务响应时间测试计算机工程与设计，（）：，：（）（）：？董波（），男，湖北武汉人，硕士生，研究方向为网络管理与信息安全，云监控管理。：，沈青（），女，湖北孝感人，硕士生，会员（），研究方向为网络管理与信息安全，云监控管理。：，（），肖德宝（），男，湖北武汉人，教授，博士生导师，研究方向为网络管理与信息 安 全，云 监 控 管 理。：，计算机工程与科学 ，（）