2022年2022年集群的负载均衡技术综述 .pdf

集群的负载均衡技术综述摘 要：当今世界，无论在机构内部的局域网还是在广域网如Internet 上，信息处理量的增长都远远超出了过去最乐观的估计，即使按照当时最优配置建设的网络，也很快会感到吃不消。如何在完成同样功能的多个网络设备之间实现合理的业务量分配，使之不致于出现一台设备过忙、而别的设备却未充分发挥处理能力的情况，负载均衡机制因此应运而生。本组在课堂上讲解了集群监控与调度这一课题，本人在小组内负责负载均衡部分内容，以及PPT 的制作。关键词：负载均衡集群网络 计算机一、前言负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：解决网络拥塞问题，服务就近提供，实现地理位置无关性；为用户提供更好的访问质量；提高服务器响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失效。其实，负载均衡并非传统意义上的“均衡”，一般来说，它只是把有可能拥塞于一个地方的负载交给多个地方分担。如果将其改称为“负载分担”，也许更好懂一些。说得通俗一点，负载均衡在网络中的作用就像轮流值日制度，把任务分给大家来完成，以免让一个人累死累活。不过，这种意义上的均衡一般是静态的，也就是事先确定的“轮值”策略。与轮流值日制度不同的是，动态负载均衡通过一些工具实时地分析数据包，掌握网络中的数据流量状况，把任务合理分配出去。结构上分为本地负载均衡和地域负载均衡(全局负载均衡)，前一种是指对本地的服务器集群做负载均衡，后一种是指对分别放置在不同的地理位置、在不同的网络及服务器群集之间作负载均衡。服务器群集中每个服务结点运行一个所需服务器程序的独立拷贝，诸如Web、FTP、Telnet 或 e-mail 服务器程序。对于某些服务（如运行在 Web 服务器上的那些服务）而言，程序的一个拷贝运行在群集内所有的主机上，而网络负载均衡则将工作负载在这些主机间进行分配。对于其他服务（例如e-mail），只有一台主机处理工作负载，针对这些服务，网络负载均衡允许网络通讯量流到一个主机上，并在该主机发生故障时将通讯量移至其他主机。二、负载均衡技术实现结构在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：1.解决网络拥塞问题，服务就近提供，实现地理位置无关性2.为用户提供更好的访问质量3.提高服务器响应速度名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 5 页 -4.提高服务器及其他资源的利用效率5.避免了网络关键部位出现单点失效广义上的负载均衡既可以设置专门的网关、负载均衡器，也可以通过一些专用软件与协议来实现。对一个网络的负载均衡应用，从网络的不同层次入手，根据网络瓶颈所在进行具体分析。从客户端应用为起点纵向分析，参考OSI 的分层模型，我们把负载均衡技术的实现分为客户端负载均衡技术、应用服务器技术、高层协议交换、网络接入协议交换等几种方式。三、负载均衡的层次基于客户端的负载均衡这种模式指的是在网络的客户端运行特定的程序，该程序通过定期或不定期的收集服务器群的运行参数：CPU 占用情况、磁盘IO、内存等动态信息，再根据某种选择策略，找到可以提供服务的最佳服务器，将本地的应用请求发向它。如果负载信息采集程序发现服务器失效，则找到其他可替代的服务器作为服务选择。整个过程对于应用程序来说是完全透明的，所有的工作都在运行时处理。因此这也是一种动态的负载均衡技术。但这种技术存在通用性的问题。因为每一个客户端都要安装这个特殊的采集程序；并且，为了保证应用层的透明运行，需要针对每一个应用程序加以修改，通过动态链接库或者嵌入的方法，将客户端的访问请求能够先经过采集程序再发往服务器，以重定向的过程进行。对于每一个应用几乎要对代码进行重新开发，工作量比较大。所以，这种技术仅在特殊的应用场合才使用到，比如在执行某些专有任务的时候，比较需要分布式的计算能力，对应用的开发没有太多要求。另外，在采用JAVA 构架模型中，常常使用这种模式实现分布式的负载均衡，因为java 应用都基于虚拟机进行，可以在应用层和虚拟机之间设计一个中间层，处理负载均衡的工作。应用服务器的负载均衡技术如果将客户端的负载均衡层移植到某一个中间平台，形成三层结构，则客户端应用可以不需要做特殊的修改，透明的通过中间层应用服务器将请求均衡到相应的服务结点。比较常见的实现手段就是反向代理技术。使用反向代理服务器，可以将请求均匀转发给多台服务器，或者直接将缓存的数据返回客户端，这样的加速模式在一定程度上可以提升静态网页的访问速度，从而达到负载均衡的目的。使用反向代理的好处是，可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能。然而它本身也存在一些问题，首先就是必须为每一种服务都专门开发一个反向代理服务器，这就不是一个轻松的任务。反向代理服务器本身虽然可以达到很高效率，但是针对每一次代理，代理服务器就必须维护两个连接，一个对外的连接，一个对内的连接，因此对于特别高的连接请求，代理服务器的负载也就非常之大。反向代理能够执行针对应用协议而优化的负载均衡策略，每次名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 5 页 -仅访问最空闲的内部服务器来提供服务。但是随着并发连接数量的增加，代理服务器本身的负载也变得非常大，最后反向代理服务器本身会成为服务的瓶颈。基于域名系统的负载均衡NCSA 的可扩展Web 是最早使用动态DNS 轮询技术的web 系统。在 DNS 中为多个地址配置同一个名字，因而查询这个名字的客户机将得到其中一个地址，从而使得不同的客户访问不同的服务器，达到负载均衡的目的。在很多知名的web 站点都使用了这个技术：包括早期的 yahoo 站点、163 等。动态 DNS 轮询实现起来简单，无需复杂的配置和管理，一般支持bind8.2 以上的类 unix 系统都能够运行，因此广为使用。DNS 负载均衡是一种简单而有效的方法，但是存在不少问题。首先域名服务器无法知道服务结点是否有效，如果服务结点失效，余名系统依然会将域名解析到该节点上，造成用户访问失效。其次，由于DNS 的数据刷新时间TTL（Time to LIVE）标志，一旦超过这个TTL，其他 DNS 服务器就需要和这个服务器交互，以重新获得地址数据，就有可能获得不同IP 地址。因此为了使地址能随机分配，就应使TTL 尽量短，不同地方的DNS 服务器能更新对应的 地址，达到随机获得地址。然而将TTL 设置得过短，将使DNS 流量大增，而造成额外的网络问题。最后，它不能区分服务器的差异，也不能反映服务器的当前运行状态。当使用DNS 负载均衡的时候，必须尽量保证不同的客户计算机能均匀获得不同的地址。例如，用户A 可能只是浏览几个网页，而用户B 可能进行着大量的下载，由于域名系统没有合适的负载策略，仅仅是简单的轮流均衡，很容易将用户A 的请求发往负载轻的站点，而将B 的请求发往负载已经很重的站点。因此，在动态平衡特性上，动态DNS 轮询的效果并不理想。带均衡策略的服务器群集如今，服务器必须具备提供大量并发访问服务的能力，其处理能力和I/O 能力已经成为提供服务的瓶颈。如果客户的增多导致通信量超出了服务器能承受的范围，那么其结果必然是宕机。显然，单台服务器有限的性能不可能解决这个问题，一台普通服务器的处理能力只能达到每秒几万个到几十万个请求，无法在一秒钟内处理上百万个甚至更多的请求。但若能将 10 台这样的服务器组成一个系统，并通过软件技术将所有请求平均分配给所有服务器，那么这个系统就完全拥有每秒钟处理几百万个甚至更多请求的能力。这就是利用服务器群集实现负载均衡的最初基本设计思想。早期的服务器群集通常以光纤镜像卡进行主从方式备份。令服务运营商头疼的是关键性服务器或应用较多、数据流量较大的服务器一般档次不会太低，而服务运营商花了两台服务器的钱却常常只得到一台服务器的性能。通过地址转换将多台服务器网卡的不同IP 地址翻译成一个VIP(Virtual IP)地址，使得每台服务器均时时处于工作状态。原来需要用小型机来完成的工作改由多台PC 服务器完成，这种弹性解决方案对投资保护的作用是相当明显的既避免了小型机刚性升级所带来的巨大设备投资，又避免了人员培训的重复投资。同名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 5 页 -时，服务运营商可以依据业务的需要随时调整服务器的数量。网络负载均衡提高了诸如Web 服务器、FTP 服务器和其他关键任务服务器上的因特网服务器程序的可用性和可伸缩性。单一计算机可以提供有限级别的服务器可靠性和可伸缩性。但是，通过将两个或两个以上高级服务器的主机连成群集，网络负载均衡就能够提供关键任务服务器所需的可靠性和性能。为了建立一个高负载的Web 站点，必须使用多服务器的分布式结构。上面提到的使用代理服务器和Web 服务器相结合，或者两台Web 服务器相互协作的方式也属于多服务器的结构，但在这些多服务器的结构中，每台服务器所起到的作用是不同的，属于非对称的体系结构。非对称的服务器结构中每个服务器起到的作用是不同的，例如一台服务器用于提供静态网页，而另一台用于提供动态网页等等。这样就使得网页设计时就需要考虑不同服务器之间的关系，一旦要改变服务器之间的关系，就会使得某些网页出现连接错误，不利于维护，可扩展性也较差。能进行负载均衡的网络设计结构为对称结构，在对称结构中每台服务器都具备等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。然后，可以通过某种技术，将外部发送来的请求均匀分配到对称结构中的每台服务器上，接收到连接请求的服务器都独立回应客户的请求。在这种结构中，由于建立内容完全一致的Web 服务器并不困难，因此负载均衡技术就成为建立一个高负载Web 站点的关键性技术。总之，负载均衡是一种策略，它能让多台服务器或多条链路共同承担一些繁重的计算或I/O 任务，从而以较低成本消除网络瓶颈，提高网络的灵活性和可靠性。参考文献1.陈华平可扩展并行Web 服务器集群的实现技术期刊论文-计算机工程与应用2000(03)2.胡子昂;王立 算法、网络拓扑及调度频率与动态负载平衡的关系期刊论文-计算机工程与科学2000(01)3.Dahlin M Interpreting Stale Load Information 1999 4.Mitzenmacher M How Useful is Old Information 5.Cenova Z;Christensen K J Chanllenges In:URL Switching for Implementing Globally Distributed Web Sites 2000 6.马晓星分布式 Web 服务器综述 期刊论文-计算机科学2002(01)7.郭成城.晏蒲柳.GUO Cheng-Cheng.YAN Pu-Liu 一种异构Web 服务器集群动态负载均衡算法 期刊论文-计算机学报2005,28(2)8.陈超.赵跃龙.王文丰.潘敏.CHEN Chao.ZHAO Yue-long.WANG Wen-feng.PAN Min 基于反馈的改进动态负载均衡策略期刊论文-计算机工程2010,36(14)9.潘向辉.张二虎.吴学毅.蔺广逢一种多集群网格的负载均衡算法期刊论文-计算机工程与名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 5 页 -应用 2009,45(35)10.李双庆.游莲.程代杰基于内容的Web 集群系统负载均衡策略期刊论文-重庆大学学报(自然科学版)2003,26(5)11.郑燕玲负载均衡概述 期刊论文-福建电脑2010(1)12.董立岩.黄乐.王利民.毛锐.殷涵改进的分布式系统负载平衡策略期刊论文-北京工业大学学报2011(12)13.陈小燕.万麟瑞网络负载均衡算法研究期刊论文-硅谷 2010(24)14.张丽勇.骆参驹基于 LVS 的校园网Web 服务器集群负载均衡应用期刊论文-大众科技2010(12)15.徐群.祝永志集群系统中的负载均衡问题的研究期刊论文-计算机技术与发展2009(8)16.郑毅强.郭荷清.高伟.林满山基于业务组件划分的多集群体系结构期刊论文-计算机工程2006(6)17.陈亮.王加阳基于粗糙集的负载均衡算法研究期刊论文-计算机工程与科学2010(1)18.余燕芳.陆军 基于改进遗传算法的服务器端负载均衡算法期刊论文-微电子学与计算机2007(7)19.吴璇.隋红建提高防火墙集群效率的分散式均衡算法及实现期刊论文-计算机工程与设计 2006(12)名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 5 页 -