H3C全场景负载均衡解决方案分析.ppt

1n 服务器负载均衡解决方案服务器负载均衡解决方案n 链路负载均衡解决方案链路负载均衡解决方案目录目录2存在问题一：业务服务器负荷的均衡性存在问题一：业务服务器负荷的均衡性业务1业务2业务n业务1业务2业务n业务量提升，增补服务器n两个问题：两个问题：1、受传统三层交换模式下的应用限制，一个业务IP无法同时供多台服务器使用；2、如果每种业务发布多个业务IP，需知会业务使用者，且，存在服务器负荷不均匀3存在问题二：业务服务器故障感知存在问题二：业务服务器故障感知ERPERP系统系统硬件硬件操作系统操作系统网站网站硬件层面硬件层面操作系统操作系统应用层面应用层面邮箱系统邮箱系统OAOA系统系统故障感知故障感知盲区盲区n问题：问题：传统三层交换模式在分发业务请求时，无法感知服务器的操作系统和应用系统层面的故障，易引发故障投诉。4存在问题三：业务服务器安全问题存在问题三：业务服务器安全问题业务1业务2业务nn问题：问题：业务服务器面临着如非法访问、DDOS攻击、病毒等各类安全威胁。5H3C业务负载均衡解决方案业务负载均衡解决方案业务1业务2业务n专业专业FWFW、IPSIPS模块模块LBLB模块模块提供专业的网络层攻击、提供专业的网络层攻击、应用层攻击防御应用层攻击防御LBLB作为作为三层交换机功能三层交换机功能延伸延伸，对外发布业务虚，对外发布业务虚IPIP，提供，提供四、七层交换四、七层交换功能功能。提升。提升“业务自适业务自适应能力应能力”。6H3C业务负载均衡解决方案业务负载均衡解决方案业务1业务2业务nVIPVIP1 1VIPVIP2 2VIPVIPn nn增强业务自适应性增强业务自适应性LB终结业务请求报文，虚IP/Port与业务请求报文IP/Port与进行匹配，并采用负载均衡分发算法将请求报文转发至实体服务器，扩展业务处理能力，增强网络自适应性。n服务器健康检查：服务器健康检查：LB从硬件、操作系统、应用等多个层面检查业务服务器是否故障，仅将业务请求数据分发至健康的服务器。7业务服务器健康检测业务服务器健康检测DNSRadiusSSLICMPTCPHTTPFTP硬件网卡硬件网卡服务层面服务层面应用层面应用层面UDPPOP3SMTPIMAPRTSPSIP应用不断丰富中根据响应内容判断服务器状况根据响应内容判断服务器状况模拟客户端对应用发送连接或内容请求模拟客户端对应用发送连接或内容请求发送发送ICMP Echo报文报文根据收到根据收到ICMP响应判断服务器状况响应判断服务器状况根据根据TCP连接成功否或内容判断服务器状连接成功否或内容判断服务器状况况发送发送TCP连接或请求内容连接或请求内容负载均衡负载均衡业务服务器业务服务器8灵活的业务服务器负载均衡分发灵活的业务服务器负载均衡分发负载均衡设备负载均衡设备客户端客户端123456静态分发算法静态分发算法轮转加权轮转随机加权随机源地址散列源地址端口散列目的地址散列UDP报文净荷Hash基于基于HTTP头的七层负载动态分发算法动态分发算法最小连接加权最小连接最小响应时间最小CPU/内存利用率（SNMP方式）9丰富的持续性（会话保持）算法丰富的持续性（会话保持）算法负载均衡设备负载均衡设备123建立持续性表项，某次建立持续性表项，某次业务数据流后续报文送业务数据流后续报文送到同一实服务器到同一实服务器4 4层算法层算法基于源IP地址基于源端口地址基于源IP源端口7 7层应用层应用基于Cookie插入基于Cookie截取基于Cookie重写基于SIP报文Call-ID基于Radius FrameIP和Username基于DHCP 硬件地址、业务ID基于HTTP报文头10H3C负载均衡负载均衡-1:N虚拟化虚拟化ClientClientClientn管理权限虚拟化管理权限虚拟化n虚服务虚拟化虚服务虚拟化n分发策略虚拟化分发策略虚拟化n持续性虚拟化持续性虚拟化n健康检查虚拟化健康检查虚拟化n应用场景：应用场景：云计算系统云计算系统MPLS VPNMPLS VPN内服务器前端内服务器前端LBLB一虚多一虚多11H3C负载均衡负载均衡-N:1虚拟化虚拟化SecBlade LB1SecBlade LB3SecBlade LB2交换机交换机接口板接口板（网关）（网关）多模块、单多模块、单VIPVIPIP1IP2IP3交换机交换机接口板接口板（网关）（网关）SNAT-IP1SNAT-IP2SNAT-IP3SIP1SIP2SIP3C12H3C负载均衡负载均衡SSL 加速加速S75E+LB+SSL VPNHTTPS 流量流量WebAPPDBHTTP 流量流量n采用专业的硬件采用专业的硬件SSLSSL加速业务引擎加速业务引擎nSSLSSL加速处理处理流程加速处理处理流程1、 客户端发起HTTPS连接请求，协商传输的加密算法，确认双方身份，并交换会话密钥。2、负载均衡对请求的信息进行解密，通过HTTP的方式发送给后端的服务器。3、服务器返回处理结果给负载均衡设备。4、负载均衡设备对请求的结果进行加密，返回给客户端。13负载均衡模式双机热备负载均衡模式双机热备n支持主支持主/ /备、主备、主/ /主模式主模式nLBLB之间启用之间启用VRRPVRRP，并通过，并通过心跳线同步心跳线同步LBLB会话表项；会话表项；n主机级和会话级备份实现业主机级和会话级备份实现业务无缝切换务无缝切换14FW模块H3C负载均衡交换机IPS模块防DDos攻击模块支持多种业务模块，包括：防火墙、IPS入侵防护、应用控制及管理、网流分析、无线控制等所有插卡支持统一管理按需部署不同业务模块，满足不断增长的业务需求：按需部署不同业务模块，满足不断增长的业务需求：专业的安全功能扩展专业的安全功能扩展15H3C 负载均衡产品负载均衡产品S7500ES9500ES12500S8800SecBlade LB For S7500E/S9500E/S10500/S12500SecBlade LBFor SR8800机架式机架式主机主机负载均衡负载均衡业务板业务板S16LBLB应用案例应用案例- -天地图天地图门户应用服务门户应用服务矢量应用服务矢量应用服务影像应用服务影像应用服务S75E+LBS75E+LBn产品及方案特色产品及方案特色交换+多核架构，性能强劲，可靠性高，满足724小时在线服务器LB可扩容，满足未来业务增长，保护用户投资n负载均衡部署策略负载均衡部署策略负载均衡分发技术负载均衡分发技术：新建业务节点性能相同，采用对集群节点干扰小的轮询轮询调度策略；会话保持会话保持：该网站暂时不提供连续交互会话的功能 ，后续会开展需保持会话业务。服务器健康检查服务器健康检查：在线地理信息服务网站采用HTTPHTTP检测方式检测方式，即定时与服务器集群中服务器发出HTTP请求并验证响应结果。17LBLB应用案例应用案例江苏移动江苏移动IMSIMS系统系统S75E+LBS75E+LBIMS IMS 业务服务器业务服务器移动城域网n产品及方案特色产品及方案特色一机两用：运营商认可交换机式LB，性能高、可靠性高，可平滑扩容性能高、可靠性高，可平滑扩容，IMS系统服务器直连S75E，简化网络层次。继继F5000在中移动在中移动IMS系统规模应用后，系统规模应用后， LB再次在再次在IMS核心业务核心业务系统稳定运行系统稳定运行。n负载均衡部署策略负载均衡部署策略负载均衡分发技术负载均衡分发技术：新建业务节点性能相同，采用对集群节点干扰小的轮询轮询调度策略；会话保持会话保持：本次系IMS内DNS业务暂时不提供保持会话。服务器健康检查服务器健康检查：IMS内DNS业务采用基于DNS的健康检测，即LB模拟客户端定时向DNS服务器发起DNS请求，根据返回值来判断服务器正常与否。18LBLB应用案例应用案例海南人民医院海南人民医院HISHIS系统系统S75E+LBS75E+LB影像服务器影像服务器S12500S12500n行业及系统行业及系统： 医院HIS系统n挑战挑战：保障7X24业务连续提升影像资料下载速度具备业务不断扩充能力n方案优点方案优点：Lb在S75E IRF2环境下部署，可靠性高双主影像服务器，下载能力提升1倍DR工作模式，大容量文件下载不经过LB具备新增业务和业务扩容能力案例点评：案例点评：LBLB在现代化大型在现代化大型三甲医院三甲医院的的核心业务核心业务系统的系统的成功应用成功应用19安徽农信网银数据中心安徽农信网银数据中心n行业及系统行业及系统： 银行 网银系统n应用场景：应用场景：网银多出口链路负载均衡、网银服务器负载均衡n方案描述方案描述：LB在部署在网银多多ISPISP出口出口，提供“智能智能DNSDNS功能功能”和H3C独有的“保持上一条保持上一条”功能，提升不同运营商用户的高速业务体验。LB部署在网银数据中心前端数据中心前端，提供网银服务器的负载均衡服务器的负载均衡，实现7X24小时服务。20n 服务器负载均衡解决方案服务器负载均衡解决方案n 链路负载均衡解决方案链路负载均衡解决方案目录目录21部分宽带运营商网络现状部分宽带运营商网络现状电信电信联通联通省干网关地市节点广电、铁通、移动等运营商通过租赁电信和联通线路进行宽带运营。通过在出口路由器上配置通过在出口路由器上配置ACLACL策略路由方式将互联网策略路由方式将互联网宽带用户静态的指向不同的宽带用户静态的指向不同的出口链路。出口链路。22问题一：部分互联网宽带用户上网慢问题一：部分互联网宽带用户上网慢电信电信联通联通省干网关地市节点被静态策略至某联通链路出口网关无法根据用户访问出口网关无法根据用户访问的目的的目的IPIP选路，导致部分用选路，导致部分用户上网速度慢、体验差。户上网速度慢、体验差。23问题二：维护工作量繁琐问题二：维护工作量繁琐电信电信联通联通省干网关地市节点需在出口网关路由器上经常需在出口网关路由器上经常性的为新增宽带用户添加静性的为新增宽带用户添加静态策略，维护工作量大。态策略，维护工作量大。天天加策略天天加策略24问题三：链路故障探测及处理问题三：链路故障探测及处理电信电信联通联通省干网关地市节点链路故障后，手工调整策略链路故障后，手工调整策略期间，宽带用户无法上网，期间，宽带用户无法上网，会投诉或传播负面信息。会投诉或传播负面信息。25H3C出口多链路负载均衡解决方案出口多链路负载均衡解决方案电信电信联通联通省干网关地市节点在出口部署一体式的在出口部署一体式的FW+LBFW+LB网关。网关。nFWFW实现大容量实现大容量NATNAT功能功能nLBLB实现链路负载均衡功能实现链路负载均衡功能根据用户目的地址进行自动选根据用户目的地址进行自动选路，无须配置静态策略路，无须配置静态策略用户上网速度感知优于静态策用户上网速度感知优于静态策略方式略方式链路故障，自动将用户流量切链路故障，自动将用户流量切换至可用链路。换至可用链路。IRFIRFFWLB26出口链路负载均衡逻辑示意图出口链路负载均衡逻辑示意图SecBlade LB 1SecBlade LB 2SecBlade LB n接口板接口板可靠性一：任一LB故障，流量将均分至正常的LB万兆板万兆板电信电信联通联通n交换机通过等价路由方式将流量均分至各交换机通过等价路由方式将流量均分至各LBLB板卡板卡nLBLB通过逻辑子接口与四个链路连接。通过逻辑子接口与四个链路连接。nLBLB通过链路负载均衡算法分发流量。通过链路负载均衡算法分发流量。nLBLB探测链路故障，自动将流量分担至可用的链路。探测链路故障，自动将流量分担至可用的链路。等价路由分发等价路由分发可靠性二：任一链路故障，流量将均分至正常的链路27电信电信联通联通电信电信联通联通出链路负载均衡出链路负载均衡路由器静态策略模式路由器静态策略模式ISP匹配流匹配流未知流未知流u 轮询u 加权轮询u 源地址Hashu 最小连接u 就近性探测ISP匹配流匹配流 未知流未知流默认路由提升提升1丰富的出口流量分发算法丰富的出口流量分发算法28提升提升1分发算法比较分发算法比较静态分发静态分发轮询轮询/ /随机、加权轮询随机、加权轮询/ /随机随机源源IP/Port HashIP/Port Hash动态分发动态分发（加权）最小连接、最大剩余带宽（加权）最小连接、最大剩余带宽就近性探测（生成就近性表项）就近性探测（生成就近性表项）链路可用带宽、链路延迟时间（链路可用带宽、链路延迟时间（RTTRTT）链路成本、路由跳数（链路成本、路由跳数（TTLTTL） ISPISP表项匹配表项匹配内置电信、联通等内置电信、联通等ISPISP地址表项地址表项静态策略路由静态策略路由动态路由动态路由路由器负载均衡来源于APNIC（亚太互联网络信息中心）29出链路负载均衡之出链路负载均衡之“outboundoutbound智能选路功能智能选路功能”ISP1ISP1ISP1表项ISP2表项ISP3表项ISP2ISP2ISP3ISP3目的目的IPIP目的目的IPIP目的目的IPIP未知目的未知目的IPIPISPISP表项匹配表项匹配静态分发静态分发轮询轮询/ /随机、加权轮询随机、加权轮询/ /随机随机源源IP/Port HashIP/Port Hash动态分发动态分发（加权）最小连接、最大剩余带宽（加权）最小连接、最大剩余带宽就近性探测（生成就进行表项）就近性探测（生成就进行表项）链路可用带宽、链路延迟时间（链路可用带宽、链路延迟时间（RTTRTT）链路成本、路由跳数（链路成本、路由跳数（TTLTTL） 内网用户负载均衡互联网30电信电信-1G联通联通-500M目的IP为电信的流量950M150M1.1G保护阈值保护阈值950M电信电信-1G联通联通-500M目的IP为电信的流量1G100M1.1GX X负载均衡链路阈值保护负载均衡链路阈值保护路由器静态策略模式路由器静态策略模式每条ISP设置阈值，链路数据流达到阈值后，LB不再向该链路发送数据流。提升提升2出口链路流量阈值保护出口链路流量阈值保护31提升提升3出口故障或拥塞后流量牵引出口故障或拥塞后流量牵引电信电信-1G联通联通-500M目的IP为电信的流量X X电信电信-1G联通联通-500M目的IP为电信的流量950M150M1.1G保护阈值保护阈值950M出口故障后流量牵引出口拥塞后流量牵引32入方向链路负载均衡之入方向链路负载均衡之“智能智能DNSDNS功能功能”ISP1ISP1ISP2ISP2ISP3ISP3匹配，返回对应匹配，返回对应ISPISP的的DNS-IPDNS-IP负载均衡负载均衡IP1IPIP2IPIP3IP3Client客户端访问网站系统时如何客户端访问网站系统时如何请求到最快的域名请求到最快的域名IP地址？地址？用户源IP是否匹配某ISP表项？就近探测最优链路不匹配不匹配返回最优返回最优ISPISP的的DNS-IPDNS-IPH3C网站DNS请求逻辑图Local DNSLocal DNSLocal DNSLocal DNS33记录上一跳功能（外部访问网内资源）记录上一跳功能（外部访问网内资源）电信电信联通联通移动移动请求报文请求报文响应报文响应报文X响应报文响应报文n来回路径不一致问题来回路径不一致问题：1、跨网导致响应慢，用户体验差2、如ISP开URPF，响应报文丢弃n解决方法解决方法-记录上一条：记录上一条：H3C负载均衡设备依据用户请求报文的五元组生成会话表，并把该会话表与入端口（物理或逻辑）对应关系记录成上一跳表项；服务器响应报文会匹配到会话表，直接将响应报文从入接口发出去。34河南铁通出口链路解决方案河南铁通出口链路解决方案2*10GE链路链路1 1链路链路2 2FW+LB链路链路1 1链路链路2 2FWLB链路链路1 1链路链路2 2链路链路3 3内部流量均分至LB联通联通CRN电信电信S7610+ FW+LB35河南有线逐渐割接改造中河南有线逐渐割接改造中2010年原网络2011年部分出口逐步改造采用S7600系列虚拟化交换机插框通过LB插卡和FW插卡的配合完成两条联通线路的NAT出口改造。363G视频等数据业务预留区自有业务区 基本业务区增值业务区维护管理区清洗中心清洗中心 S7503E+AFC+AFD+SecCenter组件组件IMC+NTA流量分析流量分析流量清洗中流量清洗中心心海南移动海南移动IDC37江苏有线信息中心江苏有线信息中心IDCp江苏广电IDC作为江苏广电的互联网资源中心、视频等内容服务中心和运维中心，面向个人和集团用户提供互联网、内容等服务。江苏广电现网互联网用户20万，IDC数据流量较大。p整网部署2台H3C S12518 100G平台核心路由交换机和8台S5800万兆接入交换机实现IDC数据转发，并部署4台总共配置了18块万兆防火墙板卡的S7510E万兆汇聚交换机作为超大容量NAT集群设备 。在经过性能测试、过载压力测试、防攻击测试等多方面严格测试的情况下，在没有满配的情况下实现了 NAT 会话能力超过 2000 万的超高处理能力，取得了用户的高度认可。杭州华三通信技术有限公司