zookeeper介绍.pptx

《zookeeper介绍.pptx》由会员分享，可在线阅读，更多相关《zookeeper介绍.pptx（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Apache Zookeeper介介绍绍Agenda概述安装结构与原理应用什么是什么是ZookeeperZookeeper？Zookeeper是Google的Chubby一个开源的实现，最初是Hadoop的分布式协调服务。它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等什么是什么是ZookeeperZookeeper？为什么使用为什么使用ZookeeperZookeeper？大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制协调程序的反复编写浪费，且难以形成通用、伸

2、缩性好的协调器ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用ZookeeperZookeeper能帮我们做什么？能帮我们做什么？在Zookeeper的官网上有这么一句话：ZooKeeperisacentralizedserviceformaintainingconfigurationinformation,naming,providingdistributedsynchronization,andprovidinggroupservices.这大概描述了Zookeeper主要可以干哪些事情：配置管理，命名服务，提供分布式同步以及集群管理。ZookeeperZookeeper的安

3、装和配置的安装和配置独立模式（1-1）集群模式（n-n）*伪集群模式(1-n)ZookeeperZookeeper的安装和配置的安装和配置(独立模式独立模式)下载：wgethttp:/ server.2=server2:2888:3888server.3=server3:2888:3888（第一个端口用于仲裁通信，第二个端口用于群首选举）ZookeeperZookeeper的安装和配置的安装和配置(伪集群模式伪集群模式)在conf目录下分别创建配置文件zoo1.cfg,zoo2.cfg,zoo3.cfgtickTime=2000dataDir=/Users/zdandljb/zookeeper

4、/datadataLogDir=xxx/zookeeper/server1/clientPort=2181(zoo1,zoo2,zoo3不同)server.1=server1:2222:2333server.2=server2:3333:3334server.3=server3:4444:4445启动：./bin/zkServer.shstartzoo1.cfgZookeeperZookeeper的数据模型的数据模型层次化的目录结构，命名符合常规文件系统规范每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识节点znode可以包含数据和子节点，但是EPHEMERAL类型的节

5、点不能有子节点znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本客户端应用可以在节点上设置监视器节点不支持部分读写，而是一次性完整读写ZookeeperZookeeper的数据模型的数据模型ZookeeperZookeeper的节点的节点Znode有两种类型，临时的（ephemeral）和持久的（persistent），这两个类型又各自有自增序列的和非自增序列的，总共有四种形式的节点：PERSISTENTPERSISTENT_SEQUENTIALEPHEMERALEPHEMERAL_SEQUENTIALZnode的类型在创建时确定并且之后

6、不能再修改临时znode的客户端会话结束时，zookeeper会将该临时znode删除，临时znode不可以有子节点持久znode不依赖于客户端会话，只有当客户端明确要删除该持久znode时才会被删除ZookeeperZookeeper的顺序号的顺序号创建带自增序列znode时设置顺序标识，znode名称后会附加一个值顺序号是一个单调递增的计数器，由父节点维护在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序ZookeeperZookeeper的角色的角色领导者（leader），负责进行投票的发起和决议，更新系统状态学习者（learner），包括跟

7、随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度客户端（client），请求发起方ZookeeperZookeeper的角色的角色ZookeeperZookeeper的读写机制的读写机制Zookeeper是一个由多个server组成的集群一个leader，多个follower每个server保存一份数据副本全局数据一致分布式读写更新请求转发，由

8、更新请求转发，由leader实施实施ZookeeperZookeeper更新数据的保证更新数据的保证更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行数据更新原子性，一次数据更新要么成功，要么失败全局唯一数据视图，client无论连接到哪个server，数据视图都是一致的实时性，在一定事件范围内，client能读到最新数据ZookeeperZookeeper的的APIAPI接口接口Stringcreate(Stringpath,bytedata,Listacl,CreateModecreateMode)Statexists(Stringpath,booleanwatch)v

9、oiddelete(Stringpath,intversion)ListgetChildren(Stringpath,booleanwatch)StatsetData(Stringpath,bytedata,intversion)bytegetData(Stringpath,booleanwatch,Statstat)voidaddAuthInfo(Stringscheme,byteauth)StatsetACL(Stringpath,Listacl,intversion)ListgetACL(Stringpath,Statstat)观察者（观察者（watcherwatcher）Watcher

10、在ZooKeeper是一个核心功能，Watcher可以监控目录节点的数据变化以及子目录的变化，一旦这些状态发生变化，服务器就会通知所有设置在这个目录节点上的Watcher，从而每个客户端都很快知道它所关注的目录节点的状态发生变化，而做出相应的反应可以设置观察的操作：exists,getChildren,getData可以触发观察的操作：create,delete,setData写操作与写操作与zookeeperzookeeper内部事件的对应关系内部事件的对应关系zookeeperzookeeper内部事件与内部事件与watcherwatcher的对应关系的对应关系写操作与watcher的对应

11、关系鉴权鉴权ACLACL每个znode被创建时都会带有一个ACL列表，用于决定谁可以对它执行何种操作鉴权鉴权ACLACL身份验证模式有三种：digest:用户名，密码host:通过客户端的主机名来识别客户端ip:通过客户端的ip来识别客户端例如newACL(Perms.READ,newId(host,);这个ACL对应的身份验证模式是host，符合该模式的身份是，权限的组合是：READznodeznode的节点状态的节点状态ZookeeperZookeeper工作原理工作原理Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协

12、议有两种模式，它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数server的完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。一旦leader已经和多数的follower进行了状态同步后，他就可以开始广播消息了，即进入广播状态。这时候当一个server加入zookeeper服务中，它会在恢复模式下启动，发现leader，并和leader进行状态同步。待到同步结束，它也参与消息广播。Zookeeper服务一直维持在Broadcast状态，直到leader崩溃了或者lea

13、der失去了大部分的followers支持。ZookeeperZookeeper工作原理工作原理广播模式需要保证proposal被按顺序处理，因此zk采用了递增的事务id号(zxid)来保证。所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64为的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch。低32位是个递增计数。当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的server都恢复到一个正确的状态。

14、LeaderLeader选举选举每个Server启动以后都询问其它的Server它要投票给谁。对于其他server的询问，server每次根据自己的状态都回复自己推荐的leader的id和上一次处理事务的zxid（系统启动时每个server都会推荐自己）收到所有Server回复以后，就计算出zxid最大的哪个Server，并将这个Server相关信息设置成下一次要投票的Server。计算过程中获得票数最多的的sever为获胜者，如果获胜者的票数超过半数超过半数，则改server被选为leader。否则，继续这个过程，直到leader被选举出来。LeaderLeader选举选举leader就会开

15、始等待server连接Follower连接leader，将最大的zxid发送给leaderLeader根据follower的zxid确定同步点完成同步后通知follower已经成为uptodate状态Follower收到uptodate消息后，又可以重新接受client的请求进行服务了LeaderLeader选举选举LeaderLeader选举选举应用场景应用场景1 1统一命名服务统一命名服务分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复。NameServ

16、ice是Zookeeper内置的功能，只要调用Zookeeper的API就能实现应用场景应用场景2 2配置管理配置管理配置的管理在分布式应用环境中很常见，例如同一个应用系统需要多台PCServer运行，但是它们运行的应用系统的某些配置项是相同的，如果要修改这些相同的配置项，那么就必须同时修改每台运行这个应用系统的PCServer，这样非常麻烦而且容易出错。将配置信息保存在Zookeeper的某个目录节点中，然后将所有需要修改的应用机器监控配置信息的状态，一旦配置信息发生变化，每台应用机器就会收到Zookeeper的通知，然后从Zookeeper获取新的配置信息应用到系统中。应用场景2配置管理应

17、用场景应用场景3 3集群管理集群管理Zookeeper能够很容易的实现集群管理的功能，如有多台Server组成一个服务集群，那么必须要一个“总管”知道当前集群中每台机器的服务状态，一旦有机器不能提供服务，集群中其它集群必须知道，从而做出调整重新分配服务策略。同样当增加集群的服务能力时，就会增加一台或多台Server，同样也必须让“总管”知道。zookeeper不仅能够维护当前的集群中机器的服务状态，而且能够选出一个“总管”，让这个总管来管理集群，这就是Zookeeper的另一个功能LeaderElection。应用场景应用场景3 3集群管理集群管理应用场景应用场景3 3集群管理集群管理规定编号

18、最小的为master,所以当我们对SERVERS节点做监控的时候，得到服务器列表，只要所有集群机器逻辑认为最小编号节点为master，那么master就被选出，而这个master宕机的时候，相应的znode会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为最小编号节点为master，这样就做到动态master选举。应用场景应用场景4 4共享锁共享锁共享锁在同一个进程中很容易实现，但是在跨进程或者在不同Server之间就不好实现了。Zookeeper却很容易实现这个功能，实现方式也是需要获得锁的Server创建一个EPHEMERAL_SEQUENTIAL目录节点，然后调用getCh

19、ildren方法获取当前的目录节点列表中最小的目录节点是不是就是自己创建的目录节点，如果正是自己创建的，那么它就获得了这个锁，如果不是那么它就调用exists(Stringpath,booleanwatch)方法并监控Zookeeper上目录节点列表的变化，一直到自己创建的节点是列表中最小编号的目录节点，从而获得锁，释放锁很简单，只要删除前面它自己所创建的目录节点就行了。应用场景应用场景4 4共享锁共享锁应用场景应用场景4 4互斥锁互斥锁Zookeeper实现一个互斥锁更加简单，一个客户端创建一个EPHEMERAL模式的znode节点，则其他客户端则无法创建该节点，直到该客户端与zk服务器断开

20、连接（包括超时和主动断开）或者删除节点，其他客户端就会有一个可以创建该节点，这样实现互斥锁。应用场景应用场景5 5队列管理队列管理Zookeeper可以处理两种类型的队列：当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达，这种是同步队列；队列按照FIFO方式进行入队和出队操作，例如实现生产者和消费者模型同步同步队列队列:创建一个父目录/synchronizing，每个成员都监控目录/synchronizing/start是否存在，然后每个成员都加入这个队列（创建/synchronizing/member_i的临时目录节点），然后每个成员获取/synchronizing目录的所

21、有目录节点，判断i的值是否已经是成员的个数，如果小于成员个数等待/synchronizing/start的出现，如果已经相等就创建/synchronizing/start。应用场景应用场景5 5队列管理队列管理应用场景应用场景5 5队列管理队列管理消消费队列列:在/task节点下创建一个znode自增序列节点来标识任务队列，前缀为task-，由于该节点是PERSISTENT_SEQUENTIAL模式的，所以每个任务后面都会带有一个数字标志位，并且是自增的，这样就恶意保证这个任务队列的顺序性！总结Zoopkeeper提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构，并对树中的节点进行有效管理，从而可以设计出多种多样的分布式的数据管理模型