大数据处理之中Zookeeper

大数据处理之中Zookeeper，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

Zookkeeper概述

    是一个分布式协调服务的开源框架

    本质上是一个分布式的小文件存储系统，提供基于类似文件系统的目录树方式的数据存储。

    解决的问题：分布式集群中应用系统一致性问题

    特性：

        数据全局一致

        可靠性：消息被一台服务器接收，则可以被其它服务器接收

        顺序性：全局有序和偏序两种，消息发布的顺序性

        数据更新的原子性：一次性数据更新成功（半数机器/节点以上）

        实时性：在一个时间范围内获取服务器的更新信息，或者失效的信息

Zookeeper集群角色

    主节点（Leader）：1、集群工作的核心，事务请求（写）的唯一调度和处理者，保证集群事务处理的顺序性。2、集群内部各个服务器的调度者

    从节点(Follower)：1、处理客户端非事务请求。2、转发事务请求给主节点，3、参与集群主节点选举投票

    观察者（Observer）：1、更新集群最新状态变化并同步这些状态，对非事务请求进行响应，2

将事务请求转发给主节点。3、不参与主节点选举投票，通常用于不影响集群事务处理能力的前提下提升非事务处理的能力，或集群访问量较大的情况下

Zookeeper集群搭建。。。。。

Zookeeper的数据模型：

    与标准文件系统相似，采用树形层次结构，树中的节点被称为Znode，每个节点可以拥有子节点

    不同：

            1、Znode兼具文件和目录两种特点。

            2、Znode具有原子性操作

            3、存储数据大小有限制。最大是1M

            4、Znode通过路径引用。路径唯一

            5、序列化特性。创建节点时会在节点名后添加不断增加 的序列号，其对于父节点来说是唯一的，可以辨别节点创建的先后顺序，是一个10位的数字

    节点组成：

            stat:状态信息、描述其Znode的版本、权限信息等。

            data：与该Znode关联的数据

            children：该Znode下的子节点

    节点类型：临时节点和永久节点

            临时节点：不允许存在子节点

    创建Znode时有四种选项：永久节点、临时节点、永久序列化节点、临时序列化节点

    节点的属性：

            dataVersion：数据版本号

            cversion：子节点版本号，子节点变化时值+1

            acVersion：版本控制号

            cZxid：Znode创建事务的ID

            mZid：Zode被修改的事务ID，zk每次变化时会产生一个唯一的事务ID（zxid），具有先后顺序

            ctim：节点创建时间戳

             mtim：节点最近更新时的时间戳

            ephemeralOwner：如果此节点时临时节点，则值是与该节点绑定的sessionid，若不是则值为0

        节点操作：

                客户端链接：zkCli.sh -sever ip

                create [-s][-e] path data，s表示永久节点，e表示临时节点

                set path data

                delete path data

                get path   

                 quota：对节点添加限制，setquota [-n|-b] val path,n表示子节点最大个数，b表示数据值最大长度，val子节点最大个数或数据值最大长度，path节点路径

                listquota：查看是否设置限制即指定节点的quota，软性限制（输出警告日志）

                delquota：delquota [-n|-b] path         删除指定节点的quota

                history：列出历史命令

                redo：重新执行命令，与hostory结合使用。redo 命令编号

Zookeeper Watcher（数据订阅/发布模式）

    使用watcher（监听）机制实现分布式通知功能，Zookeeper允许客户端向服务端注册一个watcher监听，服务端一些事件触发这个watcher时，服务端会向客户端发送一个事件通知来实现分布式通知的功能。

     过程：1、客户端向服务端注册一个监听watcher，2、服务端触发注册的watcher，3、客户端回调watcher得到触发事件情况

    watcher机制特点：

            一次性触发：事件触发监听后，一个watcher event（监听事件）被发送到对应的客户端，这种效果只有一次，后续再次发生同样的事件，不会再次触发

            事件封装: 使用WatcherEvent对象封装服务端事件并传递，包含三个属性，通知状态（keeperState）、事件类型（EventType）、节点路径（Path） 

            event异步发送：

            先注册在触发：连接事件不需要先注册，其它的需要事先注册

   shell客户端设置监听（Watcher）：

            get path watch  注册监听事件

Zookeeper Java API（Zookeeper 操作API）

    连接操作、Watcher事件操作：：

Zookeeper选举机制

    默认采用FastLeaderElection算法，采用投票大于把半数胜出大的逻辑

    服务器ID：服务器编号，编号越大在算法中权重越大

    选举状态：LOOKING --->竞选状态、FOLLOWIING--->随从状态（参与投票）、OBSERVING--->观察状态（不参与投票）、LEADDING--->领导者状态

    数据ID：服务器中存放的最新数据的版本version，数据越大说明版本越新、在选举算法中的权重也越大

    逻辑时钟： 投票次数，同一轮选举过程中数值时相同的，

    全新集群选举（刚搭建的新集群）：每台机器给自己投票，票数过半选举结束，服务器ID大的优先级高

    非全新集群的选举（集群提供服务一段时间后进行选举）：

        选举标准：1、逻辑时钟小的选举结果被忽略，重新投票。2、统一逻辑时钟、数据ID大的胜出。3、数据ID相同的服务器ID大的胜出。

Zookeeper典型应用：

    数据发布与订阅（配置中心）：

        1、小型数据。

         2、获取数据的同时还要设置监听，拿到数据后再次设置监听保证监听时刻有效

    命名服务：由于Zookeeper节点路径的全局唯一性，对提供服务的对象进行命名，客户端通过应用名字可以获取对应的资源和服务地址，提供者等信息，,如：dubbo将提供的服务地址存储到zk上，映射到对应的服务名称，维护全局的服务地址列表

     分布式锁：由于其数据的一致性，锁服务分为：保持独占、控制时序

           保持独占：单例锁。将zk的节点看作一把锁，所有的客户端到指定的目录创建节点，同通过创建非序列化的临时节点实现独占性

            控制时序：按顺序访问，如队列。同过将zk节点看作一把锁，但这次创建的是序列化临时节点，从而实现全局的时序性

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注亿速云行业资讯频道，感谢您对亿速云的支持。