分布式技术-Zookeeper概述

概述

  • Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目
  • 在大数据技术生态圈中,zookeeper(动物管理员),Hadoop(大象),Hive(蜜蜂),Pig(猪)
工作机制
  • zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架
  • 负责存储和管理数据
    • 接受观察者的注册
    • 通知已经注册的观察者做出反应
    • 实现集群中类似Master/Slave管理模式
  • zookeeper = 文件系统 + 通知机制
    1. 服务上线
    2. 获取当前服务列表
    3. 服务器节点下线
    4. 服务器节点上下线事件通知
    5. 重新获取服务器列表,注册监听
特点
分布式和集群的区别:
无论分布式还是集群,都是很多人在做事情,具体区别如下
例子:有一个饭店,越来越火爆,招聘工作人员
  • 分布式:招聘一个厨师,1个服务员,1个前台,3个人负责的工作不同,最终都是为饭店工作
  • 集群:招聘5个服务员,5个人的工作一个
  1. 一个leader和多个follower来组成的集群
  2. 集群中只要有半数以上的节点存活,Zookeeper就能正常工作
  3. 全局数据唯一性,每台服务器都保存一份相同的数据副本,无论哪台client连接哪台server,数据都是一致的
  4. 数据更新原子性,一次数据要么成功,要么失败
  5. 实时性,在一定的时间范围内,client能读取到最新数据
  6. 更新的请求按照顺序执行,会按照发过来的数据,逐一执行
数据结构 分布式技术-Zookeeper概述
文章图片

  • zookeeper数据模型的结构与linux文件系统很类似,整体上可以看作是一棵树,每个节点称作一个ZNode(ZookeeperNode)
  • 每一个ZNode默认能够存储1MB的数据(元数据),每个ZNode的路径是唯一的
    • 元数据(Metadata),又称中介数据,中继数据,为描述数据的数据,主要是描述数据属性信息,同来支持如指示存储位置,历史记录,资源查找,文件记录等功能
应用场景
  • 提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等
统一命名服务
  • 在分布式环境下,对环境进行统一命名
分布式技术-Zookeeper概述
文章图片

统一配置管理
  • 分布式环境下进行配置同步
【分布式技术-Zookeeper概述】分布式技术-Zookeeper概述
文章图片

  • 将配置管理交给zookeeper
    1. 将配置信息写到某个节点上
    2. 每个客户端都监听这个节点
    3. 一旦节点中的数据被修改,通知每台服务器
服务器节点动态上下线
  • 客户端能够获取服务器节点的上下线情况
软负载均衡
  • 统计每台服务器的访问情况,访问次数最少的节点去处理最新的请求(雨露均沾)

    推荐阅读