为了账号安全,请及时绑定邮箱和手机立即绑定

[ZooKeeper]初步认识

标签:
大数据


前言

在学习任何技术知识的时候,一定要思考他的本质!
3w原则想必都听过:why、what、how。大why,小what,和一带而过的how。对于这些实践性很强的知识,我们还要熟练应用。
清晰准确地表达明白原因,其实也是在测试自己是否真的理解了。

一、为什么出现Zookeeper

在这里以电商架构为例子,在很早之前我们采用的是单一的应用架构,即前台client请求service。随着互联网的发展和体系的扩大,后端建构通过垂直伸缩(升级到更强大的服务器:多CPU 昂贵大中型机 )的方式很难达到我们期望的性能要求,同时投入产出比也非常大,同时普通PC性能也越来越高,所以通过水平伸缩(增加更便宜的机器)的方式来提升性能成为了主流。

在分布式架构下,当服务越来越多时,规模越来越大时,对应的机器数量也越来越来越多,单靠人工来管理和维护及地址的配置、地址信息也越来越困难,单点故障问题也开始凸显出来,一旦服务器路由或者负载均衡服务器宕机,依赖他的所有服务均将失效。

此时,需要一个能够动态注册获取服务信息的地方,来统一管理服务名称和其对应的服务器列表信息(称为:服务配置中心)。当服务提供者在启东时,将其提供的服务名称、服务器地址注册到服务配置中心;服务消费者通过服务配置中心来获得需要调用的服务机器列表。通过相应的负载均衡算法,选取其中一台服务器进行调用。当服务器宕机或者下线时,相应的机器需要能够动态地从服务配置中心里面移除,并通知相应的服务消费者,否则服务消费者就有可能因为调用已经失效的服务而发生错误。

在这个过程中,服务消费者只有在第一次调用服务时,需要查询服务配置中心,然后将查询到的信息缓存到本地,后面的调用直接使用本地缓存的服务地址列表信息而不需要重复发起请求到服务配置中心,去获取相应的服务地址列表,直到服务地址列表有变化(机器上线,或者下线)。这种无中心化的结构,解决了之前负载均衡设备所导致的单点故障问题,并且大大减轻了服务配置中心的压力。

二、什么是zookeeper

zookeeper是一个分布式协调服务。其本质就是:协调协调、协调。协调的是服务。

也可以这样理解:zookeeper就是一个服务注册和获取服务地址、名称信息的中间件。

其目的就是将那些复杂且容易出错的分布式一致性服务封装起来,方便提供给用户使用。

三、如何安装部署ZooKeeper

zookeeper有两种运行模式:集群模式和单击模式。

安装:下载zookeeper的安装包,解压安装即可:tar -zxvf

常用命令:

命令含义
bin/zkServer.sh start启动ZK服务
bin/zkServer.sh status查看ZK服务状态
bin/zkServer.sh stop停止ZK服务
bin/zkServer.sh restart重启ZK服务
zkCli.sh启动ZK客户端
zkCli.sh -timeout  0 -r -server  ip:port链接服务器
1 、单击模式安装:

解压便可使用。将conf目录写的zoo_sample.cfg文件copy一份重命名zoo.cfg。修改dataDir目录(日志文件存放路径)。

2 、集群环境安装:

Zookeeper集群安装(基于JDK之上)。
在 zookeeper 集群中,各个节点总共有三种角色,分别是: leader,follower,observer 。

在zookeeper集群中,我们采用模拟3台机器来搭建zookeeper集群(或者用一台机器安装kvm虚拟出三台)。分别复制安装包到三台机器上并解压,同时copy一份zoo.cfg.

注意:

  • 修改配置文件zoo.cfg

    • server.1=IP1:2888:3888 【2888:访问 zookeeper 的端口; 3888:重新选举 leader 的端口】

    • server.A=B:C:D

    • 其 中 A 是一个数字,表示这个是第几号服务器; B 是这个服务器的 ip 地址; C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口; D 表示的是万一集群中的 Leader 服务器挂 了,需要一个端口来重新进行选举,选出一个新的 Leader, 而这个端口就是用来执行选举时服务器相互通 信的端口。如果是伪集群的配置方式,由于 B 都是一样, 所以不同的 Zookeeper 实例通信端口号不能 一样,所以要给它们分配不同的端口号。 在集群模式下,集群中每台机器都需要感知到整个集群是 由 哪 几 台 机 器 组 成 的 , 在 配 置 文 件 中 , 按 照 格 式 server.id=host:port:port,每一行代表一个机器配置 id: 指的是 server ID,用来标识该机器在集群中的机器序号

  • 新建dataDir目录,设置myid。确保每个服务器的myid文件中的数字不同。并且和自己所在机器的zoo.cfg中的server.id的id一直。id的值的范围在1~255。

  • hosts映射  文件:/etc/hosts;  注意要将所有映射写全,不要只是写对应本机的映射。然后copy三分。

  • 启动 zookeeper

    • 带 Observer 角色的集群 Observer:在不影响写性能的情况下扩展 zookeeper 本身 zookeeper 的集群性能已经很好了,但是如果超大量 的客户端访问,就势必需要增加 zookeeper 集群的服务器 数量,而随着服务器的增加,zookeeper 集群的写性能就 会下降;zookeeper 中 znode 的变更需要半数及以上服务 器投票通过,而随着机器的增加,由于网络消耗等原因必 定会导致投票成本增加。也就导致性能下降的结果


      webp

      zookeeper数据结构及特性.png

四、重点注意的配置文件

  • myid

  • zoo.cfg

  • /etc/hosts



作者:瑾兰
链接:https://www.jianshu.com/p/64c050ea9934


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消