Zookeeper+Kafka集群部署

晨曦发布于 2024-6-30 11:54 阅读：67 Kafka

1.下载zookeeper和kafka：

zk下载地址：http://archive.apache.org/dist/zookeeper/
kafka下载地址：https://kafka.apache.org/downloads.html
本次搭建下载的zk和kafka版本是（zookeeper-3.4.14.tar.gz/kafka_2.11-0.11.0.0.tgz）
服务器环境->准备三台服务器集群

在Hosts文件中建立域名和IP的映射配置（方便解析）： vim /etc/hosts

192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2

1.每台服务器配置环境变量

配置zk和kafka环境变量

[root@kafka-master module]# vim /etc/profile

配置zk环境

zookeeper config

export ZK_HOME=/opt/module/zookeeper
export PATH=$ZK_HOME/bin:$PATH

配置kafka环境

kafka config

export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使环境变量立即生效

[root@kafka-master module]# source /etc/profile

本次把zookeeper和kafka的安装目录统一为：/opt/module

Zookeeper搭建集群：

解压zookeeper：

[root@kafka-master module]# tar -zxvf zookeeper-3.4.14.tar.gz

重命名zookeeper-3.4.14为zookeeper

[root@kafka-master module]# mv zookeeper-3.4.14 zookeeper
[root@kafka-master module]# cd zookeeper

重命名zoo_sample.cfg为zoo.cfg

[root@kafka-master zookeeper]# mv conf/zoo_sample.cfg zoo.cfg
[root@kafka-master zookeeper]# vim conf/zoo.cfg

修改zoo.cfg配置：

the directory where the snapshot is stored.

do not use /tmp for storage, /tmp here is just

example sakes.

修改zk数据存储路径

dataDir=/opt/module/zookeeper/data/

在文件末尾追加以下配置项

zk cluster

server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888

新建刚配置的zk存储路径

[root@kafka-master zookeeper]# mkdir data

新建myid文件并写入[master(0),slave1(1),slave2(2)]并保存

[root@kafka-master zookeeper]# vim data/myid

配置其他两个服务器，然后依次启动三台机器 master,slave1,slave2

zk启动命令分别为：zkServer.sh start/stop/restart/status

启动完成分别查看三台zk状态：

[root@kafka-master zookeeper]# bin/zkServer.sh status

[root@kafka-slave-1 zookeeper]# bin/zkServer.sh status

[root@kafka-slave-2 zookeeper]# bin/zkServer.sh status