使用ZooKeeper+kafka搭建高可用集群。
1 前提准备
-
ZooKeeper安装包：apache-zookeeper-3.6.1-bin.tar.gz
-
kafka安装包：kafka_2.13-2.6.0.tgz
-
jdk1.8及以上(自行配置环境变量)
-
假设为三台服务器搭建kafka集群（192.168.12.86、192.168.12.87、192.168.12.88）
2 集群架构
2.1 ZooKeeper集群方案
| 主机IP | 消息端口 | 通信端口 | 节点目录 |
|---|---|---|---|
| 192.168.12.86 | 2181 | 2888:3888 | /db/dev/env/zookeeper/zk1 |
| 192.168.12.87 | 2181 | 2888:3888 | /db/dev/env/zookeeper/zk2 |
| 192.168.12.88 | 2181 | 2888:3888 | /db/dev/env/zookeeper/zk3 |
2.2 kafka集群
| 主机IP | 集群通信端口 | 节点目录 |
|---|---|---|
| 192.168.12.86 | 9092 | /db/dev/env/kafka/kafkaServer/kafka |
| 192.168.12.87 | 9092 | /db/dev/env/kafka/kafkaServer/kafka |
| 192.168.12.88 | 9092 | /db/dev/env/kafka/kafkaServer/kafka |
3 ZooKeeper集群搭建
3.1 解压安装包
[dev@datanode6 zookeeper]$ tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C zkServer/
3.2 修改配置文件
配置环境变量命令：
vim /etc/profile
添加后
#zookeeper export ZOOKEEPER_HOME=/db/dev/env/zookeeper/zkServer/apache-zookeeper-3.6.1-bin export PATH=$ZOOKEEPER_HOME/bin:$PATH #JDK export JAVA_HOME=/db/java8 export JRE_HOME=$JAVA_HOME/jre export CLAsspATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
使环境变量生效：
source /etc/profile
添加zoo.cfg
cd /opt/zookeeper/zookeeper-3.4.13/conf
复制一份zoo_sample.cfg改名为zoo.cfg并添加配置
cp zoo_sample.cfg zoo.cfg vim zoo.cfg
修改为：
dataDir=/db/dev/env/zookeeper/zkServer/apache-zookeeper-3.6.1-bin
添加：vim zoo.cfg
dataDir=/db/dev/env/zookeeper/zkServer/zkinfo/data/data_1 dataLogDir=/db/dev/env/zookeeper/zkServer/zkinfo/logs/logs_1 server.0=192.168.12.86:2888:3888 server.1=192.168.12.87:2888:3888 server.2=192.168.12.88:2888:3888
[root@hadoop2 zookeeper-3.4.13]# mkdir data
创建myid根据serverip对应填写0 1 2
[root@hadoop2 data]# vim myid
3.3 修改防火墙打开对应端口
（以下命令为centos6 请自行为端口打开防火墙）
vi /etc/sysconfig/iptables
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 2181 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 2888 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 3888 -j ACCEPT
备注：这里使用2181/2888/3888是Zookeeper需要用到的端口号，22端口是用来远程的端口，可以不用添加。一般将需要开放的端口号添加到“-A INPUT -p tcp -m state --state NEW -m tcp--dport 22 -j ACCEPT”行的上面或者下面，切记不要添加到最后一行，否则防火墙重启后不生效
重启防火墙：
service iptables restart
3.4 启动 ZooKeeper
zkServer.sh start
查看状态
zkServer.sh status
4 Kafka搭建集群
4.1 请将程序包放到相应的目录下解压操作
cd /kafka/config
vim server.properties //三个节点都要根据不同的ip 设置broker.id=0 1 2 broker.id=0 delete.topic.enable=true listeners=PLAINTEXT://192.168.12.8*:9092 log.dirs==/db/dev/env/kafka/kafkaServer/kafkainfo/kafka-logs1 zookeeper.connect=192.168.12.86:2181,192.168.12.87:2181,192.168.12.88:2181
cd bin ./kafka-server-start.sh -daemon ../config/server.properties jps 后出现 20613 QuorumPeerMain 38582 Kafka
