Kafka集群

前提

zookeeper安装参考:https://www.cnblogs.com/JustinLau/p/11372782.html

其他安装参考:https://www.cnblogs.com/luotianshuai/p/5206662.html


安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档。
Kafka安装
下载

wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz

解压

tar -zxvf kafka_2.8.0-0.8.0.tar.gz

移动文件

mv kafka_2.8.0-0.8.0 /usr/local/hadoop/

修改配置

    cd /usr/local/hadoop/config
    vi server.properties

参照下图信息修改



Kafaka操作

启动kafka server
cd ../
bin/kafka-server-start.sh config/server.properties

创建主题
cd /usr/local/hadoop/bin
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


检查主题是否创建成功

./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181


启动producer

./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test

输入hello后,回车 ,然后另外打开一个shell终端
启动consumer

./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


关闭kafka

./kafkastop.sh

新版本命令

    ---new version--
     
    ./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test
     
     
    ./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181
     
     
    ./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
     
     
    ./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning

附:有可能遇到的问题和解决方
问题1: Failed to acquire lock on file .
这里写图片描述


解决方案:
这是因为之前已经有kafka进程在运行,可以如下:
通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...