kafka基本概念-客户端工具offsetexplorer的使用

kafka

上图为Kafka的典型架构图,对于消息的生产以及消费逻辑不在本文的讨论范畴,主要就broker的数据存储做以浅显的总结。首先解释一下常见的相关专业术语:

-- broker:消息中间件处理节点;每个Kafka服务节点称之为一个broker,一个Kafka集群由一个或多个broker组成
-- Topic:一类特定数据集合的统称;可类比DB中Table的概念;逻辑概念
-- Producer:消息的生产者,向broker发送消息的客户端
-- Consumer:消息的消费者,向broker读取消息的客户端
-- Consumer Group:每一个Consumer隶属于一个特定的Consumer
-- Group,一条消息可以被不同Group中的Consumer消费,但同一Group内的消息只能被一个Consumer消费
-- Partition:是对Topic中所包含数据集的物理分区;物理概念
-- Replication:副本集;是Kafka高可用的一种保障机制

客户端工具offsetexplorer2.2.0

 

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...