Kafka复习

Kafka复习

Kafka数据积压了,怎么办?

​ 思路:找到是什么原因导致Kafka数据积压?有可能是Kafka分区数量不足,也有可能是消费者消费速率不足。

在这里插入图片描述

解决Kafka数据积压问题的方法

​ 1.增加分区。注意,在增加kafka分区的同时,也要增加下一级消费者cpu核数。

​ 2.提高下一级消费者(如:flume、sparkstreaming)的消费速率。具体可以增加batchsize,从原本的1000条每秒增加到2000条每秒。

​ 3.如果增加分区和提高下一级消费者的消费速率都无法解决Kafka的数据积压问题,则考虑增加数据保存时间。

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...