Kafka数据积压了,怎么办?
思路:找到是什么原因导致Kafka数据积压?有可能是Kafka分区数量不足,也有可能是消费者消费速率不足。
解决Kafka数据积压问题的方法:
1.增加分区。注意,在增加kafka分区的同时,也要增加下一级消费者cpu核数。
2.提高下一级消费者(如:flume、sparkstreaming)的消费速率。具体可以增加batchsize,从原本的1000条每秒增加到2000条每秒。
3.如果增加分区和提高下一级消费者的消费速率都无法解决Kafka的数据积压问题,则考虑增加数据保存时间。