问题描述
如何限制kafka使用者的事件消费速度,以便不影响服务。在kafka Topic中获取大量数据,我需要处理所有事件。
我们有12个分区的8个消费者阅读资料
在kafka主题中获取大量数据,但保留时间为5天。因此,我如何从消费者的角度进行限制,以使消费者不会失望。 kafka中有什么方法可以使用户方读取消息的速度更快,例如。例如在10分钟内进行100次活动。
解决方法
您可以使用kafka quotas限制消费者的请求。
如果您的消费者“走下坡路”,则代码中可能还有其他问题。例如,在完全处理完先前的消息之前,不要阻止对更多消息的请求。但是配额应该有助于限制消费者。