Kafka仅如何处理一位消费者的邮件？

问题描述

我在阅读多篇有关Kafka的文章，以了解有关消费者群体的知识。我有一个疑问，Kafka如何确保某个消费者组中的一位消费者仅处理一次消息？

请考虑在消费者组中有一个以上的消费者。卡夫卡是否对每种消息都保持某种追踪，并在每个消费者中依次尝试？

任何参考或帮助将不胜感激。

解决方法

首先，当您的主题具有多个分区时，Kafka消费者小组会为我们提供帮助。

请考虑以下情形：-

否。分区数-3，消费者数-3

Kafka将一个分区分配给一个使用者。除非某些使用方发生故障并且发生使用方重新平衡（将分区重新分配给使用方），否则所有使用方都将映射到其分区，并按顺序使用有关这些分区的事件。

否。分区数-1，消费者数-3

如果使用者数量超过分区数量，则Kafka没有足够的分区来分配使用者。因此，该组的一个消费者被分配到分区，该组的其余消费者将处于闲置状态。

分区数-4，消费者-3

在这种情况下，一个使用者使用2个分区，而在使用者重新平衡期间，另一个使用者可能使用2个分区。

对于您的问题，卡夫卡是否维持某种维持序列的轨道？ 是-在分区级别-维护每个分区的提交偏移量并按顺序使用。

否-在主题级别（除非您具有单个分区）。

** @mike上面介绍了如何使用提交偏移量在分区级别维护序列。

,

消费者可以提交从主题中读取的消息，以避免再次读取。

这基本上可以通过两种不同的方法来实现：

• 启用enable.auto.commit：“如果为true，则将在后台定期提交使用者的偏移量。”默认情况下启用此功能，您可以使用使用者属性auto.commit.interval.ms来更改应进行提交的时间。该间隔的默认值设置为5秒。用户配置的所有详细信息在Kafka documentation
中给出
• 轮询数据后，在代码中调用consumer.commitSync()（或commitAsync()）。

由于您有一个关系，一个特定的分区最多只能由一个消费方组中的一个消费方使用，因此提交工作基于consumerGroup，分区和偏移量进行。

KafkaConsumer类上的JavaDocs实际上非常好，它为您提供了“自动偏移量提交”和“手动偏移量控制”的所有详细信息和示例。

注意：您说的是“ Kafka如何确保仅仅一次 ...处理一次邮件”

我不确定您是否在这里谈论“恰好一次传递语义”，但是请记住，上述方法即使不做任何额外的努力仍会导致使用者组两次使用一条消息。想象一下这种情况：

• 您以5秒的时间间隔启用自动提交
• 您的KafkaConsumer轮询数据，您将要对其进行处理
• 2秒后，您的处理导致异常，并且您的作业失败。这意味着该一条消息的自动提交没有发生。
• 现在，重新启动作业将使使用者再次读取相同的消息，因为它尚未提交。