问题描述
我试图了解偏移量和组管理如何与带有 KafkaIO 阅读器的 Google Dataflow 运行器配合使用。更具体地说，我试图了解偏移管理的工作原理：
- 如果设置了 group.id 配置并且禁用了自动提交和 commitOffsetsInFinalize。
- 如果没有设置 group.id 配置，偏移量和组管理如何工作？
感谢任何指向正确方向的代码/文档参考。
解决方法
KafkaIO 阅读器完全是 Apache Beam 的一部分。 Google Cloud Dataflow 不会将此来源与任何其他 Beam 来源区别对待。
您可以在 https://github.com/apache/beam/tree/master/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka（在各种文件中）找到它的代码。除了 Javadoc 之外，我不知道任何参考文档。