问题描述
我正在使用Kafka接收器连接器将数据从Kafka写入s3。输出数据分为小时存储区-year=yyyy/month=MM/day=dd/hour=hh。该数据由下游的批处理作业使用。因此，在开始下游作业之前，我需要确保一旦对该分区的处理开始，没有其他数据会到达给定分区。
设计此内容的最佳方法是什么？如何将分区标记为完整？也就是说，一旦标记为完成，就不会再写入其他数据。
编辑：我正在使用RecordField作为timestamp.extractor。确保我的kafka消息按分区字段在分区内排序
解决方法
取决于您在Sink配置中使用的时间戳提取器。
您必须保证没有记录的时间戳可以早于消耗它的时间。
AFAIK，唯一可行的方法是使用WallClock时间戳提取器。否则，您将消耗Kafka记录时间戳，或每条消息中的某个时间戳。在过去的某个事件中，这两个事件都可以在生产者端被覆盖