问题描述
我有一个Kafka主题,可以通过设置cleanup.policy = compact启用压缩。
我的segment.bytes属性设置为稍大的值(100Mb),以便我的经纪人表现良好。
如果我有一个使用主题作为GlobalKTable的Kafka流应用程序,并且该主题中有一个分区键的多个记录,那么该应用程序将在GlobalKTable中仅接收1条记录,或者直到压缩开始时才有2条记录在吗?
解决方法
GlobalKTable中将只有1条记录,因为默认情况下,表是RocksDB状态存储,它是键值存储。因此,即使该主题的一个键有多个,该表也只有一个。