问题描述
我有一个spring batch writer,它可以将数据发送到Kafka并将值存储在数据库中
public class Writer implements ItemWriter{
@Autowired
JpaItemWrtier jpawriter;
@Autowired
KafkaTemplate kafkatemplate;
public void write(List items){
items.stream().forEach( t -> {
jpawriter.write(t);
kafkatemplate.send(t);
});
}
}
这种方法的问题是,即使由于块大小(例如100)而将记录推送到数据库之前,Kafka也会向该主题发送消息,仅在处理100条记录后才提交数据库记录。 CompositeItemWriter也不起作用,因为同样的原因和逻辑。如何确定数据库和Kafka推送同步?这里使用的数据库是oracle。
没有弹簧批处理也可能发生这种情况。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)