具有无限保留的历史记录主题的Debezium Mysql连接器失败，并出现IllegalStateException

问题描述

我们运行了Debezium MySQL连接器，其中历史记录主题已经具有无限的保留期。但是很奇怪，连接器突然失败，但出现以下异常

"org.apache.kafka.connect.errors.ConnectException: java.lang.IllegalStateException: 
The database history couldn't be recovered. 
Consider to increase the value for database.history.kafka.recovery.poll.interval.ms

我可以注意到的另一件事是，由于正在监视的数据库中临时表的创建和删除（debezium连接器未跟随），因此将大量消息插入到历史主题中。这些消息是否可能是连接器无法读取历史主题消息的原因？我们曾考虑为历史记录主题启用日志压缩，但是注意到了一些建议不要启用日志压缩的问题。 https://issues.redhat.com/browse/DBZ-239。

删除历史记录主题并以schema_recovery模式重新启动连接器可以很好地重新启动连接器，但是想知道可以采取什么措施来避免这些类型的中断。是否有任何选项仅允许存储要监视的表的DDL消息。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）