问题描述
在AWS Fargate中使用Debezium postgresql源连接器运行confluentinc / cp-kafka-connect:5.5.1。
在第一次运行时,没有问题。在RDS中创建的名称为'debezium'的复制插槽和数据库更改被写入Kafka主题。
我想测试故障情况,所以
- 我手动停止了Fargate kafka-connect任务。
- Fargate创建了新任务。
- 任务完成后,我将列出连接器 http:// kafka-connect:8083 / connectors /,令人惊讶的是,现有的 我创建的连接器配置已存在。
- 但是, http:// kafka-connect:8083 / connectors / source-debezium-01和 http:// kafka-connect:8083 / connectors / source-debezium-01 / status是 超时。(kafka-connect已替换为NLB域)在Cloudwatch中找不到任何日志。
- 尝试启用 调试日志, https://rmoff.net/2020/01/16/changing-the-logging-level-for-kafka-connect-dynamically/, 但是,在启用调试日志后,日志中也不会显示任何内容。
- 找到了这个, https://rmoff.net/2019/11/29/kafka-connect-request-timed-out/, 但是,我运行带有3个代理的AWS MSK并抵消了主题复制 因素是3。因此,就我而言,这不应该成为问题。
- 当我删除RDS中的复制插槽并在Fargate中重新创建新任务时, kafka-connect创建新的复制插槽,并开始工作。
问题,
- 由于我在Fargate任务中没有持久性存储,连接器配置如何持久化?
- 为什么新任务无法正常工作,为什么我必须删除复制插槽?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)