kafka-connect rest api超时

问题描述

在AWS Fargate中使用Debezium postgresql源连接器运行confluentinc / cp-kafka-connect:5.5.1。

在第一次运行时,没有问题。在RDS中创建的名称为'debezium'的复制插槽和数据库更改被写入Kafka主题

我想测试故障情况,所以

  • 我手动停止了Fargate kafka-connect任务。
  • Fargate创建了新任务。
  • 任务完成后,我将列出连接器 http:// kafka-connect:8083 / connectors /,令人惊讶的是,现有的 我创建的连接器配置已存在。
  • 但是, http:// kafka-connect:8083 / connectors / source-debezium-01和 http:// kafka-connect:8083 / connectors / source-debezium-01 / status是 超时。(kafka-connect已替换为NLB域)在Cloudwatch中找不到任何日志。
  • 尝试启用 调试日志, https://rmoff.net/2020/01/16/changing-the-logging-level-for-kafka-connect-dynamically/, 但是,在启用调试日志后,日志中也不会显示任何内容
  • 找到了这个, https://rmoff.net/2019/11/29/kafka-connect-request-timed-out/, 但是,我运行带有3个代理的AWS MSK并抵消了主题复制 因素是3。因此,就我而言,这不应该成为问题。
  • 当我删除RDS中的复制插槽并在Fargate中重新创建新任务时, kafka-connect创建新的复制插槽,并开始工作。

问题,

  • 由于我在Fargate任务中没有持久性存储,连接器配置如何持久化?
  • 为什么新任务无法正常工作,为什么我必须删除复制插槽?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)