在Kafka连接S3连接器

问题描述

我使用带有 2 个连接器的 Kafka 连接：

1. debezium 将数据从 Postgres 提取到 Kafka
2. 用于将数据从 Kafka 保存到 S3 的 S3 连接器

运行时我从 S3 连接器收到此错误

java.lang.NullPointerException: Array contains a null element at 0 

我找到了相关消息，其中包含以下内容：

  "some_key": [
     "XCVB",null
  ]

我该如何处理这条消息？

我尝试将以下内容添加到 S3 连接器配置中：

"behavior.on.null.values": "ignore","errors.tolerance": "all","errors.deadletterqueue.topic.name":"dlq_s3_sink"

尝试跳过这些消息并将它们发送到 DLQ，但它似乎不起作用并且任务因此错误而失败。我也在日志中看到了这一点：

Set parquet.avro.write-old-list-structure=false to turn on support for arrays with null elements.

但不确定我应该在哪里添加这个？作为连接器配置的一部分？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）