如何在使用 S3 接收器连接器时增加现有主题的分区

问题描述

我正在使用 S3 sink 连接器和 kafka connect 并尝试将数据加载到 s3 。不知何故，我无法更新或增加主题分区的大小，也无法更改 offset.flush.timeout.ms 值。 我正在尝试将其添加到我正在使用的 S3 连接器 curl 文件中，但没有任何更新。

{
    "name": "my-s3-sink3","config": {
         "connector.class"               : "io.confluent.connect.s3.S3SinkConnector","tasks.max"                     : "1","topics"                        : "mysource.topic","s3.region"                     : "us-east-1","s3.bucket.name"                : "topicbucket001","s3.part.size"                  : "5242880","flush.size"                    : "1","key.converter"                 : "org.apache.kafka.connect.storage.StringConverter","value.converter"               : "org.apache.kafka.connect.json.JsonConverter","value.converter.schemas.enable": "false","storage.class"                 : "io.confluent.connect.s3.storage.S3Storage","format.class"                  : "io.confluent.connect.s3.format.json.JsonFormat","partitioner.class"             : "io.confluent.connect.storage.partitioner.DefaultPartitioner","schema.compatibility"          : "NONE"
         "offset.flush.timeout.ms"        : 1000
         "topic.creation.default.replication.factor": 3,"topic.creation.default.partitions": 10,"topic.creation.default.compression.type": "snappy"
        }
    }

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）