Kafka Connect 与 AWS 中的 Elasticsearch

问题描述

我正在尝试将 aws 中的 Kafka(MSK) 连接到 aws 中的 Elasticsearch。我进行了设置，但目前出现错误。步骤如下：

sudo apt-get update  
sudo apt-install java-1.8.0  
wget https://packages.confluent.io/archive/5.2/confluent-5.2.0-2.11.tar.gz?_ga=2.30447679.1453070970.1611201478-474568264.1611201478 
tar -xf confluent-5.2.0-2.11.tar.gz 
confluent-hub install confluentinc/kafka-connect-elasticsearch:11.0.0
export PATH=/home/ubuntu/confluent-5.2.0/bin:${PATH};

然后我更新了 connect-standalone.properties 配置文件：

bootstrap.servers=b-1.xx.xx.c8.kafka.us-east-1.amazonaws.com:9092
        
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
        
key.converter.schemas.enable=false
value.converter.schemas.enable=false
        
offset.storage.file.filename=/tmp/connect.offsets
        
plugin.path=share/java,/home/ubuntu/confluent-5.2.0/share/confluent-hub-components

然后我为接收器连接器创建了另一个配置文件。

name=elasticsearch-sink
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=sampletopic
topic.index.map=logs:logs_index
connection.url=https://xxxx.us-east-1.es.amazonaws.com:443
type.name=log
key.ignore=true
schema.ignore=true

然后我运行 confluent 独立命令进行连接。

bin/connect-standalone etc/kafka/connect-standalone.properties etc/kafka/elasticsearch-connect.properties 

它运行但最终抛出一个错误，我不知道为什么。下面是错误：

ERROR Stopping after connector error (org.apache.kafka.connect.cli.ConnectStandalone:119)
java.lang.NoClassDefFoundError: org/apache/kafka/common/config/ConfigDef$CaseInsensitiveValidString

任何帮助或意见都会非常感谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）