Kafka与Snowflake的连接问题

编程问答 2022-08-13

问题描述

我正在尝试从本地独立的Confluent Kafka主题连接到SNowflake表。我正在通过ksqldb使用以下连接器配置。

CREATE SINK CONNECTOR `sNowflake_sink` WITH(
"name"='sNowflake_sink',"tasks.max"='1',"connector.class"='com.sNowflake.kafka.connector.SNowflakeSinkConnector',"topics"='USERPROFILE',"sNowflake.url.name"='https://mybu.mycompany.us-east-1.aws.privatelink.sNowflakecomputing.com',"sNowflake.user.name”=‘myuser’,"sNowflake.database.name"='DEMO_DB',"sNowflake.topic2table.map"='USERPROFILE:UK_SF_DB1_Table1',"sNowflake.schema.name"='PUBLIC',"sNowflake.private.key”=‘<valid private key>’,"sNowflake.private.key.passphrase”=‘<valid pass phrase>’,"key.converter"='org.apache.kafka.connect.storage.StringConverter',"value.converter"='com.sNowflake.kafka.connector.records.SNowflakeJsonConverter',"key.converter.schema.registry.url"='http://schema-registry:8081',"value.converter.schema.registry.url"='http://schema-registry:8081');

Ksqldb抛出错误，提示雪花url，用户名，私钥无效。它们都是有效的，因为我可以通过SNowflake Web ui使用相同的名称登录。

解决方法

一些有关解决此问题的想法：

  1. 看起来您的配置中有一些“智能引号”，请删除智能单引号和双引号，并用适当的文本引号替换它们。在准备这个问题的过程中可能发生了这种情况，因此请仔细检查它们。

  2. 将表格名称设置为所有大写字母。

  3. 您的雪花帐户不应包含https：//前缀。这些链接的示例：

https://community.snowflake.com/s/article/Docker-Compose-Setting-up-Kafka-using-Snowflake-Sink-Connector-and-testing-Streams

https://docs.snowflake.com/en/user-guide/kafka-connector-install.html

我希望这可以帮助...丰富

p.s。如果这个（或另一个）答案对您有帮助，请花点时间单击答案旁边的复选标记以将其从“灰色”切换为“填充”，以“接受”该答案。

apache-kafkaksqldbsnowflake-cloud-data-platform